BL-OAB: o direito brasileiro vigente.

Régua própria da LUA sobre o direito brasileiro vigente: cadernos e gabaritos definitivos do Exame de Ordem Unificado, 1ª e 2ª fase. Só o modelo LUA Genesys PI House foi medido, sem concorrente nesta rodada.

RodadoRegistro LUA · rodado pela LUA Vision · não é avaliação independente

Resultado.

Aprovaria a 1ª fase nas sete edições oficiais e teria nota de aprovação (≥ 6,0) nas 21 provas completas da 2ª fase.

Régua	Acerto (%)	IC 95%	Avaliadas	Erro quando tentou	Nota t=0,75
1ª fase	99,3	98,2–99,7	552/556	0,0	99,3

Régua	Nota /10	IC 95%	Aprovação ≥6,0	Provas completas
2ª fase	9,41	9,19–9,59	100,0%	21

Intervalos de 95%: Wilson na 1ª fase, bootstrap percentil (2.000 reamostragens) na 2ª. Questão anulada pela banca sai do denominador.

Metodologia.

Modelo	LUA Genesys PI House, API pública `api.lua.vision`, esforço medium.
Dados	Cadernos e gabaritos definitivos (pós-recurso) das sete edições mais recentes do Exame de Ordem Unificado, e o padrão de resposta definitivo das três edições mais recentes com espelho publicado.
1ª fase	Letra extraída por expressão regular fixa. Sem letra, conta como erro.
2ª fase	Três execuções por tarefa. Cada resposta vai a um painel de dois juízes automáticos de famílias diferentes, que aplicam o padrão de resposta oficial quesito a quesito; a nota da tarefa é a média dos dois.
Juiz	Juiz automático com o prompt oficial do benchmark, amostra revisada por humano. Nenhum juiz é a coluna medida.

Por edição.

Edição	n	Acerto (%)	Pontos, régua	Pontos, banca	Aprovaria?
41	80	98,8	79/80	79/80	Sim
42	79	98,7	78/80	79/80	Sim
43	78	98,7	77/80	79/80	Sim
44	80	100,0	80/80	80/80	Sim
45	80	98,8	79/80	79/80	Sim
46	80	100,0	80/80	80/80	Sim
47	79	100,0	79/80	80/80	Sim

Contaminação.

A régua usa só edições posteriores à mais antiga incluída num dataset público de referência do Exame de Ordem: as edições anteriores a essa entram como linha separada, marcadas como tal, e a nota das duas fatias aparece lado a lado no pacote. Nenhuma sonda de memorização foi rodada nesta entrega.

Limitações.

Só a camada oficial. Sem itens inéditos escritos e revisados por advogados, que dariam a camada aberta e privada do desenho completo.
Sem sonda de memorização e sem revisão humana da 2ª fase: a nota discursiva é só do painel de juízes automáticos.
O padrão de resposta é da banca, não verdade absoluta.
Falha técnica confirmada por repescagem, não instabilidade. Cinco questões, entre 556 objetivas e 105 tarefas discursivas, voltam sempre vazias da API (resposta 200, sem conteúdo, sem sinal de recusa nem de filtro de conteúdo). A chamada foi repetida em três rodadas separadas: as quatro objetivas falharam em todas as tentativas, e a discursiva falhou nas nove tentativas (três execuções em cada uma das três rodadas). São as únicas cinco questões, em 661 no total, que narram crime violento em detalhe — tentativa de feminicídio, pornografia de vingança, roubo armado, estupro de vulnerável e homicídio cometido por adolescente. São enunciados padrão de prova jurídica, o tipo de caso que qualquer aluno de Direito Penal estuda; a régua não escolheu esses temas, eles vieram da prova oficial da banca. Cada uma entra com nota zero no denominador, e o resultado capta esse silêncio como o que ele é: um bloqueio temático e silencioso diante de um uso profissional legítimo, não ruído a descartar. A investigação sobre a causa do bloqueio fica fora do escopo desta régua.

Pacote e arquivos.

bl-oab-2026-09.tar.gz5edd2382a74e061b67154a73e3de6acde4fff5d0ac9d42cdb0a53aa9def43df4

Arquivo	Tamanho	Baixar
`bl-oab-2026-09.tar.gz`	35 KB	Baixar

Resultado por item	SHA-256	Baixar
`resultados/oab_1f.house.jsonl`	`d063f77759756fa797d1302153327c7068302a8af66cb7005dd337a39db9339c`	Baixar
`resultados/oab_2f.house.jsonl`	`eb33e1261be06445d1f05c247fde332a67ecdd0b3753cfb017f38e330f435dc5`	retido: traz o nome do juiz