LUA VISION

BL-OAB: o direito brasileiro vigente.

Régua própria da LUA sobre o direito brasileiro vigente: cadernos e gabaritos definitivos do Exame de Ordem Unificado, 1ª e 2ª fase. Só o modelo LUA Genesys PI House foi medido, sem concorrente nesta rodada.

RodadoRegistro LUA · rodado pela LUA Vision · não é avaliação independente

Resultado.

Aprovaria a 1ª fase nas sete edições oficiais e teria nota de aprovação (≥ 6,0) nas 21 provas completas da 2ª fase.

RéguaAcerto (%)IC 95%AvaliadasErro quando tentouNota t=0,75
1ª fase99,398,2–99,7552/5560,099,3
RéguaNota /10IC 95%Aprovação ≥6,0Provas completas
2ª fase9,419,19–9,59100,0%21

Intervalos de 95%: Wilson na 1ª fase, bootstrap percentil (2.000 reamostragens) na 2ª. Questão anulada pela banca sai do denominador.

Metodologia.

ModeloLUA Genesys PI House, API pública api.lua.vision, esforço medium.
DadosCadernos e gabaritos definitivos (pós-recurso) das sete edições mais recentes do Exame de Ordem Unificado, e o padrão de resposta definitivo das três edições mais recentes com espelho publicado.
1ª faseLetra extraída por expressão regular fixa. Sem letra, conta como erro.
2ª faseTrês execuções por tarefa. Cada resposta vai a um painel de dois juízes automáticos de famílias diferentes, que aplicam o padrão de resposta oficial quesito a quesito; a nota da tarefa é a média dos dois.
JuizJuiz automático com o prompt oficial do benchmark, amostra revisada por humano. Nenhum juiz é a coluna medida.

Por edição.

EdiçãonAcerto (%)Pontos, réguaPontos, bancaAprovaria?
418098,879/8079/80Sim
427998,778/8079/80Sim
437898,777/8079/80Sim
4480100,080/8080/80Sim
458098,879/8079/80Sim
4680100,080/8080/80Sim
4779100,079/8080/80Sim

Contaminação.

A régua usa só edições posteriores à mais antiga incluída num dataset público de referência do Exame de Ordem: as edições anteriores a essa entram como linha separada, marcadas como tal, e a nota das duas fatias aparece lado a lado no pacote. Nenhuma sonda de memorização foi rodada nesta entrega.

Limitações.

  • Só a camada oficial. Sem itens inéditos escritos e revisados por advogados, que dariam a camada aberta e privada do desenho completo.
  • Sem sonda de memorização e sem revisão humana da 2ª fase: a nota discursiva é só do painel de juízes automáticos.
  • O padrão de resposta é da banca, não verdade absoluta.
  • Falha técnica confirmada por repescagem, não instabilidade. Cinco questões, entre 556 objetivas e 105 tarefas discursivas, voltam sempre vazias da API (resposta 200, sem conteúdo, sem sinal de recusa nem de filtro de conteúdo). A chamada foi repetida em três rodadas separadas: as quatro objetivas falharam em todas as tentativas, e a discursiva falhou nas nove tentativas (três execuções em cada uma das três rodadas). São as únicas cinco questões, em 661 no total, que narram crime violento em detalhe — tentativa de feminicídio, pornografia de vingança, roubo armado, estupro de vulnerável e homicídio cometido por adolescente. São enunciados padrão de prova jurídica, o tipo de caso que qualquer aluno de Direito Penal estuda; a régua não escolheu esses temas, eles vieram da prova oficial da banca. Cada uma entra com nota zero no denominador, e o resultado capta esse silêncio como o que ele é: um bloqueio temático e silencioso diante de um uso profissional legítimo, não ruído a descartar. A investigação sobre a causa do bloqueio fica fora do escopo desta régua.

Pacote e arquivos.

bl-oab-2026-09.tar.gz077bfde0af6a66c7f0395d460dd28270037b53f077c29e1efb207f4fa33a99ce
ArquivoTamanhoBaixar
bl-oab-2026-09.tar.gz28 KBBaixar
Resultado por itemSHA-256Baixar
resultados/oab_1f.house.jsonlff4c834664a79738632fe22a1146b584e663ecb767d583d7f00ae1cc9d6e1216no pacote
resultados/oab_2f.house.jsonl33faf954faf0189da50092e0ca46b2439744cbf0b34a5fc99193e76e31bf0ff4retido: traz o nome do juiz