LUA VISION

BL-EDU: conteúdo escolar brasileiro.

Régua própria da LUA sobre conteúdo escolar brasileiro: questões objetivas do ENEM 2024 e 2025, com gabarito oficial do INEP. Só o modelo LUA Genesys PI House foi medido, sem concorrente nesta rodada.

RodadoRegistro LUA · rodado pela LUA Vision · não é avaliação independente

Resultado.

RecortenAcerto (%)IC 95%Erro quando tentou
Geral, 2024+202535499,798,4–100,00,3

Por área.

ÁreanAcerto (%)IC 95%
Linguagens9098,994,0–99,8
Ciências Humanas90100,095,9–100,0
Ciências da Natureza86100,095,7–100,0
Matemática88100,095,8–100,0

Por edição.

EdiçãonAcerto (%)IC 95%
2024179100,097,9–100,0
202517599,496,8–99,9

Cobertura de imagem: 125 de 125 questões com imagem, gráfico ou quadro foram rodadas, todas via transcrição oficial em áudio-descrição do INEP, com 100,0% de acerto.

O único erro da rodada: uma questão de Linguagens de 2025 em que a resposta veio com confiança declarada de 97, contra o gabarito oficial.

IC95 por Wilson. Nota com penalidade t=0,5: 99.6.

Metodologia.

ModeloLUA Genesys PI House, API pública api.lua.vision, esforço medium.
DadosCadernos oficiais do ENEM 2024 e 2025 (versão com transcrição de imagem em texto) e gabarito impresso definitivo do INEP.
PontuaçãoLetra extraída por expressão regular, sem juiz automático.
ExecuçõesUma por item, pass@1.

Contaminação.

Não há data de corte de treino declarada para o modelo avaliado, então a página não estima uma. As duas edições usadas (2024 e 2025) já circulam publicamente há mais de dez meses, tempo de sobra para entrar em qualquer corpus coletado da web — as duas são candidatas a contaminação, não só a mais antiga. O acerto por edição não caiu na prova mais recente (2024: 100%; 2025: 99,4%, intervalos sobrepostos), o que não aponta memorização concentrada numa das duas, mas também não separa "modelo muito bom" de "as duas foram vistas em treino". Nenhuma sonda de memorização foi rodada nesta entrega. O acerto de 99,7% é alto mesmo para um exame amplamente comentado publicamente, e deve ser lido como o resultado desta rodada, não como capacidade confirmadamente livre de contaminação.

Redação.

1000 de 1000 em cada uma das 10 redações, nos 4 avaliadores automáticos, nas cinco competências (200 de 200 em cada). As redações são de 2 temas oficiais, ENEM 2024 e 2025.

CompetênciaNota média (0 a 200)
I · Domínio da escrita formal200
II · Compreensão do tema e da estrutura200
III · Argumentação200
IV · Coesão200
V · Proposta de intervenção200

A redação do ENEM real é corrigida por pessoas. Os avaliadores desta seção são modelos de linguagem que aplicam a matriz oficial, e a nota não é uma nota do INEP.

Avaliadores

Avaliador automáticoProvedorRedações corrigidasNota média (0 a 1000)
Mistral Large 3Mistral AI10 / 101000
DeepSeek-V4-ProDeepSeek10 / 101000
Kimi K2.6Moonshot AI10 / 101000
GPT-5.5OpenAI10 / 101000

Método

RedaçõesEscritas pela LUA Genesys PI House a partir da proposta e dos textos motivadores oficiais de cada tema, sem prompt extra. Cinco redações por tema.
MatrizMatriz oficial das cinco competências do INEP, de 0 a 200 por competência, com 6 níveis. Mesma matriz e mesmo prompt para os 4 avaliadores.
CorreçãoUma correção por redação por avaliador. Fuga ao tema anula a redação, texto de até 7 linhas vale 0 e, sem proposta de intervenção, a competência V vale 0, como a matriz determina.

Controle

Para saber se os avaliadores enxergam defeito, estragamos de propósito 3 das 10 redações de quatro formas mecânicas, sem inventar conteúdo, e os 4 avaliadores corrigiram os textos estragados. Média das 3 redações por célula, de 0 a 1000.

Como estragamosMistral Large 3DeepSeek-V4-ProKimi K2.6GPT-5.5
Sem o parágrafo de proposta de intervenção960960587773
Só o primeiro parágrafo8407070213
Sem pontuação e sem acento960987893907
Redação de outro tema173000

Nenhum avaliador dá nota máxima a texto estragado, e 3 dos 4 zeram o texto de outro tema. Eles não têm o mesmo rigor: a mesma redação estragada recebe notas diferentes conforme o avaliador.

Também avaliamos

  • Cópia dos textos motivadores: 0 de 10 redações têm trecho de 8 ou mais palavras igual a um texto motivador do próprio tema.
  • Comparação literal com 10 redações reais de participantes publicadas pelo INEP: 0 de 10 têm trecho de 6 ou mais palavras igual.
  • Adequação ao tema, por distância semântica entre a redação e a proposta do próprio tema, contra a do outro tema: a diferença é positiva em 10 de 10 redações (de 0,20 a 0,23).
  • Repetição entre as próprias redações: 6 pares de redações do mesmo tema compartilham trechos de 12 a 21 palavras, frases-padrão de repertório como a citação da Lei 10.639/2003. Entre redações de participantes, o maior trecho comum é de 10 palavras.

Limitações da redação

  • Os avaliadores são modelos, não corretores do INEP, e não houve calibração com corretor humano. A nota mostra o que a matriz aplicada por modelos atribui a estas redações, e não o que uma correção humana atribuiria.
  • Amostra pequena: 10 redações e 2 temas, uma geração por redação.
  • A comparação de plágio é literal: paráfrase próxima não aparece. A verificação na web não foi realizada, e a ausência de achado não indica ausência de plágio.
  • O corpus de redações de participantes tem 10 textos, transcritos das páginas da cartilha do INEP.
  • Os avaliadores diferem em rigor, como o controle mostra, e a nota depende de qual deles corrige.

Refazer por conta própria

O pacote traz a matriz, os temas e o corpus de comparação. Quem quiser repetir a rodada precisa de acesso à API e arca com o custo dos avaliadores: Reproduza ou peça acesso →

O que não rodou.

  • Tutor: não executado. Mediria se a LUA aponta o erro de um aluno sem entregar a resposta pronta, mas exigiria um caso real de erro de aluno; inventar um caso fictício fabricaria o dado de origem, o que a régua existe para evitar.

Limitações.

  • Mede se a LUA acerta questão de vestibular, não se ela ensina. Nota alta aqui não autoriza dizer que o produto ensina bem.
  • N por área fica entre 86 e 90, então o intervalo de confiança por área é largo, entre 4 e 6 pontos; só o agregado das duas edições tem o intervalo mais estreito.
  • A proficiência estimada pela TRI usa os parâmetros publicados pelo INEP fora da aplicação real; não é comparável à nota de um candidato do ENEM, e no extremo de Matemática (acerto de 100%) a estimativa extrapola a região onde a calibração tem mais candidatos de referência.
  • Cobertura de idioma: só a opção inglês das questões de língua estrangeira.

Pacote e arquivos.

bl-edu-2026-09.tar.gzb21c8fa5e9e55fd0cb6a1eccbe4c9d6c6f0b1fa91fe25dda293dabc7a175e9da
ArquivoTamanhoBaixar
bl-edu-2026-09.tar.gz42 KBBaixar
Resultado por itemSHA-256Baixar
resultados/e1-objetivas.house.jsonl2d842b0ad37aa5eeaba1ab35c9a682f6a8f64789c2bec7b15fc651a9a851c57ano pacote
resultados/e2-redacao.house.jsonl3a367ae6afb4ae37945beade19e721d3e67cfd052b8db54e9085b41d92f749fafora desta versão: traz identificadores internos de implantação
resultados/e2-redacao.rejulgado.jsonl4c145ee00a6f2df40eeb89561a401fed2093f720835cef997044cee40cb62623fora desta versão: traz identificadores internos de implantação
resultados/e2-controle-discriminacao.jsonlfcff7fd57f5006c8e79c2b6ee3c50fc3c6fcc8ec4a00cef04d531c18dfa4d6bcfora desta versão: traz identificadores internos de implantação
resultados/e2-originalidade.jsonc03e23c58f0b91126cdf734f0fe9bbe1ef85e781ff1fa1276e89dca5392fb77cfora desta versão: traz identificadores internos de implantação