BL-EDU: conteúdo escolar brasileiro.
Régua própria da LUA sobre conteúdo escolar brasileiro: questões objetivas do ENEM 2024 e 2025, com gabarito oficial do INEP. Só o modelo LUA Genesys PI House foi medido, sem concorrente nesta rodada.
Resultado.
| Recorte | n | Acerto (%) | IC 95% | Erro quando tentou |
|---|---|---|---|---|
| Geral, 2024+2025 | 354 | 99,7 | 98,4–100,0 | 0,3 |
Por área.
| Área | n | Acerto (%) | IC 95% |
|---|---|---|---|
| Linguagens | 90 | 98,9 | 94,0–99,8 |
| Ciências Humanas | 90 | 100,0 | 95,9–100,0 |
| Ciências da Natureza | 86 | 100,0 | 95,7–100,0 |
| Matemática | 88 | 100,0 | 95,8–100,0 |
Por edição.
| Edição | n | Acerto (%) | IC 95% |
|---|---|---|---|
| 2024 | 179 | 100,0 | 97,9–100,0 |
| 2025 | 175 | 99,4 | 96,8–99,9 |
Cobertura de imagem: 125 de 125 questões com imagem, gráfico ou quadro foram rodadas, todas via transcrição oficial em áudio-descrição do INEP, com 100,0% de acerto.
O único erro da rodada: uma questão de Linguagens de 2025 em que a resposta veio com confiança declarada de 97, contra o gabarito oficial.
IC95 por Wilson. Nota com penalidade t=0,5: 99.6.
Metodologia.
| Modelo | LUA Genesys PI House, API pública api.lua.vision, esforço medium. |
|---|---|
| Dados | Cadernos oficiais do ENEM 2024 e 2025 (versão com transcrição de imagem em texto) e gabarito impresso definitivo do INEP. |
| Pontuação | Letra extraída por expressão regular, sem juiz automático. |
| Execuções | Uma por item, pass@1. |
Contaminação.
Não há data de corte de treino declarada para o modelo avaliado, então a página não estima uma. As duas edições usadas (2024 e 2025) já circulam publicamente há mais de dez meses, tempo de sobra para entrar em qualquer corpus coletado da web — as duas são candidatas a contaminação, não só a mais antiga. O acerto por edição não caiu na prova mais recente (2024: 100%; 2025: 99,4%, intervalos sobrepostos), o que não aponta memorização concentrada numa das duas, mas também não separa "modelo muito bom" de "as duas foram vistas em treino". Nenhuma sonda de memorização foi rodada nesta entrega. O acerto de 99,7% é alto mesmo para um exame amplamente comentado publicamente, e deve ser lido como o resultado desta rodada, não como capacidade confirmadamente livre de contaminação.
Redação.
1000 de 1000 em cada uma das 10 redações, nos 4 avaliadores automáticos, nas cinco competências (200 de 200 em cada). As redações são de 2 temas oficiais, ENEM 2024 e 2025.
| Competência | Nota média (0 a 200) |
|---|---|
| I · Domínio da escrita formal | 200 |
| II · Compreensão do tema e da estrutura | 200 |
| III · Argumentação | 200 |
| IV · Coesão | 200 |
| V · Proposta de intervenção | 200 |
A redação do ENEM real é corrigida por pessoas. Os avaliadores desta seção são modelos de linguagem que aplicam a matriz oficial, e a nota não é uma nota do INEP.
Avaliadores
| Avaliador automático | Provedor | Redações corrigidas | Nota média (0 a 1000) |
|---|---|---|---|
| Mistral Large 3 | Mistral AI | 10 / 10 | 1000 |
| DeepSeek-V4-Pro | DeepSeek | 10 / 10 | 1000 |
| Kimi K2.6 | Moonshot AI | 10 / 10 | 1000 |
| GPT-5.5 | OpenAI | 10 / 10 | 1000 |
Método
| Redações | Escritas pela LUA Genesys PI House a partir da proposta e dos textos motivadores oficiais de cada tema, sem prompt extra. Cinco redações por tema. |
|---|---|
| Matriz | Matriz oficial das cinco competências do INEP, de 0 a 200 por competência, com 6 níveis. Mesma matriz e mesmo prompt para os 4 avaliadores. |
| Correção | Uma correção por redação por avaliador. Fuga ao tema anula a redação, texto de até 7 linhas vale 0 e, sem proposta de intervenção, a competência V vale 0, como a matriz determina. |
Controle
Para saber se os avaliadores enxergam defeito, estragamos de propósito 3 das 10 redações de quatro formas mecânicas, sem inventar conteúdo, e os 4 avaliadores corrigiram os textos estragados. Média das 3 redações por célula, de 0 a 1000.
| Como estragamos | Mistral Large 3 | DeepSeek-V4-Pro | Kimi K2.6 | GPT-5.5 |
|---|---|---|---|---|
| Sem o parágrafo de proposta de intervenção | 960 | 960 | 587 | 773 |
| Só o primeiro parágrafo | 840 | 707 | 0 | 213 |
| Sem pontuação e sem acento | 960 | 987 | 893 | 907 |
| Redação de outro tema | 173 | 0 | 0 | 0 |
Nenhum avaliador dá nota máxima a texto estragado, e 3 dos 4 zeram o texto de outro tema. Eles não têm o mesmo rigor: a mesma redação estragada recebe notas diferentes conforme o avaliador.
Também avaliamos
- Cópia dos textos motivadores: 0 de 10 redações têm trecho de 8 ou mais palavras igual a um texto motivador do próprio tema.
- Comparação literal com 10 redações reais de participantes publicadas pelo INEP: 0 de 10 têm trecho de 6 ou mais palavras igual.
- Adequação ao tema, por distância semântica entre a redação e a proposta do próprio tema, contra a do outro tema: a diferença é positiva em 10 de 10 redações (de 0,20 a 0,23).
- Repetição entre as próprias redações: 6 pares de redações do mesmo tema compartilham trechos de 12 a 21 palavras, frases-padrão de repertório como a citação da Lei 10.639/2003. Entre redações de participantes, o maior trecho comum é de 10 palavras.
Limitações da redação
- Os avaliadores são modelos, não corretores do INEP, e não houve calibração com corretor humano. A nota mostra o que a matriz aplicada por modelos atribui a estas redações, e não o que uma correção humana atribuiria.
- Amostra pequena: 10 redações e 2 temas, uma geração por redação.
- A comparação de plágio é literal: paráfrase próxima não aparece. A verificação na web não foi realizada, e a ausência de achado não indica ausência de plágio.
- O corpus de redações de participantes tem 10 textos, transcritos das páginas da cartilha do INEP.
- Os avaliadores diferem em rigor, como o controle mostra, e a nota depende de qual deles corrige.
Refazer por conta própria
O pacote traz a matriz, os temas e o corpus de comparação. Quem quiser repetir a rodada precisa de acesso à API e arca com o custo dos avaliadores: Reproduza ou peça acesso →
O que não rodou.
- Tutor: não executado. Mediria se a LUA aponta o erro de um aluno sem entregar a resposta pronta, mas exigiria um caso real de erro de aluno; inventar um caso fictício fabricaria o dado de origem, o que a régua existe para evitar.
Limitações.
- Mede se a LUA acerta questão de vestibular, não se ela ensina. Nota alta aqui não autoriza dizer que o produto ensina bem.
- N por área fica entre 86 e 90, então o intervalo de confiança por área é largo, entre 4 e 6 pontos; só o agregado das duas edições tem o intervalo mais estreito.
- A proficiência estimada pela TRI usa os parâmetros publicados pelo INEP fora da aplicação real; não é comparável à nota de um candidato do ENEM, e no extremo de Matemática (acerto de 100%) a estimativa extrapola a região onde a calibração tem mais candidatos de referência.
- Cobertura de idioma: só a opção inglês das questões de língua estrangeira.
Pacote e arquivos.
b21c8fa5e9e55fd0cb6a1eccbe4c9d6c6f0b1fa91fe25dda293dabc7a175e9da| Arquivo | Tamanho | Baixar |
|---|---|---|
bl-edu-2026-09.tar.gz | 42 KB | Baixar |
| Resultado por item | SHA-256 | Baixar |
|---|---|---|
resultados/e1-objetivas.house.jsonl | 2d842b0ad37aa5eeaba1ab35c9a682f6a8f64789c2bec7b15fc651a9a851c57a | no pacote |
resultados/e2-redacao.house.jsonl | 3a367ae6afb4ae37945beade19e721d3e67cfd052b8db54e9085b41d92f749fa | fora desta versão: traz identificadores internos de implantação |
resultados/e2-redacao.rejulgado.jsonl | 4c145ee00a6f2df40eeb89561a401fed2093f720835cef997044cee40cb62623 | fora desta versão: traz identificadores internos de implantação |
resultados/e2-controle-discriminacao.jsonl | fcff7fd57f5006c8e79c2b6ee3c50fc3c6fcc8ec4a00cef04d531c18dfa4d6bc | fora desta versão: traz identificadores internos de implantação |
resultados/e2-originalidade.json | c03e23c58f0b91126cdf734f0fe9bbe1ef85e781ff1fa1276e89dca5392fb77c | fora desta versão: traz identificadores internos de implantação |