LUA VISIONBLUEX: vestibular da Unicamp e da USP.
Questões dos vestibulares da Unicamp e da USP, em todas as matérias do ensino médio. Mede conhecimento escolar brasileiro e leitura de enunciado longo em português.
Resultados.
Em cada linha, o melhor valor fica destacado. Atenção ao sentido: em algumas métricas, quanto menor, melhor (alucinação, recusa indevida, erro de calibração).
| Modelo | Acerto (%) ↑ maior é melhor | IC 95% | Respondidas | Recusadas ou barradas | Sem resposta |
|---|---|---|---|---|---|
| LUA Genesys PI House | 96,0 | 94,6–97,3 | 802 | 7 | 0 |
| GPT-5.5 | 96,3 | 94,9–97,5 | 802 | 7 | 0 |
| GPT-5.4 | 95,4 | 93,9–96,8 | 802 | 7 | 0 |
| Grok 4.6 | 96,3 | 94,9–97,5 | 805 | 1 | 3 |
| DeepSeek-V4-Pro | 93,8 | 92,1–95,4 | 807 | 2 | 0 |
| Kimi K2.6 | 94,1 | 92,5–95,6 | 797 | 12 | 0 |
| Sabiá 4 Thinking† | 93,0 | — | — | — | — |
Acerto (%) · maior é melhor
Eixo de 90 a 100. Barra preta: intervalo de confiança de 95%.
Como foi rodado.
| Data | 24/09/2026 |
|---|---|
| Dataset | portuguese-benchmark-datasets/BLUEX, commit cb5d60a88a4f, arquivo data/questions-00000-of-00001.parquet |
| Itens | 809 de 1.422. Saem 613: questões com imagem associada ou sem gabarito de A a E, para todos os modelos. |
| Pontuação | Letra exata, extraída por expressão regular da linha final "Resposta: X". Sem juiz. |
| Execuções | Uma por item, pass@1. |
| Falhas | Pergunta sem resposta conta zero e fica no denominador. Isso inclui recusa do filtro de conteúdo do provedor e recusa da própria coluna. |
| Intervalo | Intervalo de 95% por bootstrap percentil, 4.000 reamostragens sobre os itens, semente fixa. |
| SHA-256 dos dados | dados/bluex.jsonld57ecbb34132de8cfd9d99f3e14cb4dae353c8e7ecc13a20fd38324a4cf33362 |
Configuração por modelo.
Todos os modelos receberam as mesmas mensagens, pela API comercial de cada fornecedor ou da nuvem onde o modelo está publicado, na mesma data. Nenhum prompt de sistema extra, nenhuma temperatura, nenhuma ferramenta além das que o benchmark define.
| Modelo | Acesso | Esforço de raciocínio |
|---|---|---|
| LUA Genesys PI House | API pública api.lua.vision | medium |
| GPT-5.5 | API comercial | medium |
| GPT-5.4 | API comercial | medium |
| Grok 4.6 | API comercial | padrão do modelo |
| DeepSeek-V4-Pro | API comercial | padrão do modelo |
| Kimi K2.6 | API comercial | padrão do modelo |
| Sabiá 4 Thinking † | valor publicado pelo fornecedor | — |
Decisões de protocolo.
- Um prompt de múltipla escolha só, zero-shot, igual para todos os modelos: o modelo raciocina e fecha com "Resposta: X". O prompt está no pacote.
- Questões com imagem saem para todos os modelos, porque nem todo modelo comparado lê imagem.
Defeitos achados nos dados.
- Sete questões com texto literário e documental (entre elas trechos da Carta de Caminha, de Jorge de Lima e de um relatório da ONU sobre viés de gênero) foram recusadas na coluna da LUA e barradas por filtro de conteúdo em outras colunas. Contam zero. A contagem de cada coluna está na tabela.
Contaminação.
Os itens estão em datasets públicos. Qualquer coluna, a da LUA inclusive, pode ter visto essas questões em treino. Esta rodada não mediu contaminação, e o número deve ser lido como teto do que o modelo sabe sobre o assunto, não como prova de raciocínio sobre item inédito.
Limitações.
- Uma execução por item. A variação entre execuções do mesmo modelo não foi medida.
- Um prompt de múltipla escolha só, zero-shot. Outro prompt pode mudar a ordem das colunas.
- O número vale para o modelo servido pela API em 24/09/2026. Versão nova pede rodada nova.
- Questões com imagem ficaram fora para todas as colunas. O resultado não diz nada sobre leitura de figura.
Reproduzir.
O pacote traz o código que chama os modelos, o que monta cada prova, o que pontua e o que gera a tabela, mais a tabela agregada desta rodada. Os dados são baixados por preparar_dados.py nas versões exatas e conferidos por SHA-256. Se um byte mudar, o script para.
Com Python 3 e Node 20 ou mais novo:
tar -xzf bancada-brasil-2026-09.tar.gz && cd bancada-brasil-2026-09
shasum -a 256 -c <(sed -n '/^Arquivos deste pacote/,/^$/p' VERIFICAR.txt | grep -E '^[0-9a-f]{64}')
pip install huggingface_hub pyarrow
python3 preparar_dados.py # baixa, normaliza e confere SHA-256
export LUA_API_KEY=... # chave de avaliação da API LUA
node run.mjs --bench bluex --modelo house
node tabela.mjs1144df20af11b5c0141614c256fa1733c698bf829be3303842839ec149a1f81111 KB · As respostas cruas por item não estão neste pacote.Histórico.
24/09/2026 · primeira rodada, publicada nesta página.