LUA VISIONPOSCOMP: a prova da pós em computação.
Questões do Exame Nacional para Ingresso na Pós-Graduação em Computação, da Sociedade Brasileira de Computação. Cobre matemática, fundamentos e tecnologia da computação.
Resultados.
Em cada linha, o melhor valor fica destacado. Atenção ao sentido: em algumas métricas, quanto menor, melhor (alucinação, recusa indevida, erro de calibração).
| Modelo | Acerto (%) ↑ maior é melhor | IC 95% | Respondidas | Recusadas ou barradas | Sem resposta |
|---|---|---|---|---|---|
| LUA Genesys PI House | 95,4 | 91,5–98,5 | 130 | 0 | 0 |
| GPT-5.5 | 95,4 | 91,5–98,5 | 130 | 0 | 0 |
| GPT-5.4 | 95,4 | 91,5–98,5 | 130 | 0 | 0 |
| Grok 4.6 | 96,2 | 92,3–99,2 | 130 | 0 | 0 |
| DeepSeek-V4-Pro | 93,1 | 88,5–96,9 | 130 | 0 | 0 |
| Kimi K2.6 | 95,4 | 91,5–98,5 | 130 | 0 | 0 |
| Sabiá 4 Thinking† | 90,8 | — | — | — | — |
Acerto (%) · maior é melhor
Eixo de 85 a 100. Barra preta: intervalo de confiança de 95%.
Como foi rodado.
| Data | 24/09/2026 |
|---|---|
| Dataset | maritaca-ai/poscomp, commit 9bdc9e19274f, arquivo data/train-00000-of-00001.parquet |
| Itens | 130 de 140. Saem 10: questões com imagem associada ou sem gabarito de A a E, para todos os modelos. |
| Pontuação | Letra exata, extraída por expressão regular da linha final "Resposta: X". Sem juiz. |
| Execuções | Uma por item, pass@1. |
| Falhas | Pergunta sem resposta conta zero e fica no denominador. Isso inclui recusa do filtro de conteúdo do provedor e recusa da própria coluna. |
| Intervalo | Intervalo de 95% por bootstrap percentil, 4.000 reamostragens sobre os itens, semente fixa. |
| SHA-256 dos dados | dados/poscomp.jsonlf303d96bbe4c31abd61d4d6b8644f409b578cef12612ed8e8ab8e0cae56cf9e5 |
Configuração por modelo.
Todos os modelos receberam as mesmas mensagens, pela API comercial de cada fornecedor ou da nuvem onde o modelo está publicado, na mesma data. Nenhum prompt de sistema extra, nenhuma temperatura, nenhuma ferramenta além das que o benchmark define.
| Modelo | Acesso | Esforço de raciocínio |
|---|---|---|
| LUA Genesys PI House | API pública api.lua.vision | medium |
| GPT-5.5 | API comercial | medium |
| GPT-5.4 | API comercial | medium |
| Grok 4.6 | API comercial | padrão do modelo |
| DeepSeek-V4-Pro | API comercial | padrão do modelo |
| Kimi K2.6 | API comercial | padrão do modelo |
| Sabiá 4 Thinking † | valor publicado pelo fornecedor | — |
Decisões de protocolo.
- Um prompt de múltipla escolha só, zero-shot, igual para todos os modelos: o modelo raciocina e fecha com "Resposta: X". O prompt está no pacote.
- Questões com imagem saem para todos os modelos, porque nem todo modelo comparado lê imagem.
Defeitos achados nos dados.
- POSCOMP_2022_1: nenhuma alternativa é o valor de (A−2I)². Os modelos que fizeram a conta disseram isso. O item fica no placar, igual para todas as colunas.
Contaminação.
Os itens estão em datasets públicos. Qualquer coluna, a da LUA inclusive, pode ter visto essas questões em treino. Esta rodada não mediu contaminação, e o número deve ser lido como teto do que o modelo sabe sobre o assunto, não como prova de raciocínio sobre item inédito.
Limitações.
- Uma execução por item. A variação entre execuções do mesmo modelo não foi medida.
- Um prompt de múltipla escolha só, zero-shot. Outro prompt pode mudar a ordem das colunas.
- O número vale para o modelo servido pela API em 24/09/2026. Versão nova pede rodada nova.
- Questões com imagem ficaram fora para todas as colunas. O resultado não diz nada sobre leitura de figura.
Reproduzir.
O pacote traz o código que chama os modelos, o que monta cada prova, o que pontua e o que gera a tabela, mais a tabela agregada desta rodada. Os dados são baixados por preparar_dados.py nas versões exatas e conferidos por SHA-256. Se um byte mudar, o script para.
Com Python 3 e Node 20 ou mais novo:
tar -xzf bancada-brasil-2026-09.tar.gz && cd bancada-brasil-2026-09
shasum -a 256 -c <(sed -n '/^Arquivos deste pacote/,/^$/p' VERIFICAR.txt | grep -E '^[0-9a-f]{64}')
pip install huggingface_hub pyarrow
python3 preparar_dados.py # baixa, normaliza e confere SHA-256
export LUA_API_KEY=... # chave de avaliação da API LUA
node run.mjs --bench poscomp --modelo house
node tabela.mjs1144df20af11b5c0141614c256fa1733c698bf829be3303842839ec149a1f81111 KB · As respostas cruas por item não estão neste pacote.Histórico.
24/09/2026 · primeira rodada, publicada nesta página.