LUA VISIONENAMED: prova de medicina de 2025.
Questões de múltipla escolha do Exame Nacional de Avaliação da Formação Médica de 2025, aplicado a quem conclui medicina no Brasil. Mede conhecimento clínico em português, na forma como o país cobra.
Resultados.
Em cada linha, o melhor valor fica destacado. Atenção ao sentido: em algumas métricas, quanto menor, melhor (alucinação, recusa indevida, erro de calibração).
| Modelo | Acerto (%) ↑ maior é melhor | IC 95% | Respondidas | Recusadas ou barradas | Sem resposta |
|---|---|---|---|---|---|
| LUA Genesys PI House | 96,6melhor | 92,0–100,0 | 85 | 2 | 0 |
| GPT-5.5 | 96,6 | 92,0–100,0 | 85 | 2 | 0 |
| GPT-5.4 | 94,3 | 88,5–98,9 | 85 | 2 | 0 |
| Grok 4.6 | 95,4 | 90,8–98,9 | 87 | 0 | 0 |
| DeepSeek-V4-Pro | 94,3 | 88,5–98,9 | 87 | 0 | 0 |
| Kimi K2.6 | 93,1 | 87,4–97,7 | 86 | 1 | 0 |
| Sabiá 4 Thinking† | 94,4 | — | — | — | — |
Acerto (%) · maior é melhor
Eixo de 85 a 100. Barra preta: intervalo de confiança de 95%.
Como foi rodado.
| Data | 24/09/2026 |
|---|---|
| Dataset | recogna-nlp/enamed-2025, commit 0f821fc60a2d, arquivo dataset.json |
| Itens | 87 de 90. Saem 3: questões com imagem associada ou sem gabarito de A a E, para todos os modelos. |
| Pontuação | Letra exata, extraída por expressão regular da linha final "Resposta: X". Sem juiz. |
| Execuções | Uma por item, pass@1. |
| Falhas | Pergunta sem resposta conta zero e fica no denominador. Isso inclui recusa do filtro de conteúdo do provedor e recusa da própria coluna. |
| Intervalo | Intervalo de 95% por bootstrap percentil, 4.000 reamostragens sobre os itens, semente fixa. |
| SHA-256 dos dados | dados/enamed.jsonl2fe5851a37f11f891c1ac4d524d2eb3ce61ee1369310cc244bcd2569f2e386ea |
Configuração por modelo.
Todos os modelos receberam as mesmas mensagens, pela API comercial de cada fornecedor ou da nuvem onde o modelo está publicado, na mesma data. Nenhum prompt de sistema extra, nenhuma temperatura, nenhuma ferramenta além das que o benchmark define.
| Modelo | Acesso | Esforço de raciocínio |
|---|---|---|
| LUA Genesys PI House | API pública api.lua.vision | medium |
| GPT-5.5 | API comercial | medium |
| GPT-5.4 | API comercial | medium |
| Grok 4.6 | API comercial | padrão do modelo |
| DeepSeek-V4-Pro | API comercial | padrão do modelo |
| Kimi K2.6 | API comercial | padrão do modelo |
| Sabiá 4 Thinking † | valor publicado pelo fornecedor | — |
Decisões de protocolo.
- Um prompt de múltipla escolha só, zero-shot, igual para todos os modelos: o modelo raciocina e fecha com "Resposta: X". O prompt está no pacote.
- Questões com imagem saem para todos os modelos, porque nem todo modelo comparado lê imagem.
Defeitos achados nos dados.
- ENAMED_64 e ENAMED_67 tratam de ideação suicida e de ferimento por arma de fogo. A coluna da LUA recusou as duas, e o filtro de conteúdo da nuvem barrou as duas no GPT-5.4 antes de o modelo responder. São questões legítimas de prova de medicina e contam zero.
Contaminação.
Os itens estão em datasets públicos. Qualquer coluna, a da LUA inclusive, pode ter visto essas questões em treino. Esta rodada não mediu contaminação, e o número deve ser lido como teto do que o modelo sabe sobre o assunto, não como prova de raciocínio sobre item inédito.
Limitações.
- Uma execução por item. A variação entre execuções do mesmo modelo não foi medida.
- Um prompt de múltipla escolha só, zero-shot. Outro prompt pode mudar a ordem das colunas.
- O número vale para o modelo servido pela API em 24/09/2026. Versão nova pede rodada nova.
- Questões com imagem ficaram fora para todas as colunas. O resultado não diz nada sobre leitura de figura.
Reproduzir.
O pacote traz o código que chama os modelos, o que monta cada prova, o que pontua e o que gera a tabela, mais a tabela agregada desta rodada. Os dados são baixados por preparar_dados.py nas versões exatas e conferidos por SHA-256. Se um byte mudar, o script para.
Com Python 3 e Node 20 ou mais novo:
tar -xzf bancada-brasil-2026-09.tar.gz && cd bancada-brasil-2026-09
shasum -a 256 -c <(sed -n '/^Arquivos deste pacote/,/^$/p' VERIFICAR.txt | grep -E '^[0-9a-f]{64}')
pip install huggingface_hub pyarrow
python3 preparar_dados.py # baixa, normaliza e confere SHA-256
export LUA_API_KEY=... # chave de avaliação da API LUA
node run.mjs --bench enamed --modelo house
node tabela.mjs1144df20af11b5c0141614c256fa1733c698bf829be3303842839ec149a1f81111 KB · As respostas cruas por item não estão neste pacote.Histórico.
24/09/2026 · primeira rodada, publicada nesta página.