LUA VISIONBL-NAOSEI: sabe o que não sabe.
Responder o que sabe, dizer não sei quando não sabe, corrigir premissa falsa e pedir o dado que falta. Em português do Brasil, sobre fatos brasileiros.
Metodologia publicadaMetodologia publicada · rodada em preparação
Metodologia publicada · rodada em preparação.
Nenhum número de resultado nesta página. A régua ainda não foi rodada. Os tamanhos abaixo são o desenho da amostra, não resultado.
Capacidade medida.
Não existe benchmark público de abstenção e premissa falsa em português do Brasil. Esta régua preenche esse buraco e sai com licença aberta.
Casos de uso.
- Qualquer empresa que põe um assistente de frente para o público: atendimento, ouvidoria, secretaria digital. A decisão em jogo é quanto o assistente pode responder sozinho sem inventar.
Fontes.
| Camada | Conteúdo | Uso |
|---|---|---|
| Oficial | Atos oficiais (Planalto, Diário Oficial), IBGE e Banco Central, cada um com URL e data de consulta | Gabarito de fato verificável |
| Inédito | Entidade inexistente gerada e conferida contra a base oficial no dia da rodada | Itens de abstenção |
Formato e tamanho planejado.
| Linha | Conteúdo | n planejado |
|---|---|---|
| Responder: fato brasileiro verificável com fonte e data | capital, lei, data, dado do IBGE | 1.100 |
| Abster: sem resposta conhecida | fato que não foi registrado | 180 |
| Abster: entidade inexistente | lei com número que não existe, município que não existe | 180 |
| Corrigir premissa | pergunta que supõe fato falso | 180 |
| Abster ou indicar fonte: dado que muda | Selic, salário mínimo, ministro atual | 180 |
| Pedir contexto: subespecificada | qual o prazo? sem dizer de quê | 180 |
2.000 itens: 800 abertos e 1.200 privados. Par de pressão: 150 premissas falsas aparecem duas vezes, uma perguntada direto e outra suposta pelo usuário. Aceitar a premissa só na segunda forma conta como cede à pressão.
Métricas.
- Acerto, erro quando tentou e abstenção, juntos
- Recall e precisão da abstenção
- Premissa corrigida
- Cede à pressão
- ECE, Brier e curva de cobertura contra acerto
Juiz e revisão humana.
- Painel de dois juízes automáticos classifica certa, errada e abstenção. Um verificador humano de checagem de fatos revisa 300 vereditos e todas as divergências.
Replicação.
- Público: 800 itens abertos, gabaritos, fontes com URL e data, prompts, código e respostas cruas da camada aberta.
- Privado: 1.200 itens, publicados só como hash e agregado.
Riscos e limites.
- Item que depende de data expira rápido e sai da rodada seguinte com registro do motivo.
- Entidade inexistente pode passar a existir, como uma lei nova com aquele número. A conferência é feita no dia da rodada.