LeiAÍ — relatório do benchmark

Agregado geral

90/122 corretas · 0 gabarito errado · 5 ambígua/ruim · 27 comentário ruim

questões avaliadas: 112 · questões no banco (vigentes): 955 · distribuição no banco por modelo: claude-sonnet-5: 891 · claude-opus-5: 64

Por modelo gerador (A/B revelado)

chave	vereditos	correta	GABARITO ERRADO	ambígua/ruim	comentário ruim
claude-sonnet-5	97	65 (67%)	0 (0%)	5 (5%)	27 (28%)
claude-opus-5	25	25 (100%)	0 (0%)	0 (0%)	0 (0%)

Por estratégia de pegadinha

chave	vereditos	correta	ambígua/ruim	comentário ruim
literalidade	36	26 (72%)	1 (3%)	9 (25%)
troca_expressao	21	16 (76%)	2 (10%)	3 (14%)
troca_sujeito	11	5 (45%)	1 (9%)	5 (45%)
restricao_indevida	9	7 (78%)	0 (0%)	2 (22%)
inversao_consequencia	9	7 (78%)	0 (0%)	2 (22%)
alteracao_quorum	7	7 (100%)	0 (0%)	0 (0%)
generalizacao_indevida	5	3 (60%)	1 (20%)	1 (20%)
alteracao_limite	5	3 (60%)	0 (0%)	2 (40%)
retirada_condicao	3	3 (100%)	0 (0%)	0 (0%)
insercao_item_nao_previsto	3	2 (67%)	0 (0%)	1 (33%)
poder_dever	3	2 (67%)	0 (0%)	1 (33%)
inversao_regra_excecao	3	3 (100%)	0 (0%)	0 (0%)
alteracao_prazo	2	1 (50%)	0 (0%)	1 (50%)
e_ou	1	1 (100%)	0 (0%)	0 (0%)
permitido_vedado	1	1 (100%)	0 (0%)	0 (0%)
confusao_institutos_semelhantes	1	1 (100%)	0 (0%)	0 (0%)
retirada_excecao	1	1 (100%)	0 (0%)	0 (0%)
inclusao_condicao	1	1 (100%)	0 (0%)	0 (0%)

Por tipo de questão

chave	vereditos	correta	GABARITO ERRADO	ambígua/ruim	comentário ruim
certo_errado	89	58 (65%)	0 (0%)	4 (4%)	27 (30%)
multipla_escolha	33	32 (97%)	0 (0%)	1 (3%)	0 (0%)

Por nível de comentário

chave	vereditos	correta	ambígua/ruim	comentário ruim
1	54	23 (43%)	4 (7%)	27 (50%)
2	38	37 (97%)	1 (3%)	0 (0%)
3	30	30 (100%)	0 (0%)	0 (0%)

Nível de comentário × modelo gerador (v3.2)

Base: todas as questões vigentes com origem="gerada" (convertidas ficam de fora: são sempre nível 1 por template). Origens no banco: convertida: 584 · gerada: 371.

modelo	questões	nível 1	nível 2	nível 3
claude-sonnet-5	345	60 (17%)	211 (61%)	74 (21%)
claude-opus-5	26	2 (8%)	11 (42%)	13 (50%)

Polaridade das ME vigentes (alvo ~70% correta / ~30% incorreta): correta: 78 · correta (sem campo, pré-v3.2): 29 · incorreta: 42

Cobertura por dispositivo (v3.2)

Por lei/título: questões vigentes por artigo, artigos do escopo com zero questão e dispositivos (artigo + parágrafos/incisos/alíneas) que já são fonte de gabarito. É o instrumento que mede a dispersão e guia a semeadura.

lei	título	artigos	com zero	questões	dispositivos cobertos	por artigo
CF88	Título I — Dos Princípios Fundamentais	4	0 (0%)	42	25/25	4 artigo(s) com questão Art. 1º: 18Art. 2º: 10Art. 3º: 5Art. 4º: 9
CF88	Título II — Dos Direitos e Garantias Fundamentais	13	6 (46%)	76	50/250	7 artigo(s) com questão Art. 5º: 54Art. 6º: 0Art. 7º: 2Art. 8º: 6Art. 9º: 6Art. 10: 0Art. 11: 0Art. 12: 0Art. 13: 1Art. 14: 0Art. 15: 1Art. 16: 0Art. 17: 6
CF88	Título III — Da Organização do Estado	27	0 (0%)	124	113/395	27 artigo(s) com questão Art. 18: 6Art. 19: 1Art. 20: 12Art. 21: 1Art. 22: 2Art. 23: 6Art. 24: 6Art. 25: 6Art. 26: 2Art. 27: 7Art. 28: 1Art. 29: 1Art. 29-A: 1Art. 30: 7Art. 31: 7Art. 32: 1Art. 33: 6Art. 34: 6Art. 35: 6Art. 36: 1Art. 37: 5Art. 38: 12Art. 39: 1Art. 40: 11Art. 41: 1Art. 42: 7Art. 43: 1
CF88	Título IV — DA ORGANIZAÇÃO DOS PODERES	95	4 (4%)	321	308/842	91 artigo(s) com questão Art. 44: 6Art. 45: 1Art. 46: 6Art. 47: 1Art. 48: 1Art. 49: 2Art. 50: 6Art. 51: 6Art. 52: 6Art. 53: 1Art. 54: 1Art. 55: 1Art. 56: 6Art. 57: 1Art. 58: 6Art. 59: 1Art. 60: 1Art. 61: 6Art. 62: 6Art. 63: 0Art. 64: 6Art. 65: 1Art. 66: 5Art. 67: 6Art. 68: 5Art. 69: 6Art. 70: 6Art. 71: 5Art. 72: 4Art. 73: 1Art. 74: 1Art. 75: 6Art. 76: 6Art. 77: 1Art. 78: 5Art. 79: 1Art. 80: 6Art. 81: 1Art. 82: 6Art. 83: 1Art. 84: 1Art. 85: 1Art. 86: 1Art. 87: 6Art. 88: 2Art. 89: 1Art. 90: 6Art. 91: 6Art. 92: 0Art. 93: 6Art. 94: 1Art. 95: 1Art. 96: 8Art. 97: 5Art. 98: 1Art. 99: 4Art. 100: 7Art. 101: 1Art. 102: 6Art. 103: 11Art. 103-A: 6Art. 103-B: 6Art. 104: 6Art. 105: 1Art. 106: 1Art. 107: 1Art. 108: 6Art. 109: 6Art. 110: 1Art. 111: 1Art. 111-A: 1Art. 112: 5Art. 113: 1Art. 114: 1Art. 115: 1Art. 116: 6Art. 118: 1Art. 119: 6Art. 120: 2Art. 121: 6Art. 122: 6Art. 123: 6Art. 124: 1Art. 125: 7Art. 126: 1Art. 127: 4Art. 128: 1Art. 129: 1Art. 130: 1Art. 130-A: 1Art. 131: 6Art. 132: 1Art. 133: 1Art. 134: 0Art. 135: 0
CF88	Título V — Da Defesa do Estado e Das Instituições Democráticas	9	0 (0%)	55	38/83	9 artigo(s) com questão Art. 136: 6Art. 137: 6Art. 138: 5Art. 139: 6Art. 140: 9Art. 141: 6Art. 142: 6Art. 143: 5Art. 144: 6
CF88	Título VI — Da Tributação e do Orçamento	42	9 (21%)	144	117/542	33 artigo(s) com questão Art. 145: 42Art. 146: 1Art. 146-A: 1Art. 147: 1Art. 148: 2Art. 149: 6Art. 149-A: 7Art. 149-B: 0Art. 149-C: 0Art. 150: 5Art. 151: 6Art. 152: 6Art. 153: 1Art. 154: 6Art. 155: 5Art. 156: 0Art. 156-A: 6Art. 156-B: 1Art. 157: 4Art. 158: 1Art. 159: 0Art. 159-A: 5Art. 160: 1Art. 161: 1Art. 162: 1Art. 163: 1Art. 163-A: 1Art. 164: 1Art. 164-A: 6Art. 165: 6Art. 166: 1Art. 166-A: 1Art. 167: 0Art. 167-A: 0Art. 167-B: 6Art. 167-C: 0Art. 167-D: 4Art. 167-E: 1Art. 167-F: 0Art. 167-G: 3Art. 168: 0Art. 169: 4
CF88	Título VII — Da Ordem Econômica e Financeira	22	10 (45%)	34	29/116	12 artigo(s) com questão Art. 170: 0Art. 172: 1Art. 173: 1Art. 174: 0Art. 175: 5Art. 176: 0Art. 177: 1Art. 178: 0Art. 179: 0Art. 180: 0Art. 181: 5Art. 182: 0Art. 183: 1Art. 184: 6Art. 185: 0Art. 186: 2Art. 187: 0Art. 188: 1Art. 189: 1Art. 190: 6Art. 191: 4Art. 192: 0
CF88	Título VIII — Da Ordem Social	44	7 (16%)	126	104/395	37 artigo(s) com questão Art. 193: 6Art. 194: 3Art. 195: 0Art. 196: 6Art. 197: 0Art. 198: 1Art. 199: 5Art. 200: 1Art. 201: 1Art. 202: 1Art. 203: 6Art. 204: 6Art. 205: 0Art. 206: 1Art. 207: 6Art. 208: 1Art. 209: 1Art. 210: 0Art. 211: 6Art. 212: 0Art. 212-A: 0Art. 213: 1Art. 214: 1Art. 215: 5Art. 216: 0Art. 216-A: 1Art. 217: 1Art. 218: 6Art. 219: 1Art. 219-A: 6Art. 219-B: 1Art. 220: 1Art. 221: 6Art. 222: 1Art. 223: 5Art. 224: 6Art. 225: 1Art. 226: 1Art. 227: 1Art. 228: 6Art. 229: 6Art. 230: 6Art. 231: 6Art. 232: 6
CF88	Título IX — Das Disposições Constitucionais Gerais	17	8 (47%)	33	17/45	9 artigo(s) com questão Art. 234: 0Art. 235: 1Art. 236: 6Art. 237: 6Art. 238: 6Art. 239: 0Art. 240: 0Art. 241: 1Art. 242: 5Art. 243: 0Art. 244: 1Art. 245: 0Art. 246: 6Art. 247: 1Art. 248: 0Art. 249: 0Art. 250: 0

Descartes das barreiras (logs/descartes.jsonl)

Barreira 1: 0 · Barreira 2: 0 · dedup: 0 · parse: 0 · erro de modelo: 0

Comparação de auditores

rodada	modelo	questões	reprovou	divergiu do auditor original	divergiu do humano
claude-haiku-4-5@2026-08-23T04:36	claude-haiku-4-5	1	0	0	0
claude-haiku-4-5@2026-08-23T04:38	claude-haiku-4-5	6	2	2	2

Modelo auditor: todas as questões (não só as com veredito)

ou: npm run comparar-auditores -- --modelo claude-haiku-4-5

Custo (api_usage)

1000 chamadas · US$ 21.2892 · geracao: 235 (US$ 11.3926) · auditoria: 188 (US$ 1.8359) · auditoria_comparacao: 6 (US$ 0.0089) · auditoria_conversao: 264 (US$ 1.4550) · comentario_piloto: 303 (US$ 6.5773) · auditor_terra_teste: 4 (US$ 0.0195)