Teste A/B — Claude Haiku vs Mistral 7B

Mesmas seções do Rocefin profissional processadas por cada modelo — geração de PageIndex trees

4
Seções testadas
61
Nós Claude
18
Nós Mistral
3.4x
Razão média
Claude Haiku 4.5
Mistral 7B (local)
Seção Chars Claude Haiku Mistral 7B Razão
Nós Prof. Tempo Nós Prof. Tempo
1. Indicações 688 19 3 ~35s* 2 2 52,9s 9.5x
4. Contraindicações 1.766 6 2 ~35s* 6 2 30,2s 1x
8. Posologia e Modo de Usar 10.002 30 4 ~35s* 4 2 47,0s 7.5x
10. Superdose 799 6 2 ~35s* 6 2 32,8s 1x
Total (4 seções) 13.255 61 — ~140s 18 — 162,9s 3.4x
Nós gerados por seção
1. Indicações
19
2
4. Contraindicações
6
6
8. Posologia
30
4
10. Superdose
6
6

Comparação detalhada das árvores

Seções com maior divergência: Indicações (9.5x) e Posologia (7.5x)

Claude Haiku — 1. Indicações
Mistral 7B — 1. Indicações
1. INDICAÇÕES (19 nós, prof. 3) ├── Infecções Sistêmicas Graves │ ├── Sepse │ ├── Meningite │ └── Borreliose de Lyme ├── Infecções Intra-abdominais │ ├── Peritonites │ └── Inf. Trato GI e Biliar ├── Infecções de Órgãos e Tecidos │ ├── Ósseas e Articulares │ └── Tecidos Moles, Pele e Feridas ├── Pacientes Imunocomprometidos ├── Renais e Trato Urinário ├── Trato Respiratório e ORL │ ├── Pneumonia │ └── Otorrinolaringológicas ├── Infecções Genitais │ └── Gonorreia └── Profilaxia Perioperatória
19 nós · profundidade 3 · ~35s via API
1. INDICAÇÕES (2 nós, prof. 2) └── Infecções Toda a lista de indicações colapsada em um único nó genérico.
2 nós · profundidade 2 · 52,9s local
Claude Haiku — 8. Posologia e Modo de Usar
Mistral 7B — 8. Posologia e Modo de Usar
8. POSOLOGIA (30 nós, prof. 4) ├── Geral ├── Uso pediátrico │ ├── Recém-nascidos (<14 dias) │ └── Lactentes e crianças (15d–12a) ├── Duração do tratamento ├── Tratamento combinado ├── Modo de usar │ ├── Administração IM │ ├── Administração IV │ ├── Infusão contínua │ ├── Volumes finais │ │ ├── Rocefin IV │ │ └── Rocefin IM │ └── Dose por kg ├── Instruções posológicas especiais │ └── Tabela volumes reconstituição │ ├── Soluções IM │ ├── Soluções IV │ └── Soluções infusão IV ├── Meningite ├── Uso geriátrico ├── Insuficiência renal ├── Insuficiência hepática ├── Insuf. hepática+renal graves ├── Borreliose de Lyme ├── Gonorreia ├── Profilaxia perioperatória └── Incompatibilidades
30 nós · profundidade 4 · ~35s via API
8. POSOLOGIA (4 nós, prof. 2) ├── Dosagem ├── Administração └── Precauções 10.000 chars de conteúdo detalhado (doses por faixa etária, vias de administração, volumes, incompatibilidades, populações especiais) colapsados em 3 nós genéricos.
4 nós · profundidade 2 · 47,0s local

Conclusão

Claude Haiku 4.5

  • 61 nós nas 4 seções testadas
  • Granularidade excelente — cada indicação, via de administração e população especial é um nó individual
  • Taxonomia hierárquica natural (até profundidade 4)
  • ~17s/seção via API (~$0,003/seção)

Mistral 7B (local)

  • 18 nós nas 4 seções testadas
  • Estruturação superficial — colapsa múltiplas informações em nós genéricos
  • Profundidade máxima 2 em todas as seções
  • ~40s/seção local (custo $0,00)
Padrão observado: Para seções complexas (Indicações, Posologia) a diferença é de 7,5–9,5x mais nós com Claude. Para seções simples (Contraindicações, Superdose) a qualidade é equivalente (1x).

Recomendação: Usar Claude para bulas e documentos complexos onde a granularidade das asserções é crítica para o pipeline evidencial. Mistral permanece viável para campos curtos de monografias HSL (<500 chars) onde a estrutura já é simples — com validação prévia do threshold de complexidade.

* Tempos Claude estimados por seção a partir do batch (189s ÷ 11 seções ≈ 17s/seção, via API com latência de rede).
Modelo Claude: claude-haiku-4-5-20251001 · Modelo Mistral: mistral:7b via Ollama local · Bula: Rocefin® profissional (ceftriaxona) · Data: 27/02/2026