Introduzione
Vera sfrutta sofisticati agenti di IA e la tecnologia di Retrieval-Augmented Generation, sintetizzando le conoscenze di oltre 60 milioni di pubblicazioni mediche sottoposte a revisione paritaria per fornire risposte affidabili e adeguate al contesto. Questa valutazione multi-benchmark misura le prestazioni di Vera in tre distinti ambiti di conoscenza medica: l'esame di abilitazione medica degli Stati Uniti (USMLE), il dataset di domande e risposte di IA del New England Journal of Medicine (NEJM-AI) e il benchmark MedXpertQA.
Metriche di prestazione
- All'USMLE, Vera ha raggiunto un'accuratezza complessiva eccezionale del 97,5%, con accuratezze specifiche per fase del 97,9% (Step 1), 98,2% (Step 2 CK) e 96,7% (Step 3).
- Nel benchmark NEJM-AI, composto da 655 domande in cinque specialità mediche, Vera ha dimostrato prestazioni superiori con un'accuratezza dell'84,9%, superando i principali modelli di IA tra cui OpenAI o4 Mini (77,1%), Claude 4 Sonnet (75,4%) e Perplexity Sonar Pro (74,4%).
- Nel benchmark MedXpertQA, composto da 500 domande su molteplici sistemi corporei e compiti medici, Vera ha raggiunto un'accuratezza del 62,2%, dimostrando solide prestazioni in scenari di ragionamento clinico specialistico.
- Vera ha ottenuto l'accuratezza più elevata in quattro delle cinque specialità mediche del NEJM-AI, con prestazioni particolarmente solide in Pediatria (93,9%) e Medicina Interna (87,3%).
Conclusione
Questi risultati, ottenuti su diversi quadri di valutazione, sottolineano la solida rappresentazione delle conoscenze mediche e le capacità di ragionamento di Vera, posizionandola come una soluzione leader per il supporto alle decisioni cliniche. Puoi leggere l'articolo completo qui.