Introducción
Vera aprovecha sofisticados agentes de IA y la tecnología de generación aumentada por recuperación (RAG), sintetizando el conocimiento de más de 60 millones de publicaciones médicas revisadas por pares para ofrecer respuestas fiables y adecuadas al contexto. Esta evaluación de múltiples benchmarks analiza el rendimiento de Vera en tres dominios distintos del conocimiento médico: el Examen de Licencia Médica de los Estados Unidos (USMLE), el conjunto de datos de preguntas y respuestas de IA del New England Journal of Medicine (NEJM-AI) y el benchmark MedXpertQA.
Métricas de rendimiento
- En el USMLE, Vera alcanzó una precisión global excepcional del 97,5 %, con precisiones por etapa del 97,9 % (Step 1), 98,2 % (Step 2 CK) y 96,7 % (Step 3).
- En el benchmark NEJM-AI, compuesto por 655 preguntas de cinco especialidades médicas, Vera demostró un rendimiento superior con una precisión del 84,9 %, superando a modelos de IA líderes como OpenAI o4 Mini (77,1 %), Claude 4 Sonnet (75,4 %) y Perplexity Sonar Pro (74,4 %).
- En el benchmark MedXpertQA, compuesto por 500 preguntas sobre múltiples sistemas corporales y tareas médicas, Vera alcanzó una precisión del 62,2 %, demostrando un sólido rendimiento en escenarios de razonamiento clínico especializado.
- Vera logró la mayor precisión en cuatro de las cinco especialidades médicas del NEJM-AI, con un rendimiento especialmente sólido en Pediatría (93,9 %) y Medicina Interna (87,3 %).
Conclusión
Estos resultados, obtenidos en diversos marcos de evaluación, ponen de relieve la sólida representación del conocimiento médico y las capacidades de razonamiento de Vera, posicionándola como una solución líder para el apoyo a la decisión clínica. Puede leer el artículo completo aquí.