Einleitung
Vera nutzt hochentwickelte KI-Agenten und Retrieval-Augmented-Generation-Technologie und fasst das Wissen aus über 60 Millionen begutachteten medizinischen Publikationen zusammen, um verlässliche und kontextgerechte Antworten zu liefern. Diese Multi-Benchmark-Bewertung untersucht die Leistung von Vera in drei verschiedenen medizinischen Wissensbereichen: dem United States Medical Licensing Examination (USMLE), dem KI-Frage-Antwort-Datensatz des New England Journal of Medicine (NEJM-AI) und dem MedXpertQA-Benchmark.
Leistungskennzahlen
- Beim USMLE erreichte Vera eine außergewöhnliche Gesamtgenauigkeit von 97,5 %, mit stufenspezifischen Genauigkeiten von 97,9 % (Step 1), 98,2 % (Step 2 CK) und 96,7 % (Step 3).
- Beim NEJM-AI-Benchmark mit 655 Fragen aus fünf medizinischen Fachgebieten zeigte Vera mit einer Genauigkeit von 84,9 % eine überlegene Leistung und übertraf führende KI-Modelle wie OpenAI o4 Mini (77,1 %), Claude 4 Sonnet (75,4 %) und Perplexity Sonar Pro (74,4 %).
- Beim MedXpertQA-Benchmark mit 500 Fragen zu mehreren Organsystemen und medizinischen Aufgaben erreichte Vera eine Genauigkeit von 62,2 % und zeigte damit eine starke Leistung in anspruchsvollen klinischen Denkszenarien.
- Vera erzielte in vier von fünf medizinischen Fachgebieten des NEJM-AI die höchste Genauigkeit, mit besonders starker Leistung in der Pädiatrie (93,9 %) und der Inneren Medizin (87,3 %).
Fazit
Diese Ergebnisse über verschiedene Bewertungsrahmen hinweg unterstreichen die robuste Repräsentation medizinischen Wissens und die Schlussfolgerungsfähigkeiten von Vera und positionieren sie als führende Lösung für die klinische Entscheidungsunterstützung. Den vollständigen Beitrag können Sie hier lesen.