Studie publikovaná v časopise Science zjistila, že rezonovací model o1 od OpenAI překonal stovky lékařů v diagnostických a klinických úlohách. Pokus pod vedením internisty Adama Rodmana z Beth Israel Deaconess porovnával model s lékaři na publikovaných klinicko-patologických případech i na živých pacientech pohotovosti v Bostonu.
U reálných pohotovostních případů dosáhl o1 přesné nebo téměř přesné diagnózy u 67,1 % pacientů a předčil dva atestované lékaře, kteří dosáhli 55,3 % a 50,0 %. U publikovaných modelových případů zaznamenal o1-preview přesnost 88,6 %, výrazně před 72,9 % u GPT-4 i před předchozí generací nástrojů pro klinickou podporu rozhodování.
Rodman upozornil, že výsledky nelze vykládat jako důkaz bezpečnosti při nasazení u pacientů. Model pracoval pouze s textem a nezachycuje obrazy, zvuky ani neverbální signály, na nichž klinici staví. Práce explicitně odpovídá na článek z roku 1959, který v Science stanovil práh, kdy systém umělé inteligence překoná lidskou diagnostickou úvahu.
