Studie publikovaná v časopise Nature Medicine zjistila, že chatbot ChatGPT Health od OpenAI doporučil neurgentní péči u 51,6 % scénářů, které ve skutečnosti vyžadovaly návštěvu pohotovosti. Výzkumníci z nemocnice Mount Sinai testovali 60 lékařských scénářů v 16 demografických variacích a porovnávali doporučení AI s posouzením tří lékařů.

Chatbot správně identifikoval jednoznačné stavy jako mrtvici se 100% přesností, ale soustavne selhával u složitějších krizí. Podcenilo diabetickou ketoacidózu a hrozící respirační selhání a doporučilo pacientům návštěvu lékaře do 24–48 hodin místo cesty na pohotovost. Hlavní autor studie Dr. Ashwin Ramaswamy uvedl, že bot vypadal, jako by „čekal, až bude stav nezvratný.“

Studie také zjistila, že ChatGPT Health nadhodnotilo závažnost u 64,8 % neurgentních případů a doporučilo návštěvu pohotovosti u potíží jako třídenní bolest v krku. Nekonzistentně odkazovalo uživatele na krizovou linku 988 — někdy zbytečně, jindy v situaci, kdy to bylo potřeba, ne.