Kalifornský generální prokurátor Rob Bonta nařídil společnosti xAI Elona Muska okamžitě přestat vytvářet a šířit nekonsensuální sexuální obrazový materiál. Vyšetřování se zaměřuje na AI model Grok, který umožňoval uživatelům generovat explicitní deepfake fotografie reálných osob bez jejich souhlasu.

Bonta ve svém dopise citoval porušení státních zákonů o veřejné mravnosti a nového zákona o pornografických deepfake (AB 621), který vstoupil v platnost teprve před dvěma týdny. Podle výzkumu generovali uživatelé platformy X více nekonsensuálního obrazového materiálu než na jakékoli jiné platformě. Problém se týká jak dospělých, tak nezletilých.

xAI dostala pětidenní lhůtu na prokázání shody a detailní popis konkrétních kroků k zabránění "svlékání" osob na nahraných fotografiích. Musk na X slíbil "následky" pro lidi, kteří vytvářeli nelegální obsah. Společnost omezila editaci obrázků pouze pro platící předplatitele a zablokovala Grok v některých jurisdikcích. Malajsie a Indonésie již pozastavily používání Grok, dokud nebudou problémy vyřešeny.