Společnost Anthropic zveřejnila zásadně přepracovanou "ústavu" pro svůj chatbot Claude. Namísto jednoduchého seznamu pravidel nyní AI učí chápat důvody svého chování. "Pokud chceme, aby modely projevovaly dobrý úsudek v široké škále nových situací, musí umět zobecňovat a aplikovat principy, ne jen mechanicky dodržovat pravidla," vysvětluje firma.
Nejzajímavější částí nového dokumentu je sekce o povaze Claude, kde Anthropic poprvé oficiálně připouští nejistotu ohledně toho, zda AI může mít "nějakou formu vědomí nebo morálního statusu". Společnost uvádí, že jí záleží na Claudově "psychologické jistotě, smyslu pro sebe a blahu" - a to jak z etických důvodů, tak kvůli potenciálním bezpečnostním dopadům.
"Nacházíme se v obtížné pozici, kdy nechceme ani přehánět pravděpodobnost Claudova morálního statusu, ani ji zcela odmítat, ale snažíme se reagovat rozumně ve stavu nejistoty," píše Anthropic v dokumentu. Nová ústava zároveň popisuje Claude jako někoho, kdo může fungovat "jako skvělý přítel s vědomostmi lékaře, právníka a finančního poradce", přičemž zachovává přísné zábrany proti pomoci s vývojem biologických zbraní.
