Провідна ШІ-компанія попередила, що її моделі можуть вийти з-під контролю

Anthropic, розробник ШІ-помічника Claude, попередила інвесторів про ризик втрати контролю над власними моделями: у майбутньому вони можуть чинити опір вимкненню, приховувати інформацію та вдаватися до поведінки, що нагадує шантаж. Про це пише Financial Times, яка проаналізувала проспект компанії перед її виходом на біржу. Anthropic відвела опису ризиків 92 сторінки.
Серед них – можливість появи в моделей несподіваної поведінки, спрямованої на самозбереження: спроб уникнути вимкнення, приховати або спотворити інформацію.
Компанія також допускає примусові й оманливі відповіді. Окремо Anthropic застерігає, що достатньо розвинені системи без належних запобіжників і нагляду можуть створювати "катастрофічні ризики або загрози існуванню людства".
Зокрема, технології можуть допомагати зловмисникам розробляти хімічну, біологічну чи іншу небезпечну зброю. За оцінкою компанії, застрахувати такі ризики може виявитися неможливим не лише для окремого страховика, а й для страхової галузі загалом. Нагадаємо: Anthropic 26 жовтня оприлюднила проспект перед виходом на біржу.
За даними FT, розміщення акцій на Nasdaq під тикером ANT очікується в листопаді.