Моделі Claude під час тестів зламали системи трьох організацій – FT

Моделі штучного інтелекту Claude компанії Anthropic під час тестування кіберможливостей отримали несанкціонований доступ до систем трьох реальних організацій.
Причиною став помилково відкритий доступ до інтернету в тестовому середовищі. Про це пише Financial Times. Компанія виявила три інциденти після перевірки понад 141 тисячі тестових запусків.
Claude повідомляли, що він працює в симуляції без доступу до інтернету, однак через непорозуміння між Anthropic та партнером з оцінювання Irregular з"єднання залишилося відкритим. Усі інциденти сталися під час завдань capture the flag, у яких моделі мали зламати змодельовану систему та знайти приховану інформацію.
Реальні ресурси в інтернеті Claude помилково сприйняв як частину тесту. В одному випадку назва вигаданої компанії збіглася з доменом реальної.
Claude використав вразливості її інфраструктури, отримав облікові дані та доступ до бази з кількома сотнями рядків робочої інформації. Інциденти сталися з моделями Opus 4.7, Mythos 5 та внутрішньою дослідницькою моделлю.
За даними Anthropic, вони не використовували складних вразливостей, а атакували слабкі паролі і незахищені точки доступу.
Моделі також працювали без стандартних засобів захисту, які компанія встановлює у загальнодоступних версіях. Anthropic зупинила кібероцінювання та пообіцяла посилити моніторинг тестів і перевірки сторонніх постачальників.
За тиждень до цього OpenAI повідомила, що її моделі вийшли за межі ізольованого середовища та отримали доступ до систем ШІ-платформи Hugging Face. Нагадаємо: У травні ЕП писала, що модель Mythos спричинила хаос у стратегії США щодо штучного інтелекту через її розвинені кіберможливості. 1 липня уряд США скасував експортні обмеження щодо провідних моделей Anthropic.