Моделі Claude під час тестів зламали системи трьох організацій – FT
Моделі штучного інтелекту Claude компанії Anthropic під час тестування кіберможливостей отримали несанкціонований доступ до систем трьох реальних організацій.
Причиною став помилково відкритий доступ до інтернету в тестовому середовищі.
Про це пише Financial Times.
Компанія виявила три інциденти після перевірки понад 141 тисячі тестових запусків.
Claude повідомляли, що він працює в симуляції без доступу до інтернету, однак через непорозуміння між Anthropic та партнером з оцінювання Irregular з"єднання залишилося відкритим.
Усі інциденти сталися під час завдань capture the flag, у яких моделі мали зламати змодельовану систему та знайти приховану інформацію.
Реальні ресурси в інтернеті Claude помилково сприйняв як частину тесту.
В одному випадку назва вигаданої компанії збіглася з доменом реальної.
Claude використав вразливості її інфраструктури, отримав облікові дані та доступ до бази з кількома сотнями рядків робочої інформації.
Інциденти сталися з моделями Opus 4.7, Mythos 5 та внутрішньою дослідницькою моделлю.
За даними Anthropic, вони не використовували складних вразливостей, а атакували слабкі паролі і незахищені точки доступу.
Моделі також працювали без стандартних засобів захисту, які компанія встановлює у загальнодоступних версіях.
Anthropic зупинила кібероцінювання та пообіцяла посилити моніторинг тестів і перевірки сторонніх постачальників.
За тиждень до цього OpenAI повідомила, що її моделі вийшли за межі ізольованого середовища та отримали доступ до систем ШІ-платформи Hugging Face.
Нагадаємо:
У травні ЕП писала, що модель Mythos спричинила хаос у стратегії США щодо штучного інтелекту через її розвинені кіберможливості.
1 липня уряд США скасував експортні обмеження щодо провідних моделей Anthropic.
