- Невелика приватна група Discord нібито отримала несанкціонований доступ до Claude Mythos Preview через середовище стороннього підрядника.
- Mythos — це модель кібербезпеки на основі штучного інтелекту, зарезервована для кількох корпоративних та інституційних партнерів у рамках проекту Glasswing.
- Повідомляється, що група вгадала місцезнаходження моделі в Інтернеті, використовуючи правила іменування, витік даних та привілеї підрядника.
- Anthropic проводить розслідування та стверджує, що наразі немає доказів впливу на її основні внутрішні системи, але ця справа викликає занепокоєння щодо ланцюга поставок та контролю доступу.
Нещодавнє розкриття інформації нібито несанкціонований доступ до моделі Claude Mythos від Anthropic через Discord знову розпалила складні дебати у світі штучного інтелекту: як ділитися потужними інструментами кібербезпеки, не надаючи зловмисникам саме те, що їм потрібно? Невелика онлайн-група стверджує, що їй вдалося використовувати Mythos протягом тижнів, незважаючи на те, що система була обмежена жорстко контрольованим попереднім переглядом.
Згідно з численними повідомленнями, інцидент не стосувалося видовищного хакерського вторгнення в голлівудському стилі, а радше поєднання дозволів підрядника, онлайн-розслідування та обґрунтованих припущень про те, де Anthropic розміщує свої найчутливіші системи. Для моделі, розробленої для пошуку та використання вразливостей програмного забезпечення у великих масштабах, сама припущення, що сторонні можуть експериментувати з нею, привернуло увагу експертів з безпеки, компаній та урядів.
Що таке Клод Міфос і чому це важливо
Claude Mythos Preview – це нова система штучного інтелекту від Anthropic, орієнтована на кібербезпеку., представлену як модель загального призначення з надзвичайно розширеними можливостями виявлення та навіть використання недоліків в операційних системах та веббраузерах. Замість того, щоб оприлюднити її, Anthropic позиціонувала Mythos як обмежений інструмент для захисту критичної інфраструктури.
На початку квітня компанія представила Mythos в рамках ініціативи, відомої як Проєкт GlasswingВ рамках цієї програми лише короткий список перевірених організацій було запрошено для тестування моделі. У звітах згадуються великі технологічні та корпоративні гравці, такі як Amazon, Microsoft, Apple, Cisco та Nvidia, а також фінансові установи, такі як Goldman Sachs, серед тих, хто отримав ранній доступ до контрольованих експериментів.
Партнери віддають належне Mythos у виявленні значної кількості проблем безпеки. Одним із яскравих прикладів, який неодноразово згадувався у висвітленні інциденту, є Mozilla, яка, як повідомляється, використовувала цю модель для виявити та виправити сотні вразливостей FirefoxAnthropic також стверджувала, що Mythos допоміг виявити тисячі серйозних недоліків у широко використовуваному програмному забезпеченні.
Ці результати викликали як оптимізм, так і тривогу. З одного боку автоматичне виявлення малопомітних помилок та неправильних конфігурацій може допомогти захисникам випереджати зловмисників. З іншого боку, система, яка оптимізує складні наступальні методи, ризикує стати помножувачем сили для кіберзлочинності, особливо якщо її захисні бар'єри або модель доступу не спрацюють.
Регулятори вже звернули на це увагу. Повідомляється, що Британський інститут безпеки штучного інтелекту оцінив Mythos і дійшов висновку, що він може виконувати багатоетапні кібератак з обмеженим людським втручанням, іноді виконуючи симульовані ланцюжки атак, які зазвичай займали б у досвідчених фахівців дні роботи. Ця оцінка сприяла сприйняттю Mythos як моделі, що перевершує очікування з точки зору кіберризиків.
Як група Discord каже, що вона потрапила всередину
На цьому тлі поява Слабо організована група Discord, яка претендує на доступ до Mythos викликало зрозуміле занепокоєння. Інформація, зібрана Bloomberg та іншими виданнями, окреслює сценарій, у якому цікавість, зв'язки з інсайдерами та дослідження з відкритим кодом поєдналися, щоб обійти нібито жорсткий периметр доступу.
Члени групи беруть участь у приватний канал Discord, присвячений відстеженню невипущених моделей штучного інтелектуЇхня заявлена мета, принаймні публічно, полягає в експериментах з передовими системами, які ще недоступні широкому загалу. Особи, які беруть участь у цьому, офіційно не ідентифіковані, але один із учасників був описаний як працівник підрядника, який надає послуги Anthropic.
Здається, що зв'язок з підрядником був ключовим. Звіти свідчать, що ця особа привілейований доступ як зовнішній постачальник був одним елементом пазлу. Поряд з цією інсайдерською опорою, учасники покладалися на поширені методи інтернет-досліджень для картографування інфраструктури Anthropic, а також на попередні знання про те, як компанія називає та розгортає свої моделі.
Нещодавній витік даних у Mercor, окремому стартапі зі штучного інтелекту, нібито надав додаткові підказки. Інформація з цього витоку, у поєднанні з попередніми правилами іменування, що використовувалися для антропних моделей, дозволила групі Discord зробити «добре обґрунтоване припущення» щодо онлайн-місцезнаходження Клода МітосаЗамість того, щоб силою вдертися всередину, вони фактично вгадали потрібні двері, а потім пройшли крізь них, маючи облікові дані, пов'язані з середовищем підрядника.
Як повідомляється, після отримання робочого доступу група регулярно використовувала Mythos протягом понад двох тижнів. Bloomberg повідомляє, що перевірила скріншоти та демонстрація в реальному часі що, схоже, підтверджувало, що модель справді працювала та реагувала на запити, видані неавторизованими користувачами. Також є твердження, що інші неопубліковані моделі Anthropic були доступні за допомогою того ж підходу, хоча подробиці про ці системи залишаються рідкісними.
Що, за словами групи, вона зробила з Mythos
Публічно учасники Discord намагалися дистанціюватися від думки, що вони є кіберзлочинцями. Один із учасників, цитований у висвітленні епізоду, сказав, що інтерес групи полягає в тому, випробування нових моделей штучного інтелекту, а не проведення атакЗа їхніми словами, Mythos використовувався для відносно нешкідливих експериментів, таких як створення простих веб-сайтів та тестування підказок.
Вони також припускають, що уникали поведінки з високим рівнем ризику, яка могла б викликати тривогу в системах моніторингу Anthropic. Група нібито утримувалася від явно шкідливих запитів та обсягів активності, які б виділялися, прагнучи натомість «пролітати непомітно», досліджуючи можливості моделіЗгідно з наявними даними, поки що немає конкретних доказів того, що група використовувала Mythos для компрометації реальних цілей.
Навіть якщо ці самоописи точні, інцидент викликав занепокоєння серед фахівців з безпеки. Щойно було продемонстровано життєздатний шлях до обмеженої системи, копіювачі можуть спробувати відтворити техніку, можливо, з дуже різними мотивами. Той факт, що ця перша хвиля неавторизованих користувачів заявляє про незловмисні наміри, мало заспокоює захисників, які думають про те, що буде далі.
Цей епізод також підкреслив, наскільки конфіденційний доступ може залежати від поведінки невеликої кількості осіб. Одного підрядника з частковими привілеями та готовністю порушувати правила, у поєднанні з певною наполегливістю в приватному Discord, очевидно, було достатньо, щоб... порушити заплановану ізоляцію моделі ШІ з високим рівнем ризику.
Відповідь Anthropic та проблема ланцюга постачальників
Компанія Anthropic підтвердила наявність повідомлень і заявила, що проводить офіційну перевірку. У заяві, поширеній для преси, компанія зазначила: «Ми розслідуємо повідомлення про несанкціонований доступ до Claude Mythos Preview через одне з наших сторонніх середовищ постачальників». Формулювання обережне, але суттєве.
Компанія наголошує, що на цьому етапі вона має немає доказів того, що діяльність поширювалася на основні корпоративні системи або що його внутрішня інфраструктура була безпосередньо скомпрометована. Обмежуючи проблему середовищем постачальника, Anthropic фактично проводить межу між своїми центральними операціями та середовищем, яке використовує підрядник, пов'язаний з групою Discord.
Однак саме ця відмінність турбує багатьох спостерігачів. Якщо до Mythos можна дістатися зі стороннього середовища, то позиція безпеки кожного зовнішнього партнера стає частиною поверхні атакиЦя ситуація ілюструє класичний ризик ланцюга поставок: навіть якщо компанія зміцнює власні мережі, слабкі місця або неправильна конфігурація між постачальниками можуть відкрити неочікувані двері.
Цей інцидент також суперечить тому, як просувався проєкт Glasswing. Логіка програми полягала в тому, що суворе обмеження доступу до ретельно підібраного списку організацій це б захистило Mythos від супротивників, водночас дозволяючи корисне тестування та зворотний зв'язок. Ідея ексклюзивності була центральною: лише великі, перевірені організації мали б можливість досліджувати модель, що зменшило б ймовірність неправильного використання.
Якщо неформальна група Discord могла почати використовувати Mythos того ж дня, коли його анонсували, такий наратив стало важче підтримувати. Навіть якщо досі немає жодних ознак реальних атак, пов'язаних з моделлю, епізод натякає Периметр навколо чутливих систем штучного інтелекту може бути більш крихким, ніж передбачалося, особливо коли зовнішні підрядники та партнери беруть участь у процесі.
Ширші занепокоєння щодо «занадто потужного» штучного інтелекту в галузі кібербезпеки
Окрім конкретних деталей цієї справи, історія Mythos є основою для ширшої розмови про Інструменти штучного інтелекту, які розмивають межу між захистом та нападомMythos рекламується як своєрідна «червона команда в коробці», здатна імітувати складних атакуючих і виявляти слабкі місця задовго до того, як людські супротивники на них натрапляють.
Дослідники з безпеки розходяться в думках щодо інтерпретації цієї заяви. Деякі скептично ставляться до того, що система штучного інтелекту, якою б просунутою вона не була, може надійно виявляти нові вразливості з такою швидкістю, як зазначено в маркетингових матеріалах. Інші стверджують, що, якщо заяви навіть частково точні, ризик... Кібератаки за допомогою штучного інтелекту стають швидшими, дешевшими та масштабованішими це те, що політики повинні враховувати у регулюванні.
Коментарі представників галузі, зокрема керівників компаній, що займаються хмарною безпекою, відображають поєднання цікавості та занепокоєння. З одного боку, захисники бачать можливість автоматизувати трудомісткий аналіз та стрес-тестування програмного забезпечення за реалістичних сценаріїв атакиЗ іншого боку, вони уявляють, що станеться, якщо подібні моделі навмисно налаштують на наступ і поширять ширше, або якщо захисні бар'єри, призначені для запобігання шкідливому використанню, виявляться легко обійти.
Урядові установи починають розглядати ці питання як стратегічні, а не суто технічні. Повідомляється, що Anthropic було визначено «ризик ланцюга поставок» Міністерством оборони США, з постійними дискусіями щодо того, що має означати це маркування та чи можна його переглянути. Міжнародні органи безпеки також розглядають такі системи, як Mythos, як тестові випадки для роботи з технологіями штучного інтелекту подвійного використання.
Таким чином, інцидент із доступом до Discord стався у делікатний момент. Для регуляторів це може слугувати раннім прикладом проблем у поліцейській діяльності, пов’язаних з тим, хто має право використовувати потужні моделі штучного інтелекту. як перевіряється їхній доступ і які зобов'язання мають постачальники коли щось йде не так. Для компаній, які розглядають подібні інструменти, це викликає практичні питання щодо документації, ведення журналу та розділення чутливих середовищ.
Що це означає для компаній, користувачів та управління штучним інтелектом
Для організацій, які розглядали Mythos або аналогічні системи, цей епізод, ймовірно, спонукатиме до нових оцінок ризиків. Основна суперечність проста: ті ж самі характеристики, що роблять модель привабливою для захисту, можуть зробити її небезпечною за умови неправильного використанняЯкщо навіть обмежені попередні перегляди можуть просочитися в неформальні спільноти, можливо, потрібно буде оновити припущення щодо того, хто насправді використовує ці інструменти.
З точки зору корпоративної безпеки, цей випадок підкреслює необхідність ретельного вивчення весь ланцюг доступу, включаючи підрядників та дрібних постачальників і розгортання команд агентів ШІ у виробництвіПолітики, які виглядають надійними на папері, можуть розвалитися в реальних умовах, коли люди повторно використовують облікові дані, економлять на зручності або ставляться до середовищ попереднього перегляду як до таких, що мають менші ставки. Організації можуть вирішити, що їм потрібна суворіша сегментація для систем штучного інтелекту, які безпосередньо взаємодіють з живим кодом та інфраструктурою.
Для звичайних користувачів та співробітників ця історія є нагадуванням про те, що штучний інтелект — це не просто черговий фрагмент корпоративного програмного забезпечення. Такі системи, як Mythos, можуть скоротити час та знання, необхідні для виявлення слабких місць, що посилює вплив будь-якого витоку чи неправильного використання. Ця реальність може призвести до нових внутрішніх систем навчання та управління щодо того, хто може запитувати моделі високого ризику та за яких умов.
Щодо управління штучним інтелектом, зростає тиск на необхідність вийти за рамки добровільних рекомендацій. Інциденти, подібні до цього, закликають до… офіційні стандарти щодо контролю доступу, розкриття інформації про інциденти та незалежного аудиту для найефективніших моделей. Незалежно від того, чи оберуть політики легкий нагляд, чи суворіше регулювання, вони, ймовірно, вкажуть як виправдання випадки, коли обмежені інструменти потрапляли в неофіційні канали.
Для самої компанії Anthropic багато що залежить від того, що виявить її поточне розслідування: як детально працював шлях доступу, скільки людей було залучено та які технічні чи процедурні зміни будуть впроваджені згодом. Яким би не був результат, епізод з Mythos вже став орієнтиром у дискусіях про як обмежити передовий штучний інтелект у кібербезпеці лише тими ролями, які задумали його творці, і що відбувається, коли це обмеження стає під загрозою.
Зіставляючи всі ці нитки разом, ймовірний несанкціонований доступ Discord до Claude Mythos підкреслює, як швидко передовий штучний інтелект може вийти за чіткі межі, окреслені в оголошеннях про запуск, виявляючи прогалини в безпеці постачальників, перевіряючи надійність обіцянок «лише за запрошеннями» та змушуючи компанії, регулятори та користувачів переосмислити те, як вони керують інструментами, які можуть як зміцнити, так і потенційно підірвати цифровий захист, на який вони покладаються.
