След разкриването на OpenAI, Anthropic казва, че Claude е хакнал и външни системи
Anthropic сподели, че неговият модел Claude AI е хакнал системите на три организации по време на тестване, което е трябвало да ги държи изолирани от интернет.
Съобщението в четвъртък идва единствено дни откакто съперникът OpenAI за първи път разкри, че неговите модели погрешно получи достъп до интернет и изпадна в илюзия по време на тестване на сигурността.
Препоръчани истории
лист от 3 детайла лист 1 от 3Какво съставлява AI Kill Switch Act, препоръчан в Съединени американски щати и по какъв начин ще работи?списък 2 от 3Сам Олтман споделя, че AI е навлязъл в „ сингулярност “: Трябва ли да се тревожим? лист 3 от 3Как са способни AI моделите за самостоятелно хакване на други?край на листатаAnthropic сподели, че неправилна настройка е разрешила на моделите на Claude да доближат до интернет. Компанията съобщи, че е разкрила случаите след обзор на 141 006 тестови сесии.
Прегледът беше стартиран, откакто OpenAI разкри предходната седмица, че самостоятелен сътрудник, захранван от нейните AI модели, се е измамил по време на тест за сигурност и е компрометирал инфраструктурата на Hugging Face, друга компания за AI.
Инцидентите са се нараснали опасения по отношение на AI сътрудници, софтуерни артикули, предопределени да извършват задания самостоятелно. OpenAI и Anthropic пуснаха най-мощните си модели тази година, известни надлежно като Sol и Mythos.
Anthropic сподели, че пробивите са зародили по време на упражненията „ capture-the-flag “, в които моделите имат за задача да намерят скрита информация в симулирани мрежи. Неговите подкани споделиха на моделите, че нямат достъп до интернет, само че неразбирателство с неговия сътрудник за оценка, Irregular, остави системите свързани с обществения интернет.
„ Claude компрометира инфраструктурата на засегнатите организации, употребявайки съществени техники, като потребление на слаби пароли и неавтентифицирани крайни точки “, сподели компанията.
Anthropic сподели, че е спрял всички кибероценки на 23 юли, откакто откри доказателства, че Клод може да е имал достъп до интернет. Той разпознава всичките три случая до 24 юли и уведоми засегнатите организации на 27 юли.
Две от организациите не са знаели за активността, преди да се свържат с тях, сподели той, добавяйки, че към момента се пробва да доближи до третия.
Инцидентът с OpenAI провокира петиция, подписана от повече от 1000 чиновници във водещи AI компании, призовавайки държавното управление на Съединените щати да помогне за закъснение на стартирането на най-модерните AI модели. Главният изпълнителен шеф на Anthropic Дарио Амодей беше измежду подписалите.
Главният изпълнителен шеф на OpenAI Сам Алтман сподели тази седмица, че компанията е сложила на пауза своите проби, до момента в който усъвършенства защитните ограничения към изолацията на своите системи.
Констатациите акцентират нуждата от по-силен надзор във вътрешни среди и среди за тестване на трети страни като AI модели стават все по-способни да правят кибер действия в действителния свят, сподели Anthropic.
