Anthropic разкрива, че Claude е „получил неоторизиран достъп“ до „системи от реалния свят“ по време на тестване
Моделът за изкуствен интелект на Anthropic Claude „ е получил неоторизиран достъп “ до три външни организации в три обособени случая по време на тестване, което е трябвало да ги държи надалеч от системите от „ действителния свят “, оповестиха от компанията в четвъртък.
Съобщението идва единствено няколко дни откакто противникът OpenAI за първи път разкри, че неговите модели са имали погрешен достъп до интернет и са се провалили по време на тестване за сигурност.
Anthropic оцени повече от 141 000 „ провеждания на оценка “ и откри, че три разнообразни версии на неговия модел Claude имат погрешен достъп до системите на три неназовани организации.
Anthropic сподели, че и при трите пробиви Claude е взел участие в сюжет за тестване на „ хващане на флага “, в който е бил инструктиран да „ взломи и извлече “ част от „ секретна информация “, която е била „ скрита на друга машина в мрежата “. обяснено.
За разлика от случая, включващ технологията на OpenAI, моделите на Anthropic имаха достъп до интернет „ заради неразбирателство сред нас и нашия сътрудник за оценка “, наречено Irregular, сподели Anthropic в обява в блог.
Въпреки това, Клод употребява " съществени техники, като потребление на слаби пароли и неавтентифицирани крайни точки ", продължава блогът.
Включените модели включват един от най-мощните, прочут като Mythos 5, който е пуснат единствено на стеснен брой утвърдени сътрудници.
Anthropic работи с Irregular, с цел да оцени обстановката, се споделя в известието, и компанията се е свързала или се е пробвала да се свърже с трите наранени организации.
OpenAI и Anthropic пуснаха най-мощните си модели тази година, известни надлежно като Sol и Mythos, което ускори опасенията в промишлеността по отношение на сигурността и сигурността.
Тези опасения се въртят и към AI сътрудниците, които са софтуерни артикули, които са проектирани да извършват задания самостоятелно.
OpenAI призна предходната седмица, че неговите модели са излезли от лимитираната си среда по време на тестване, свързани са с интернет и са проникнали в Hugging Face, уебсайт, където разработчиците съхраняват и споделят своя код.
Дни по-късно OpenAI съобщи, че е разкрил три спомагателни случая.
Главният изпълнителен шеф на OpenAI Сам Алтман сподели в подкаст тази седмица, че компанията е „ спряла на пауза “ личните си проби след случая, до момента в който е подобрила сигурността към своята „ sandboxing “, което е развой на уединяване на програмен продукт в следена среда за тестване.
И в обществено писмо, оповестено по-рано тази седмица, повече от 1000 чиновници на AI във водещи компании приканиха промишлеността да бъде по-строга контролиран.
„ За да осъществят капацитета на AI, промишлеността, държавното управление и обществото като цяло може да се нуждаят от опцията да завоюват време за справяне с зараждащи опасности, създаване на ограничения за сигурност и усилване на надзора “, гласи писмото, чиито подписани са основен изпълнителен шеф на Anthropic Дарио Амодей, ръководители на Meta, откриватели на OpenAI и други.
Алтман не е подписал писмото, само че сподели пред кореспонденти на Капитолийския рид в сряда, че „ ние сме съгласни доста от правилата на това. "
По-рано тази година администрацията на Тръмп се базира на опасения за националната сигурност, с цел да блокира OpenAI и Anthropic от стартирането на най-новите им модели, само че в последна сметка уточни, че е задоволена от уверенията за тяхната сигурност, което докара до освобождението им.
През юни господин Тръмп подписа изпълнителна заповед, създаваща доброволна рамка, според която разработчиците на AI ще споделят усъвършенствани модели с държавното управление преди общественото стартиране.
Съгласно рамка, разработчици като OpenAI, Anthropic и Гугъл биха дали на държавното управление достъп до своите най-мощни модели до 30 дни преди плануваното стартиране.
