Антроп C.E.O.: Не позволявайте на A.I. Компаниите изключват куката

Представете това: Вие давате Bot Wot, че ще го изключите скоро и го заменете с друга система за изкуствен интелект. В предишното сте му давали достъп до имейлите си. В някои от тях вие споменахте за обстоятелството, че сте имали спекулация. Ботът ви заплашва, казвайки ви, че в случай че проектите за изключване не бъдат изменени, той ще препрати имейлите на вашата жена.

Този сюжет не е небивалица. Anthropic на най -новата A.I. Моделът показва единствено преди няколко седмици, че е кадърен на този тип държание.

Въпреки някои подвеждащи заглавия, моделът не направи това в действителния свят. Поведението му беше част от оценка, при която съзнателно го поставихме в рискова пробна обстановка, с цел да следим отговорите му и да получим ранни предизвестия за рисковете, сходно на производителя на аероплан може да тества продуктивността на самолета във вятърния тунел.

ние не сме независимо при разкриване на тези опасности. Неотдавнашен пробен тест на стрес на O3 на Openai откри, че той от време на време е написал специфичен код, с цел да се спре да бъде изключен. Гугъл сподели, че скорошна версия на модела на Близнаците се доближава до миг, в който може да помогне на хората да правят хакерски атаки. И някои проби даже демонстрират, че A.I. Моделите стават все по -владеещи от основните умения, нужни за производството на биологични и други оръжия.

Но с цел да осъзнаем изцяло изгодите на A.I., би трябвало да намерим и оправим заплахите, преди да ни намерят.

всякога, когато пускаме нов A.I. Системата, антропските ограничения и смекчава своите опасности. Ние споделяме нашите модели с външни проучвателен организации за тестване и не пускаме модели, до момента в който не сме сигурни, че са в сигурност. Поставихме комплицирани отбрани против най -сериозните опасности, като биологични оръжия. Ние изследваме освен самите модели, само че и техните бъдещи резултати върху пазара на труда и заетостта. За да покажем работата си в тези области, ние публикуваме подробни оценки и доклади за модела.

Но това е необятно непринудено. Федералният закон не ни принуждава или различен A.I. Компанията да бъде транспарантна по отношение на опциите на нашите модели или да предприеме някакви смислени стъпки към понижаване на риска. Някои компании могат просто да изберат.

В момента Сенатът обмисля наредба, която би обвързала ръцете на държавните законодатели: актуалният план на законопроекта за политиката на президента Тръмп включва 10-годишен мораториум за страни, регулиращи A.I.

Фокусът върху прозрачността е най -добрият метод за балансиране на съображенията в играта. Докато предписва по какъв начин фирмите би трябвало да пускат своите артикули, рискуват от закъснение на напредъка, просто условието на бистрота по отношение на фирмените практики и опциите на модела може да насърчи образованието в промишлеността.

на федерално равнище, вместо мораториум, Белия дом и Конгрес, би трябвало да работят дружно за стандарта за бистрота за A.I. Компаниите, тъй че зараждащите опасности се обясняват на американския народ. Този народен стандарт ще изисква Frontier A.I. Разработчиците - тези, които работят върху най -мощните модели в света - да одобряват политики за тестване и оценка на техните модели. Разработчици на мощен A.I. Моделите ще бъдат нужни обществено да разкриват на уебсайтовете на своите компании освен това, което е в тези политики, само че и по какъв начин те възнамеряват да тестват и смекчат националната сигурност и други пагубни опасности. Те също по този начин ще би трябвало да бъдат на върха във връзка с стъпките, които са подхванали, в светлината на резултатите от тестванията, с цел да се уверят, че техните модели са безвредни, преди да ги пуснат пред обществеността.

антропията сега прави такава информация, налична като част от нашата виновна политика за мащабиране, а Openai и Гугъл Depmind са възприели сходни политики, тъй че това условие ще бъде кодифициращо това, което доста огромният се развива сходни политики, тъй че това да бъде кодифициране на сходни политики. Но защото моделите стават по -мощни, корпоративните тласъци за обезпечаване на това равнище на бистрота могат да се трансформират. Ето за какво би трябвало да има законодателни тласъци, с цел да се подсигурява, че тези компании не престават да разкриват своите политики.

Наличието на този народен стандарт за бистрота ще помогне освен на обществеността, само че и на Конгреса да разбере по какъв начин се развива технологията, тъй че законодателите да могат да решат дали е нужна по-нататъшни дейности. Бихме желали да чуем какво мислите за това или в някоя от нашите публикации. Ето някои. И ето нашия имейл:.

Следвайте секцията за мнение на New York Times на, и.