Някои AI инженери се страхуват от това, което изграждат. Те искат да говорят, докато все още имат ливъридж

Вижте всички тематики Връзката е копирана! Следвайте <стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu2ymqy1000x26p017jc11ml@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > Бившият антропичен откривател Джейкъб Коксън отвори шлюзовете.

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsk00053b6rq1knosk2@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > Коксън подаде оставка предходната седмица във вирусна нишка на X, която упрекна AI фирмите, че не работят отговорно, макар че всички те имат вяра, че AI може да провокира края на човечеството.

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsk00063b6rel3lkirp@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > Чували сме сходни прогнози и преди от цялата Силиконовата котловина, само че изявленията на Коксън провокираха сериозен напън върху фирмите с ИИ и държавните управления да създадат нещо по отношение на темпото на развиване и сигурността. И огромна част от този напън идва както от личния състав в фирмите, по този начин и отвън тях.

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsk00073b6rbng7u7jy@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > Един чиновник във водеща компания за изкуствен интелект сподели пред CNN, че страховете по какъв начин изкуственият разсъдък може да навреди на човечеството ги държат будни през нощта. Друг откривател, който неотдавна напусна друга компания за ИИ, сподели, че това е постоянно срещана тематика на диалози на празненства и обществени събития в Силиконовата котловина.

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsk00083b6rzdt8v6ow@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > „ Не можете да прекарате повече от няколко часа в тази общественост, без да осъзнаете, че доста забележителен брой хора в действителност са много обезпокоени от този тип резултати “, сподели откривателят. „ Мнозинството биха споделили, че има прочут късмет това да убие всички. “

Нарастващите притеснения

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsk000a3b6r49kp0zss@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > Публикациите на Coxon са гледани повече от 170 милиона пъти и са достигнали до необятната аудитория по метод, по който предходните предизвестия за опциите на AI не съумяха. Това може да се дължи на обстоятелството, че те пристигнаха единствено седмици след зашеметяващите разкрития за измамници на AI сътрудници, отбягване на техните тестови среди и хакване на други системи изцяло самостоятелно.

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsk000b3b6r3iaop5vw@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > Десетки сътрудници на Коксън в AI промишлеността обществено поддържаха изказванията му, като някои направиха още по-страшни прогнози. Основната вълна на угриженост наподобява принуди водачите на фирмите за изкуствен интелект да реагират – основният изпълнителен шеф на Anthropic Дарио Амодей седна за изявленията през уикенда, а основният изпълнителен шеф на OpenAI Сам Олтман и основният изпълнителен шеф на SpaceXAI Илон Мъск се съгласиха с предлагането на Амодей за вграждане на самостоятелни наблюдаващи в фирмите за изкуствен интелект.

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsk000c3b6r89coae5x@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > Настоящи и някогашни чиновници на AI споделиха пред CNN през последните дни, че са обезпокоени от извънредно бързия ритъм на развиване на AI.

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsk000d3b6roqxazhj3@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > Докато останалата част от света е възхитена и разтревожена от AI модели, решаващи съвсем 100-годишни математически задания и рояци AI сътрудници, съзаклятнически да хакнат системите на друга компания, тези откриватели се опасяват за деня, в който AI системите могат да се подобрят сами без човешки принос, което е известно като рекурсивно самоусъвършенстване. AI система, която може да се самоусъвършенства, основава автоматизирана верига за противоположна връзка, която може освен да докара AI до гигантски качества, само че да го направи в толкоз къс прозорец, че би било мъчно или прекомерно напреднало за хората да следят и да се намесят, в случай че е належащо.

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsk000e3b6rtxzmyyms@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > " За първи път се запитвам дали нещата се движат прекомерно бързо. Честно казано не съм сигурен, само че съм сигурен, че би било добре за нас да имаме отговор на въпроса " Как би изглеждало сполучливото движение? " " OpenAI вицепрезидент на Research Айдън Кларк разгласява на X предходната седмица.

„ Бих изгорил капитала си до основи “

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsk000g3b6rjtu7g3b0@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > За доста учени от ИИ има алтернатива: Те могат да останат в най-хубавите компании за ИИ, където могат да вършат купища пари и да се пробват да понижат рисковете от вътрешната страна. Или могат да изоставен (понякога в символ на протест) и да се опитат да създадат смяна извън, като да вземем за пример в една от няколко организации, които организират външни проучвания и оценки на моделите на ИИ.

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsk000h3b6re0d2o3c2@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > " Бих изгорил личния си капитал на земята за един момент за 1% по-висок късмет да се измъкнем от тази обстановка живи. Очаквам доста от моите сътрудници в промишлеността също ", написа Дрейк Томас, който работи по сигурността на ИИ в Anthropic. „ Обещавам ви, ние в действителност сме пъклен уплашени, това не е космически мисловен маркетинг. “

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsk000i3b6rhggz6zah@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > Амодей не изрази проблем с оставката на Коксън, като сподели на Андерсън Купър от CNN тази седмица, че е склонен „ с Джейкъб доста повече, в сравнение с аз не съм склонен с него “.

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsl000j3b6rpl53n3my@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > Години наред откривателите и инженерите в региона на изкуствения разсъдък бяха първокачествен, нищожен запас, който изискваше високи заплати и огромен ливъридж, което им дава свободата да приказват. Но чиновниците на AI споделиха пред CNN, че се опасяват, че защото AI става по-добър в образованието и самоусъвършенстването си, техният ливъридж понижава, което води до днешната необходимост.

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsl000k3b6r9bo89bpt@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > „ Докато навлезем в този цикъл на рекурсивно самоусъвършенстване, мисля, че това може доста да понижи преговорната мощ на личния състав, тъй като почтено казано, вие ще можете да замените доста от личния състав с модели, които могат да правят също толкоз добра работа “, сподели откривателят, който неотдавна напусна водеща компания за изкуствен интелект.

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsl000l3b6roqi1w12p@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > Бившият откривател съпостави атмосферата във водещи лаборатории за изкуствен интелект с плана Манхатън, напъните от Втората международна война за основаване на първата атомна бомба, където учените преследваха технология с изключителна мощност, като в същото време се опасяваха от нейния унищожителен капацитет. Но тези чиновници оправдават работата по такава евентуално разрушителна технология, тъй като „ ще бъде по-добре, в случай че я разработим ние, в сравнение с в случай че нашият съперник я създаде – и затова имаме най-малко морално позволение, в случай че не и морално обвързване, да го създадем “.

Преувеличаване на рисковете

<стр class= " paragraph-elevate inline-placeholder vossi-paragraph_elevate " data-uri= " cms.cnn.com/_components/paragraph/instances/cmu33smsl000n3b6r51b4cx05@published " data-editable= " текст " data-component-name= " параграф " data-article-gutter= " true " > Но