Андрю Нг: „Смятаме ли, че светът е по-добър с повече или по-малко интелигентност?“
Преди малко повече от десетилетие Андрю Нг беше част от проект на Google Brain, който показа силата на технологията за дълбоко обучение.
В продължение на три дни екипът на Ng захрани невронна мрежа с милиони немаркирани изображения от видеоклипове в YouTube. След обучение системата може да идентифицира характеристики като котки в изображения, които не е срещала преди - въпреки че не е била изрично научена как. Това изследване стана неофициално известно като „Хартията за котки“ и постави основите за бъдещ напредък в областта на изкуствения интелект.
Приблизително по същото време, от мястото си като професор в Станфорд, Нг навлезе в онлайн преподаването, като направи курс по машинно обучение достъпен за всеки с интернет връзка. Неговата популярност, заедно с тази на други „масивни отворени онлайн курсове“ или Moocs, по онова време накара Ng и колегата му Daphne Koller да основат доставчик на онлайн обучение Coursera.
Няколко години по-късно Ng се премести в Baidu, китайския гигант за търсене, за да подпомогне задълбочаването на усилията си за автономно шофиране и изследвания на AI. Днес той инвестира и изгражда набор от стартиращи фирми за изкуствен интелект, управлява един от своите и продължава да преподава курсове по изкуствен интелект.
Когато FT посети офисите на Ng в Пало Алто, той извади лаптоп и изключи неговия WiFi, за да демонстрира как голям езиков модел (LLM) с отворен код от френския стартиращ AI Mistral може да работи без нужда за изпращане на данни в облака.
„Моделът се записва на моя твърд диск и след това използва GPU и CPU [блок за графична обработка и централен процесор] на моя лаптоп, за да направи само изводи“, каза той. Когато беше зададен въпросът какво трябва да попита един репортер на Andrew Ng за AI, фонът, който предостави на Ng и работата му, изглеждаше като вид отговор, който човек би получил от ChatGPT, хитовия чатбот на OpenAI, задвижван от LLM.
Застъпник на разработването на AI с отворен код, Ng се очертава като открит критик на някои усилия на правителството да го регулира. Тук той говори за настоящите възможности на AI, защо предупрежденията за риск от изчезване са преувеличени и как би изглеждало доброто регулиране.
Райън Макмороу: Кога използвате тези AI с отворен код модели?
Андрю Нг: Пускам няколко модела на моя лаптоп — Mistral, LLaMa, Zefa. И аз използвам ChatGPT доста често. Но за чувствителни към поверителността неща, които не искам да изпращам на облачен доставчик, бих склонен да ги използвам всички на моя лаптоп. Като мозъчна атака за наистина поверителни проекти или да ми помагате с писане, което съдържа чувствителни финансови цифри. Езиковите модели с отворен код всъщност стават доста добри.
RM: И все пак много технологични компании отчаяно искат чиповете на Nvidia да управляват AI. Защо да се притесняват, ако моделът Mistral на вашия лаптоп може да се справи?
AN: Това е по-малък езиков модел: има само 7 милиарда параметъра и не е конкурентен на GPT-4 за сложни задачи за разсъждение. GPT-4 е много по-добър в отговарянето на сложни въпроси. Но за проста мозъчна атака, прости факти, това е добре. И понякога е доста бързо, както виждате.
Обучението на модел от нулата обаче е напълно неосъществимо на моя лаптоп — това все още изисква десетки милиони долари. Обучение, което използва огромното количество изчисления и изводи [решаване на проблеми със свежи данни] на много големите модели, би надхвърлило това, което бих могъл да направя на моя лаптоп.
Всъщност направих изводи по параметър от 70 млрд. модел на моя лаптоп и е досадно бавен. И така, ако имате модел със 175 милиарда параметри, който е с размер на GPT-3, това няма да е нещо, което мога да направя на моя лаптоп. Изводът върху големите модели все още се нуждае от ресурси на ниво център за данни.
Софтуерът с отворен код става достатъчно лесен за повечето хора, за да го инсталират и използват сега. И не че съм обсебен от регулации – но ако някои от регулаторите имат своето, ще бъде много по-трудно да се оставят модели с отворен код като този да продължат.
RM: Как регулациите биха нарушили отворения код?
AN: Някои предложения, например, имат изисквания за отчитане или дори лицензиране за LLM. И докато големите технологични компании разполагат с честотната лента, за да се справят със сложно съответствие, по-малките предприятия просто не го правят.
Само като пример си представям средно голяма компания, която иска да пусне модел с отворен код. Ако адвокат в тази компания започне да казва: „Хей, само за да знаете, може да има всякакви видове отговорност, ако направите това“, тогава мисля, че по-малко компании биха поели този риск от отговорност. На каквото и да поставим повече регулаторни тежести, това ще видим по-малко.
Моделът с отворен код е технология с общо предназначение: може да се използва за изграждане на приложение за здравеопазване, приложение за обслужване на клиенти, приложение за финансови услуги и още и още. Така че, ако регулирате тази основна технология, вие забавяте всичко и вероятно без да правите нещо значително по-безопасно.
RM: Оформянето на всяка дискусия за регулиране трябва да бъде усещане за това на какво е способен ИИ – за това къде се намира ИИ днес. А през юни имахте разговор с Джефри Хинтън [компютърен учен, който предупреди за опасностите от AI] за това дали моделите на AI разбират света и изглеждаше, че не сте напълно убедени, че го разбират. Какъв е сегашният ви възглед?
AN: Мисля, че го правят. Един от проблемите с термини като „разбира“ или дори по-далеч „съзнателен“ или „съзнателен“ е, че те не са добре дефинирани. Така че няма широко приет тест за това кога нещо разбира нещо, за разлика от това просто да изглежда, че разбира нещо.
Но от научните доказателства, които съм виждал, AI моделите наистина изграждат модели на света. И така, ако AI има модел на света, тогава съм склонен да вярвам, че той разбира света. Но това е прилагане на моето собствено усещане за това какво означава думата „разбиране“.
RM: Какво имате предвид под модел на света?
AN: Ако имате модел на света, тогава имате представа как работи светът и можете да правите прогнози за това как може да се развие при различни сценарии. И има научни доказателства, показващи, че LLM, когато са обучени на много данни, наистина изграждат световен модел.
Това, което направиха изследователите, беше основно да вземат LLM и да го обучат да моделира движения в настолната игра Othello — C4, D5, B3, каквото и да е. И тогава, след като Othello-GPT, както го нарекоха, се научи да предвижда следващия ход, те попитаха: „Тази система научи ли модел на дъската и научи ли модел на правилата на играта Othello? ”. И когато го изследваха, вътрешностите на невронната мрежа изглежда изградиха модел на дъската, за да предскажат следващите ходове. Поради този експеримент и други като него, вярвам, че LLM изграждат, вътрешно, някакъв модел на света и затова се чувствам комфортно да кажа, че разбират света.
RM: Мислите ли, че те също имат съзнание?
AN: Може да заобиколя въпроса за съзнанието, защото ми се струва по-скоро като философски въпрос, отколкото като научен. Мисля, че философите казват, че като хора, от учтивост, ние всички приемаме, че другите хора са в съзнание - но как да разберете дали аз съм в съзнание? Може би съм просто зомби и просто се държа като съзнателно същество. Така че мисля, че няма тест за съзнанието, поради което това е по-скоро философски, отколкото научен проблем.
RM: Оставяйки настрана съзнанието, мислите ли, че LLM може да мисли самостоятелно?
AN: Не мисля знам какво означава тази фраза. Склонен съм да кажа да, но поради липсата на ясна дефиниция какво означава да мислиш, е трудно да се каже. Може ли релеен превключвател в моята таванна лампа да мисли сам? Има цял спектър [който включва] този вид релеен превключвател, който мисли сам за себе си . . . Бих бил склонен да кажа, че е така, но мисля, че ще ми е трудно да го защитя по строг начин.
RM: Кога LLMs стигнаха до точката на разбирането?
AN: Разбирането идва постепенно. Не мисля, че това е бинарен критерий. Но с нарастването на LLM и имахме GPT-2, GPT3, ChatGPT, имам чувството, че те демонстрират нарастващи нива на разбиране - до точката, в която се чувствам доста комфортно да кажа, че до известна степен LLM разбират света днес.
RM: Ако се приеме, че LLM имат капацитета да разбират, дебатът за AI изглежда се свежда до оптимисти като вас, които се фокусират върху това, на което технологията е способна в момента, и doomers, които се фокусират върху проектирането какво ще означава експоненциалният напредък, който виждаме, за бъдещето. Смятате ли, че има причина да екстраполирате като тях?
AN: Не съм съгласен с тази характеристика. Много от оптимистите на AI гледат десетилетия в бъдещето към невероятните неща, които можем да изградим с AI. Когато мисля за сценариите за изчезване на хора с ИИ, когато говоря с хора, които казват, че са загрижени за това, техните опасения изглеждат много неясни. И изглежда никой не може да формулира точно как AI може да убие всички ни.
Не мога да докажа, че изкуственият интелект няма да ни убие всички, което е равносилно на доказване на негатив, както не мога да докажа, че радиовълните, излъчвани от Земята, няма да допуснат извънземни да ни намери и да ни унищожи. Но не съм прекалено загрижен за това, че нашите радиовълни водят до нашето изчезване, и по подобен начин не виждам как изкуственият интелект може да доведе до изчезването на хората.
RM: Все още има уважавани учени, които смятат, че има някакъв шанс за това. Предполагам, че въпросът е: как ние като хора трябва да сме сигурни, че развитието на ИИ няма да доведе до нашето изчезване?
AN: Има и някакъв шанс, който е абсолютно не- нула от нашите радиосигнали, които карат извънземните да ни намерят и да ни унищожат всички. Но шансът е толкова малък, че не трябва да хабим непропорционални ресурси, за да се защитим от тази опасност. И това, което виждам, е, че изразходваме изключително непропорционални ресурси срещу риск, който е почти нулев.
RM: Така че по отношение на регулирането, какво да правите, ако има такова имаме нужда?
AN: Имаме нужда от добро регулиране. Когато използваме AI за изграждане на критични приложения, регулациите, които да гарантират, че те са безопасни и защитават потребителите, са абсолютно необходими. Но това, което виждам, е много лошо регулиране на ИИ и нямаме нужда от повече от това.
RM: Какво е добро и лошо регулиране накратко?
AN: Ако някой създава приложение за здравеопазване, застраховане или самоуправляващи се автомобили, искаме то да е безопасно и безпристрастно. Възприемането на стъпаловиден подход към риска – обмисляне на действителните рискове с приложенията и регулиране срещу лошия резултат – би било добро регулиране.
Но има тази фраза, че LLM представляват системен риск и че няма смисъл за мен. Някои правителства просто твърдят, че LLM представляват по-голям риск, но хората могат да създават опасни медицински устройства с малък езиков модел или с голям езиков модел. И хората могат да изградят системи за дезинформация с малък или голям езиков модел. Така че размерът на езиковия модел е много слаба мярка за риск.
По-добра мярка би била: какво е естеството на приложението? Защото приложенията в здравеопазването ще бъдат по-рискови например. Друг показател би бил обхватът на приложението. Ако компания за социални медии има 100 милиона потребители, рискът от дезинформация е много по-голям от табло за съобщения само със 100 потребители. И следователно ще регулираме повече големите технологични компании.
Това е обичайна практика. Например американските закони Osha [Администрация за безопасност и здраве при работа] поставят повече изисквания към големите работодатели, отколкото към малките работодатели. Това балансира защитата на работниците и не натоварва прекалено малкия бизнес.
RM: През октомври Белият дом издаде изпълнителна заповед, предназначена да увеличи правителствения надзор върху ИИ. Стигна ли твърде далеч?
AN: Мисля, че предприехме опасна стъпка. Ако трябваше да запишем в конституцията, че бариерите пред развитието на AI технологиите ще спрат тук и няма да продължат по-нататък, може би е добре. Но с различни правителствени агенции, натоварени с измислянето на допълнителни препятствия за развитието на ИИ, мисля, че сме о
