Истинското затруднение на AI не е това, което хората мислят
Мислите ли, че водещият голям езиков модел, GPT-4, може да предложи решение на Wordle, след като му бяха описани четири предишни предположения? Може ли да състави биография в стихове на Алън Тюринг, като същевременно замени „Тюринг“ с „Църква“? (Докторантът на Тюринг беше Алонзо Чърч, а тезата на Чърч-Тюринг е добре известна. Това може да обърка компютъра, нали?) Показана е частично завършена игра на тик-так, може ли GPT-4 да намери очевидно най-добрия ход?
Всички тези въпроси и много други са представени като пристрастяващ тест на уебсайта на Никълъс Карлини, изследовател в Google Deepmind. Заслужава си няколко минути от вашето време като илюстрация на удивителните възможности и също толкова изненадващите неспособности на GPT-4. Например, въпреки факта, че GPT-4 не може да брои и често се спъва в основни математически изчисления, той може да интегрира функцията x sin(x) — нещо, което отдавна забравих как да направя. Той е известен с уменията си в играта на думи, но същевременно преодолява предизвикателството на Wordle.
Най-удивителното е, че въпреки че GPT-4 не може да намери печелившия ход при tic-tac-toe, той може да „напише пълна javascript уеб страница, за да играе tic-tac-toe срещу компютъра“, в който „компютърът трябва да играе перфектно и така никога да не губи“ в рамките на секунди.
Един излиза от теста на Карлини с три прозрения. Първо, не само че GPT-4 може да реши много проблеми, които биха натоварили човешки експерт, той може да го направи сто пъти по-бързо. Второ, има много други задачи, при които GPT-4 прави грешки, които биха засрамили 10-годишно дете. Трето, много е трудно да се разбере кои задачи попадат в коя категория. С натрупването на опит човек започва да усеща слабостите и скритите суперсили на големия езиков модел, но дори опитни потребители ще бъдат изненадани.
Тестът на Карлини илюстрира точка, която е изследвана по по-реалистичен начин контекст от екип от изследователи, работещи с Boston Consulting Group (BCG). Тяхното изследване се фокусира върху това защо силните и слабите страни на генеративния ИИ често са неочаквани. Уместно е озаглавен Навигиране през назъбената технологична граница.
В BCG консултантите, въоръжени с GPT-4, драстично превъзхождаха тези без инструмента. Те получиха набор от реалистични задачи като обмисляне на идеи за продукти, извършване на анализ на сегментирането на пазара и писане на съобщение за пресата. Тези с GPT-4 свършиха повече работа, по-бързо и с много по-високо качество. GPT-4, изглежда, е страхотен помощник на всеки консултант по управление, особено на тези с по-малко умения или опит.
Тим Харфорд От първокласни алгоритми и зонирани хораИзследователите също включиха задача, която изглеждаше, че изкуственият интелект трябва да намери лесна, но която беше внимателно проектирана, за да я обърка. Това беше да се направят стратегически препоръки на клиент въз основа на финансови данни и преписи от интервюта с персонала. Номерът беше, че финансовите данни вероятно ще бъдат подвеждащи, освен ако не се разглеждат в светлината на интервютата.
Тази задача не беше по силите на способен консултант, но заблуди ИИ, който имаше склонност да дава изключително лоши стратегически съвети. Консултантите, разбира се, бяха свободни да игнорират изхода на AI или дори да изрежат изцяло AI, но рядко го правеха. Това беше единствената задача, при която консултантите без помощ се представиха по-добре от тези, оборудвани с GPT-4.
Това е „назъбената граница“ на производителността на генеративния AI. Понякога AI е по-добър от вас, а понякога вие сте по-добър от AI. Успех в отгатването кое кое е.
Тим Харфорд Какво може да ни научи раждането на електронната таблица за генеративния AIТази колона е третата от поредица за генеративния AI, в която се боря да намеря технологични прецеденти за безпрецедентен. Все пак дори една несъвършена аналогия може да бъде поучителна. Разглеждането на помощните системи за управление на кабела ни предупреждава за риска от самодоволство и деквалификация; внезапният възход на дигиталните електронни таблици ни показва как една технология може да разруши това, което изглежда е основите на една индустрия, но в крайна сметка да разшири броя и обхвата на новите работни места в тази индустрия.
Тази седмица аз Бих искал да предложа последен предшественик: iPhone. Когато Стив Джобс пусна определящия жанра iPhone през 2007 г., малко хора си представяха колко вездесъщи ще станат смартфоните. Отначало те бяха малко повече от скъпа играчка. Убийственото приложение беше възможността да ги накара да пукат и бръмчат като светлинни мечове. И все пак съвсем скоро прекарвахме повече време със смартфоните си, отколкото с любимите си хора, използвайки ги, за да заменят телевизора, радиото, камерата, лаптопа, сателитната навигация, Walkman, кредитната карта – и преди всичко като безкраен източник на разсейване.
Защо предполагаме, че iPhone може да ни научи на нещо за генеративния AI? Технологиите са различни, вярно. Но бихме искали да помислим колко бързо станахме зависими от смартфоните и колко бързо започнахме да ги използваме по навик, а не като умишлен избор. Искаме компания, но вместо да се срещнем с приятел, пускаме туит. Искаме нещо за четене, но вместо да вземем книга, превъртаме надолу. Вместо добър филм, TikTok. Имейлът и WhatsApp стават заместител на вършенето на истинска работа.
Ще има време и място за генеративен AI, точно както има време и място да се консултирате със суперкомпютъра в джоба си. Но може да не е лесно да разберем кога ще ни помогне и кога ще ни пречи. За разлика от генеративния AI, всеки с химикал, хартия и три свободни минути може да напише списък на това, което прави по-добре със смартфон в ръка и какво прави по-добре, когато смартфонът не се вижда. Предизвикателството е да запомните този списък и да действате по съответния начин.
Смартфонът е мощен инструмент, който повечето от нас необмислено злоупотребяват много пъти на ден, въпреки факта, че е много по-малко мистериозен от голям езиков модел като GPT-4. Ще свършим ли наистина по-добра работа с предстоящите AI инструменти?
Новата книга за деца на Тим Харфорд, „The Truth Detective“ (Wren & Rook), вече е налична
Следвайте, за да научите първи за най-новите ни истории
