Как можем да различим добрия ИИ от лошия?

Сред многото стъпки по пътя към високопроизводителния ИИ, една от най-важните беше подхваната през 2007 година от Фей-Фей Ли, тогава помощник в отдела по компютърни науки на Принстън. Използвайки услугата Mechanical Turk на Amazon, с цел да натрупа доста милиони дребни актове на човешка преценка, Ли построи голяма база данни от ръчно етикетирани изображения.

„ Спряхме се на цел от 1000 разнообразни фотоси от всяка категория обекти “, написа тя в автобиографията си Световете, които виждам. " Хиляда разнообразни фотоси на цигулки. Хиляда разнообразни фотоси на немски овчарки. "

Базата данни ImageNet беше пусната през 2009 година и Ли стартира съревнование за откриватели за основаване на най-хубавите логаритми за различаване на изображения. Няколко години по-късно студент на име Алекс Крижевски, посъветван от пионера на изкуствения разсъдък Джефри Хинтън, образова невронна мрежа в ImageNet — и взриви конкуренцията.

Невронните мрежи изнемогваха от десетилетия: интелигентна концепция, само че компютрите бяха прекомерно мудни и наборите от данни бяха прекомерно дребни. Но наборът от данни на Ли беше друг. Изглеждаше неуместно, грандиозно, неефикасно голямо; се оказа съвършеният вход за невронна мрежа.

Това беше индикация за силата на данните, комбинирана със силата на невронните мрежи. Това беше и опрощение за концепцията на Ли да употребява човешка преценка, с цел да приложи милиони етикети към голяма сбирка от изображения. Урокът: в случай че можете да го измерите, можете да го автоматизирате.

Но невронните мрежи за различаване на изображения се оказаха нежни по непредвидени способи. Документ от 2015 година, „ Дълбоките невронни мрежи са елементарно заблудени “, изиска от най-съвременна система да класифицира образец след образец за чиста статика. „ Робин “, сподели мрежата с повече от 99,5 % сигурност, до момента в който разглеждаше инцидентен звук. „ Броненосец “. „ Паун “. Проблемът беше, че мрежата беше виждала единствено смислени изображения и решително идентифицираше значение там, където нямаше такова.

Това е образец за „ назъбената граница “ на опциите на AI, термин, отнасящ се до обстоятелството, че моделите на AI могат да бъдат зашеметяващо положителни при една задача и по-късно да бъдат съществено разочароващи при друга, както при невронните мрежи, изправени пред статично.

Тази назъбена дарба сама по себе си не е проблем. „ Всички технологии са положителни в някои неща и неприятни в други “, споделя Джошуа Ганс, икономист и съавтор на Prediction Machines. Най-добре е да употребявате отварачки за консерви за отваряне на кутии за чорба и чукове за забиване на пирони в стените, а не противоположното. Но, прибавя Ганс, „ компликацията е, че с AI не знаем кое е кое “.

Това повдига въпроса: по какъв начин да разберем, че AI прави добре работата? Беше елементарно да се види казусът, когато невронна мрежа маркираше статично броненосец. Но какъв брой впечатляващ е отговорът на това искане да се сътвори облик на Жана д'Арк в стила на Едуард Хопър? Този сътрудник в действителност ли направи резервация за ресторант или не резервира нищо с изключение на място в календара ми? Убедителни ли са бизнес проектът и питч декът, които желаех, или цялостни с дупки, или – може би в най-лошия случай – безапелационни и цялостни с дупки?

Най-проблемните случаи са тези, при които е мъчно да се разбере дали изкуственият разсъдък е приключил добра работа и са скъпи, в случай че се окаже, че не е. Ако AI написа код с неточности или тромава прозаичност, това може да бъде видяно и поправено. Ако кодът съдържа скрити уязвимости в сигурността, прозата е цялостна с изфабрикувани обстоятелства или плагиатствани изречения или структурните инженерни калкулации наподобяват положителни, само че постройката ще се срути при първата стихия, това е проблем. Все още е проблем, даже в случай че грешките са редки и междинното качество е чудесно. Тези компликации стават все по-остри, когато AI става по-способен, защото по-предизвикателните задания постоянно са по-трудни за оценка.

Два нови работни документа преглеждат сложния въпрос за инспекция на качеството. В „ Някои елементарни стопански системи на AGI “ Кристиан Каталини, Ксианг Хуи и Джейн Ву (подпомогнати, от време на време необикновено, от генеративен ИИ) оферират неизбежната матрица 2x2, в която икономическата активност може елементарно да се автоматизира, елементарно да се ревизира, и двете, или нито едното. Автоматизираният, проверим излаз е нещото, което компютрите вършат за нас. Неавтоматизираните неща остават успокояващо занаятчийски.

Трудният квадрант е мястото, където дилемите наподобяват лесни за осъществяване, само че са сложни за инспекция. Каталини, Хуи и Ву назовават ​​това „ рискова зона за бягство “. Това не е успокоителен етикет и не е предопределен да бъде.

Проблемът с инспекцията на качеството не е нов: помислете за строителни бизнесмени, коли втора ръка или ресторант в гореща туристическа точка. В подобен подтекст ниското качество постоянно завладява пазара като плетиво, тъй като най-хубавите снабдители се борят да потвърдят, че са най-хубавите. Решенията включват мнения, от уста на уста или от дълго време доверени марки. (Ненапразно познати марки като Durex и Trojan преобладават на пазара за презервативи. Никой не желае непредсказуем презерватив.) При огромни планове с високи залози може да помогне опцията да съдите някой контрагент с дълбоки джобове.

Но никое от тези решения не е идеално и заплахата е, че AI създава толкоз големи вани с правдоподобна мръсотия, че те изпреварват способността ни да ревизираме. Създайте задоволително халюцинирани правни причини, неправилни инженерни калкулации и код, ръководен от задни малки врати, и казаните за мръсотия се напълват по-бързо от способността ни да разграничаваме положителната работа от неприятната.

Във втория документ, „ Модел на неестествен нащърбен разсъдък “, Джошуа Ганс предлага прилика, в която настояването на AI да извърши задача е като да се пробвате да пресечете река през мрежа от дъски, поддържани от инцидентни пилони. Назъбената граница е показана от обстоятелството, че някои дъски са дълги и неуверени, до момента в който други са къси и здрави. Проблем първи: даже в случай че дъските нормално са здрави, неуверените дъски ще изискват по-голямата част от вашето време и внимание. Проблем втори: в случай че не можете да предвидите авансово кои дъски ще ви разочароват, може напълно рационално да предпочетете напълно да избегнете AI и да гребете по старомодния метод.

Както Gans вярно отбелязва, компаниите за AI в Силиконовата котловина най-много се пробват да покачат междинната продуктивност на системите с AI – т.е. да създадат всички дъски по-здрави. Може би е по-добре вместо това да се концентрирайте върху укрепването на най-нестабилните. Но това допуска, че знаете кои са те, което сочи към трети метод: възстановяване на предвидимостта на системата. Ако знаете авансово къде са клатещите се дъски, те не са толкоз рискови. Ако.

Научете първо за най-новите ни истории — следете списание FT Weekend на и FT Weekend на