С първокласни алгоритми и зонирани хора

На 1 юни 2009 г. полет 447 на Air France изчезна при рутинен трансатлантически полет. Обстоятелствата бяха мистериозни, докато записващото устройство на черната кутия не беше намерено почти две години по-късно и ужасната истина стана очевидна: трима добре обучени пилоти бяха разбили напълно работещ самолет в океана, убивайки всичките 288 души на борда, защото се бяха объркали от това, което им казваха автоматизираните системи на техния Airbus 330.

Наскоро открих, че се връщам към последните моменти от полет 447, ярко описани в статии в Popular Mechanics и Vanity Fair. Не мога да се отърся от чувството, че инцидентът има нещо важно, което да ни научи както за рисковете, така и за огромните ползи от изкуствения интелект.

Най-новият генеративен AI може да създава поезия и изкуство, докато AI системите за вземане на решения имат силата да намират полезни модели в объркваща бъркотия от данни. Тези нови технологии нямат очевидни предшественици, но имат паралели. Не напразно пакетът от инструменти за изкуствен интелект на Microsoft вече е наречен „Copilot“. „Автопилот“ може да е по-точен, но така или иначе, това е аналогия, която си струва да се проучи.

Обратно към полет 447. A330 е известен с това, че е плавен и лесен за управление, благодарение на усъвършенствана система за автоматизация на полета наречено помощно управление по кабел. Традиционно пилотът има директен контрол върху задкрилките на самолета, но помощната система за управление на кабела превръща резките движения на пилота в плавни инструкции. Това затруднява катастрофата на A330, а самолетът имаше превъзходни показатели за безопасност преди трагедията с Air France. Но парадоксално е, че има риск да се построи самолет, който предпазва пилотите толкова усърдно от грешки. Това означава, че когато възникне предизвикателство, пилотите ще имат много малко опит, от който да се възползват, докато се опитват да се справят с това предизвикателство.

В случая на полет 447 предизвикателството беше буря, която блокира въздушната скорост инструменти с лед. Системата правилно заключи, че лети с ненадеждни данни и, както е програмирано, предаде пълния контрол на пилота. Уви, младият пилот не беше свикнал да лети в разреден, турбулентен въздух без наблюдението на компютъра и започна да прави грешки. Докато самолетът се клатеше тревожно, той се изкачи от инстинкт и спря самолета - нещо, което би било невъзможно, ако помощното управление на кабела работеше нормално. Другите пилоти станаха толкова объркани и недоверчиви към инструментите на самолета, че не успяха да диагностицират лесно отстранимия проблем, докато не стана твърде късно.

Този проблем понякога се нарича „парадоксът на автоматизацията“. Една автоматизирана система може да помогне на хората или дори да замени човешката преценка. Но това означава, че хората могат да забравят уменията си или просто да спрат да обръщат внимание. Когато компютърът се нуждае от човешка намеса, хората вече не могат да се справят с работата. По-добрите автоматизирани системи означават, че тези случаи стават редки и по-странни, а хората дори по-малко вероятно да се справят с тях.

Има много анекдотични доказателства, че това се случва с най-новите AI системи. Помислете за нещастните адвокати, които се обърнаха към ChatGPT за помощ при формулирането на случай, само за да установят, че има изфабрикувани цитати. Те бяха глобени с 5000 долара и им беше наредено да напишат писма до няколко съдии, за да дадат обяснение.

Въпросът не е, че ChatGPT е безполезен, както и помощното fly-by-wire е безполезно. И двете са технологични чудеса. Но те имат граници и ако техните човешки потребители не разбират тези граници, може да настъпи катастрофа.

Доказателство за този риск идва от Фабрицио Дел'Акуа от Harvard Business School, който наскоро проведе експеримент, в който набиращите персонал бяха подпомогнати от алгоритми, някои отлични, други по-малко, в усилията им да решат кои кандидати да поканят на интервю. (Това не е генеративен AI, но е основно приложение на AI в реалния свят.)

Dell'Acqua откри, контраинтуитивно, че посредствените алгоритми, които са с около 75 процента точност, дават по-добри резултати от добри, които имаха точност от около 85 процента. Простата причина е, че когато на специалистите по подбор на персонал бяха предложени насоки от алгоритъм, за който се знае, че е непостоянен, те останаха фокусирани и добавиха собствената си преценка и опит. Когато на специалистите по подбор бяха предложени насоки от алгоритъм, за който знаеха, че е отличен, те се отпуснаха и оставиха компютърът да взема решенията.

Може би са спестили толкова много време, че грешките са си стрували. Но със сигурност имаше грешки. Алгоритъм от нисък клас и включен човек вземат по-добри решения заедно, отколкото алгоритъм от най-висок клас с човек със зонирана зона. И когато алгоритъмът е първокласен, зониран човек се оказва това, което получавате.

Чух за Dell' Изследванията на Acqua от Итън Молик, автор на предстоящия Co-Intelligence. Но когато споменах на Молик идеята, че автопилотът е поучителна аналогия с генеративния ИИ, той ме предупреди да не търся паралели, които са „тесни и донякъде утешителни“. Това е честно. Няма нито един технологичен прецедент, който да отговаря на бързия напредък и объркващия обхват на генеративните AI системи. Но вместо да отхвърляме всички подобни прецеденти, струва си да потърсим различни аналогии, които осветляват различни части от това, което може да предстои. Имам предвид още две за бъдещи изследвания.

И има един урок от автопилота, за който съм убеден, че се отнася за генеративния ИИ: вместо да мисля за машината като заместител на човека, най-интересните въпроси съсредоточете се върху понякога изпълненото с трудности сътрудничество между двамата. Дори и най-добрият автопилот понякога се нуждае от човешка преценка. Ще бъдем ли готови?

Новите генеративни AI системи често са объркващи. Но имаме лукса на времето да експериментираме с тях; повече от бедния Пиер-Седрик Бонин, младият пилот, който летеше с перфектно работещ самолет в Атлантическия океан. Последните му думи: „Но какво се случва?“

Новата книга за деца на Тим Харфорд, „The Truth Detective“ (Wren & Rook), вече е налична

Следвайте, за да научите първи за най-новите ни истории

Последвайте ни в