AI Shift: На път ли е AI да прекъсне гласуването?

Тази публикация е версия на място на нашия бюлетин The AI Shift. Премиум клиентите могат да се записват тук, с цел да получават бюлетина всеки четвъртък. Стандартните клиенти могат да надстроят до Premium тук или да прегледат всички бюлетини на FT

Добре пристигнали още веднъж в The AI Shift, нашия седмичен бюлетин за AI и пазара на труда.

Тази седмица се потапяме в последствията от генеративния и агентен изкуствен интелект за пазарни изследвания и анкети. Какво се случва с една промишленост, която от ден на ден разчита на способността елементарно и на ниска цена да доближава и интервюира хора онлайн, когато тези хора в действителност може да не са хора? И може ли в действителност да има случаи, в които проучването на AI вместо на човек да ни каже нещо потребно за човешките вярвания и държание?

Джон пише

Изследователите на изследвания имат проблем. Благодарение на напредъка в самостоятелните огромни езикови модели към този момент е елементарно за ИИ да заобикалят отбраните, които промишлеността е построила през последните години, с цел да филтрират ботове, рискувайки отравяне на кладенеца, който бизнесът, политическите акции и по-широката общност употребяват за следене на публичните усещания и желания.

Във все по-познат модел, това е история за проблеми, основани от интернет, които се утежняват доста от ИИ. Преди интернет респондентите в анкетата нормално са били набирани посредством изпращане на физическа поща до случайно разпръснати адреси, след което изследванията са били осъществявани по телефона. Интернет промени всичко това, позволявайки на компаниите да вземат извадки от бързо възходящото онлайн население на доста по-ниска цена и по-късно да накарат хората да попълнят уеб анкети, които изискват доста по-малко труд. Но нарасналото улеснение и понижените разноски идват с взаимни отстъпки. Когато усърдно набирате и поддържате извадка в действителния свят, знаете с кого говорите. За разлика от това, както американският карикатурист Питър Щайнер фамозно написа в своята подигравка на New Yorker от 1993 година, „ В интернет никой не знае, че си куче “.

Проблемът, че респондентите в онлайн анкетата не постоянно са тези, за които се показват, или дават погрешни отговори на въпроси, не е нов. Експеримент от 2022 година на американските ветерани в социологическите изследвания Pew Research сподели, че евтини онлайн извадки от хора, които са избрали да бъдат интервюирани, са изключително податливи на „ подправени респонденти “ – хора, които се надпреварват в анкетите с минимални старания или откровеност, с цел да завоюват награди. Дори след използване на тежести, с цел да се подсигурява, че регистрираните демографски данни на респондентите подхождат на целевата популация, 12 % от младите възрастни в извадката са декларирали, че имат лиценз за ръководство на нуклеарна подводница.

В отговор на този проблем изследователските компании са издигнали серия от отбрани, в това число инспекции дали някой попълня отговорите прекомерно бързо, вярно чете указания, избира една и съща алтернатива всякога или попада на явни трикови въпроси. В ерата на ботовете, а в този момент и LLMs, конкуренцията във въоръжаването продължава да ескалира, като изследванията в този момент се ревизират с Captcha пъзели и „ противоположни шиболети “ – въпроси-капани, на които би било елементарно за LLM да отговори, само че мъчно, в случай че не и невероятно за хората.

Доскоро можем да предположим, че двете страни са били относително равностойни: грешките в гласуването в изборите не са систематично по-големи в онлайн епоха спрямо положителните остарели времена. Но ново изследване, оповестено предходната седмица, допуска, че това може да се промени.

Шон Дж. Уестууд, политолог от Dartmouth College в Съединени американски щати, показва, че посредством потреблението на самостоятелни AI сътрудници към този момент е елементарно ботовете да попълнят онлайн анкети, без да дават никакъв знак за същинската си идентичност. Ботовете на Уестууд генерираха и попълниха реалистични отговори за хора с избрани вярвания, заобикаляйки 99,8 % от 6000 инспекции, ориентирани към премахване на безчовечен или по различен метод подправени респонденти, в това число прекосяване през противоположни шиболети и решение на пъзели с Captcha. Уликата в действителност трябваше да е в името: Captcha значи изцяло автоматизиран обществен тест на Тюринг за разграничение на компютрите и хората; LLM съумяват да преминат теста на Тюринг за повече от година. Констатациите демонстрират, че подправените отговарящи към този момент могат да работят в мащаб и усилват опцията неприятни артисти да се стремят систематично да тласкат очевидното публично мнение в избрана посока, с цел да основат подправено чувство за консенсус.

Някои онлайн анкетьори се обръщат към инспекция на самоличността, защото конкуренцията във въоръжаването продължава, само че това може да породи опасения за поверителността, които компрометират отговорите на чувствителни въпроси. В последна сметка дните на евтините онлайн изследвания може да са преброени. Както видяхме с LLM и образованието, единствената в действителност надеждна отбрана тук е да се върнем към по-старите (прочетете: по-бавни и по-скъпи) способи за правене на нещата: използвайте физическа поща и деликатна инспекция, с цел да изградите приближен панел от известни респонденти.

Като се има поради всичко това, би било неправилно да се допуска, че AI е само неприятна вест за проучвания, основани на анкети. Сара, имам вяра, че сте разглеждали случай на приложимост, от който някои в промишлеността са много разчувствани?

Сара пише

Да, Джон, подготвен ли си да минеш през огледалото? Добре пристигнали в света на „ синтетичните проби “: потребление на действителни данни от действителни хора за генериране на задвижвани от AI проксита, които по-късно симулират какви биха могли да бъдат отговорите на хората на нови въпроси. Елизабет Коста от английския Behavioural Insights Team, който прави някои деликатни опити с този нов способ, с цел да изследва неговите мощни и слаби страни, ми го разказа по следния метод: „ Вие подканвате LLM да изиграе роля на субект с избрани демографски данни и характерности [на базата на действителни данни], след което го молите да отговори на въпроси от изследването или да уточни по какъв начин би се държал в избран сюжет. “

Можете. “ вижте привлекателността тук към заетите откриватели, държавни управления и търговци, поради времето и разноските за изследване на действителни хора. Но могат ли „ синтетичните проби “ тъкмо да отразяват и предсказват какво мислят и вършат хората? Рано е и до момента резултатите са смесени.

Коста ми описа за опит, който нейният екип организира дружно с Групата за поведенчески науки на ОАЕ, с цел да види дали симулираните участници могат да плануват поведенчески резултати. Те сътвориха синтетична извадка от действителни представителни данни, след което я съпоставиха с извадка от действителни хора. Един опит попита хората по какъв начин биха реагирали на разнообразни интервенции, предопределени да ги убедят да употребяват по-малко климатик. Синтетичната проба свърши добра работа с прогнозирането кои ще бъдат най- и минимум ефикасните интервенции. Но свърши ужасна работа да предскаже какъв брой въздействащи ще бъдат те. В отговор на най-ефективната интервенция, към една трета от интервюираните хора споделиха, че ще покачат температурата на въздуха си, до момента в който синтетичната проба предвижда, че този брой ще бъде по-близо до 80 %.

Коста ми сподели, че синтетичните проби наподобяват най-подходящи за приемане на бързо разчитане или предварителна тенденция по отношение на бизнес или политическа концепция. Но тя предизвести, че „ съгласно мен една от насладите на човешкото взаимоотношение и качествените проучвания е, че хората могат да ви изненадат – да ви дадат нови прозрения за ментални модели или скрити бариери и мисля, че е малко евентуално да бъдете сюрпризирани от синтетичен участник. “

Друга заплаха е, че решенията, които вземате за това по какъв начин да настроите синтетичната проба, могат в действителност да оформят резултатите. Скорошна работа на Джейми Куминс от университета в Берн допуска, че, както той заключи в обява в Bluesky, „ според от взетите аналитични решения, можете главно да получите тези проби, с цел да покажете стремежи резултат. “

Има по-прости случаи на потребление на AI в качествени проучвания. LLM са доста подобаващи, да вземем за пример, за анализиране на големи масиви от преписи от изявленията или отговори на съвещания, с цел да разпознават основни тематики и области за по-нататъшно следствие. В дните преди AI, откривателите ще би трябвало да прочетат и деликатно да категоризират тези качествени данни ръчно. Малори Дъран, шеф на приложните проучвания и способи в Nesta, организация за нововъведения в Обединеното кралство, ми сподели, че разбор, който би лишил „ седмици или даже месеци в някои случаи, в този момент може да бъде изработен за няколко часа “. Това наподобява като ясна изгода за откривателите, да не приказваме за държавните чиновници, изправени пред хиляди отговори на публични съвещания. (Въпреки това се чудя дали AI към момента ще се усеща като богатство за държавните чиновници, в случай че обществеността стартира да употребява LLM, с цел да наводни зоната с още повече отговори за съвещания. Но може би дълбокото ни гмуркане в разточителната конкуренция във въоръжаването с AI при набирането на личен състав ме направи прекомерно безсрамен.)

И по този начин, какво научихме?

Джон

Мисля, че в този момент сме в точка, в която онлайн панелите за включване – и по този въпрос всяка анкета, която не разкрива по какъв начин е била набрана нейната извадка и дали самоличността на респондентите е тествана - би трябвало да се третира с съмнение. За мен синтетичната извадка изисква мощен песимизъм на този стадий, само че по-малко блестящите използва, като систематизиране на отворени отговори или каране на LLM модератори да организират широкообхватни изявленията, вместо да лимитират хората до въпроси с голям брой избори, съставляват действителни стъпки напред.

Сара

Ако си прав, Джон, че единственият метод да спреш ботовете да покваряват онлайн анкетите е да се върнеш към по-скъпи способи, което може да усили тласъците за потребление на синтетични проби вместо това. Но мога да си показва, че тази техника също води бизнесите и политиците в някои задънени улици, в случай че не се употребява с извънредно внимание.

Препоръчително четене

Последното съдействие на MIT/FT по отношение на поверителността и чатботовете беше доста забавно (Сара)

Писателят и разработчик на програмен продукт Джеймс Сомърс има завладяваща публикация в New Yorker за възходящото приемане от страна на водещи невролози, че LLM в действителност мислят по метод, сходен на хората (Джон)