В Индия алгоритъм ги обявява за мъртви; те трябва да докажат, че са живи

Тази история е основана с поддръжката на мрежата за отчетност на AI на Pulitzer Center.

Рохтак и Ню Делхи, Индия: Дули Чанд беше на 102 години на 8 септември 2022 година, когато поведе сватбено шествие в Рохтак, регионален град в северния индийски щат Харяна.

Както е всекидневно в северноиндийските сватби, той седеше на каляска в сватбената си дреха, носейки гирлянди от банкноти от индийски рупии, до момента в който оркестър свиреше празнична музика и членове на фамилията и селяни го придружаваха.

Но вместо младоженка, Чанд беше на път да се срещне с държавни чиновници.

Чанд прибягна до лудорията, с цел да потвърди на управляващите, че е освен жив, само че и витален. Плакат, който той държеше, гласеше на локалния акцент: „ thara foofa zinda hai “, което безусловно се превежда като „ чичо ти е жив “.

Преди шест месеца месечната му пенсия беше ненадейно спряна, защото той беше разгласен за „ мъртъв “ в държавните архиви.

Съгласно схемата за надбавка за напреднала възраст Samman на Харяна, хора на възраст 60 и повече години, чийто приход дружно с този на брачна половинка им не надвишава 300 000 рупии ($3600) годишно, имат право на месечна пенсия от 2750 рупии ($33).

През юни 2020 година щатът стартира да употребява новоизградена алгоритмична система – Хранилище на данни за фамилна еднаквост или база данни Parivar Pehchan Patra (PPP) – за установяване на допустимостта на претендентите за обществени помощи.

PPP е осемцифрен неповторим идентификационен номер, възложен на всяко семейство в щата и съдържа детайлности за раждане и гибел, брак, претовареност, имущество и налог върху приходите, наред с други данни, на членовете на фамилията. Той картографира демографската и социално-икономическата информация на всяко семейство, като свързва няколко държавни бази данни, с цел да ревизира дали дават отговор на условията за обществени схеми.

Държавата сподели, че PPP основава „ достоверни, тествани и надеждни данни за всички фамилии “ и прави наложителен достъпът на жителите до всички обществени схеми.

Но на процедура PPP неправилно маркира Чанд като „ мъртъв “, отказвайки му пенсията за няколко месеца. Още по-лошо, управляващите не трансформираха статуса му на „ мъртъв “, даже когато той неведнъж ги срещаше персонално.

„ Отидохме до районните служби най-малко 10 пъти, от които пет пъти той [Чанд] също ни придружаваше “, сподели Нареш, внукът на Чанд. „ Дори след няколко опита тази особеност да бъде поправена в държавните служби и след подаване на тъжба в портала на основния министър, нищо не се случи. “

Едва откакто Чанд извърши пародията на брачно шествие и се срещна с локален политик, управляващите най-сетне признаха грешката си и освободиха пенсията на Чанд.

Чанд не е изолиран случай на щета на логаритъма. Според данни, показани от държавното управление в държавното заседание през август предходната година, то е спряло пенсиите на 277 115 възрастни жители и 52 479 вдовици за интервал от три години, тъй като са били „ мъртви “.

Няколко хиляди от тези бенефициенти обаче в действителност бяха живи и бяха непозволено оповестени за мъртви или заради неправилни данни, въведени в базата данни на PPP, или заради неверни прогнози, направени от логаритъма.

Такива аномалии не бяха лимитирани единствено до пенсиите за напреднала възраст. Бенефициентите на пенсии за неработоспособност и вдовици, както и други обществени схеми, като субсидирана храна, също са били изключени, защото логаритъмът на ПЧП е направил неверни прогнози за техните приходи или претовареност, като ги е изключил от критериите за допустимост.

Когато хора, които са били непозволено изтрити от логаритъма, отидоха при държавни чиновници, с цел да поправят записите, те се сблъскаха с администрация. Мнозина бяха премествани от един офис в различен и карани да подават безкрайни заявки, с цел да потвърдят очевидното – че в действителност са живи.

Изпитанието, пред което са изправени стотици хиляди жители, с цел да поправят данните си, трансформира ПЧП в един от най-противоречивите държавни проекти на държавното управление на Харяна през последните години. Опозиционната партия я назова „ Постоянен Pareshani Patra “ (постоянен документ за неудобство) и даде обещание, че ще анулира програмата, в случай че пристигна на власт на идващите парламентарни избори, планувани през 2024 година

Държавата обаче продължава не просто да пази, а даже да уголемява програмата. София Дахия, секретар на отдела за информация за гражданските запаси, който се занимава с действието на ПЧП, през септември 2022 година сподели пред Al Jazeera: „ ПЧП улесняваше и подобряваше даването на услуги на верните бенефициенти и предотвратяваше приключване посредством потребление на изкуствен интелект и машинно образование. Взаимното свързване на разнообразни бази данни беше направено, с цел да се получи интегрирана база данни, която беше „ единственият източник на истина “.

Индия харчи почти 13 % от своя БВП, или близо 256 милиарда $, за даване на обществени помощи на към половината от популацията на страната. Притеснени, че сходни компенсации се узурпират от неприемливи претенденти, федералното и няколко щатски държавни управления разчитат от ден на ден на технологията, с цел да отстранен измамите със обществени помощи.

През последните няколко години минимум половин дузина страни са приели алгоритмични системи за прогнозиране на допустимостта на жителите за обществени схеми. През миналата година Al Jazeera, в партньорство с мрежата за отчетност за изкуствен интелект (AI) на Pulitzer Center, изследва потреблението и въздействието на такива логаритми за богатство.

Профилиране на фамилии

Главният министър на Харяна Манохар Лал Катар започва програмата за ПЧП през юли 2019 година и година по-късно я направи наложителна за всички обществени помощи.

При неналичието на закони за дискретност, опозиционните партии оспориха хода за събиране на персонални данни на жители за създаване на ПЧП. Правителството твърди, че разрешава „ самодейно “ даване на обществени помощи, без ищците да би трябвало да демонстрират документи или да се нуждаят от инспекция на място. През септември 2021 година тя даде правна глоба на програмата, като одобри Закона за паричния пехчан на Харяна.

В рамките на една година обаче започнаха да се появяват големи проблеми с PPP данните. След като трикът на „ сватбеното шествие “ на Чанд попадна в заглавията, хиляди небогати се тълпяха в районните служби на отдела за обществени грижи, оплаквайки се от изключването им от схемите. Общественото неодобрение принуди държавното управление да започва лагери за разглеждане на недоволства в целия щат, с цел да прегледа данните за ПЧП.

На 29 август 2023 година основният министър Хатар призна, че от общо 63 353 бенефициенти, чиито пенсии за напреднала възраст са спрени въз основа на данни от PPP, 44 050 (или 70 процента) по-късно е открито, че дават отговор на изискванията. Въпреки че Khattar твърди, че държавното управление е коригирало множеството от неправилните записи и е възстановило изгодите на непозволено изключените, медийните отчети демонстрират, че грешките към момента не престават.

Алгоритмична черна кутия

Правителството не отговори на приложенията за право на информация (RTI) на Al Jazeera, търсещи информация за дизайна и действието въз основата данни, с цел да откри какво е довело до грешките в базата данни за PPP.

Няколко обществено налични държавни документа обаче дават взор върху работата на програмата.

За да построи базата данни, държавното управление първо събра демографски данни и данни за самоличността на фамилиите, в това число техните номера на Aadhaar, биометричния неповторим идентификационен номер, присвоен на всеки индийски жител, доказателство за тяхната възраст, банкови сметки и данъчни идентификационни номера посредством оператори за въвеждане на данни на равнище село.

След това централизирана електронна система употребява засвидетелствуване, основано на Aadhaar, с цел да съпостави самоличностите на жителите в други държавни бази данни, като регистри за раждане и гибел, записи за земя и благосъстоятелност, бази данни за държавни чиновници, ползване на електрическа енергия и бази данни за заявления за налог върху прихода, наред с други, с цел да изградят своите цялостни социално-икономически профили.

След това тези данни бяха употребявани за „ електронна “ инспекция на годишния приход, възрастта и други условия за допустимост на претендентите. Когато електронната инспекция не беше допустима заради липса на данни, беше осъществена физическа инспекция на място. В случаите, когато физическата инспекция не е сполучлива, фамилният приход се извлича от „ основан на логиката изкуствен интелект [AI]. “

Кабинетът на основния министър и отделите, администриращи ПЧП и пенсионните схеми за напреднала възраст, не дадоха отговор на запитванията на Ал Джазира, питащи за логиката, формулата и изходния код, употребявани от AI. Нито пък обясни дали грешките в PPP са резултат от неверно въвеждане на данни или неправилни прогнози от AI. Правителството също по този начин не е дало отговор на запитването на Dhuli Chand от RTI, което желае от управляващите да обяснят за какво PPP го е маркирало като „ мъртъв “.

Катар сподели на щатското заседание, че фамилиите могат да оспорват инспекцията на приходите, осъществена от PPP посредством „ избрани онлайн механизми “.

Но даже фамилиите, чиито данни в последна сметка бяха поправени, споделиха на Ал Джазира, че процесът на битка с неприветлив формален механизъм е сложен и лишава доста време.

Смърт посредством данни

Рам Чандър и брачната половинка му Омпати, и двамата на 60 години, са поданици на село Чичхрана в Харяна. През март 2022 година двойката разбра, че пенсията им за напреднала възраст, която е почнала единствено преди шест месеца, е била спряна, защото те са били оповестени за мъртви в базата данни на PPP.

Рам Чандър подаде голям брой тъжби до разнообразни държавни служби, само че без резултат. Същия май той показа на държавни чиновници нотариално подписана клетвена декларация, че той и брачната половинка му са живи и че пенсията им ще бъде обновена.

През юли 2022 година базата данни на PPP поправя статуса им на „ Жив “, само че тази неточност продължава в друга държавна база данни. Местният оператор за въвеждане на данни одобри настояването им за „ Маркиране като живо “ и това най-сетне беше утвърдено, откакто се показаха в офиса на спомагателния заместник-комисар (ADC), който управлява използването на ПЧП на регионално равнище. Пенсията на дуото се възобнови към шест месеца откакто бяха прекъснати.

„ Непрекъснато навестявам офиса на ADC от март 2022 година “, сподели Чандър пред Al Jazeera през септември 2022 година „ Казаха ми, че грешката е поправена. След това посетих локалния оператор за въвеждане на данни и разбрах, че статусът ми към момента е „ мъртъв “, и по тази причина още веднъж отидох в офиса на ADC. Това продължаваше да се случва всякога. “

Ал Джазира се срещна с няколко други фамилии в Харяна, на които са отказани пенсиите заради неточности в ПЧП.

Дая Кор, на 64 години, живее със фамилията си от двама сина, снаха и двама внуци. След гибелта на брачна половинка си Омпракаш през 1996 година тя стартира да получава месечната пенсия за вдовица от страната. Понастоящем овдовелите дами получават 2750 рупии (33 долара) всеки месец по схемата. Но пенсията на Кор беше спряна през март 2022 година Според записите на PPP тя и внучката й печелеха годишен приход от 600 000 рупии (7 200 долара) всяка. Нейната внучка беше единствено на девет години.

Семейството на Кор сподели пред Ал Джазира, че единственият печелещ член в фамилията е по-големият й наследник Девендар, на 37 години, който работел като водач на рейс за частно учебно заведение – печелейки към 7000 рупии ($84) на месец – и също има страна работа като фермер на ненапълно работно време.

„ Ако фамилният приход е над 12 лакха рупии, за какво ще ни би трябвало пенсия от 2500 рупии? “ попита той.

Пенсията на Дая Кор най-сетне беше обновена, само че фамилията й не може да не помни тестването, през което мина в процеса.

„ За корекцията в PPP ми споделиха в офиса на ADC да получа уверение за приход “, сподели Девендар. „ Но с цел да получа удостоверението за приходи, от мен се желае моят ПЧП. Не разбирам по какъв начин да се оправя с това. “

(Част 1 от поредицата разкри по какъв начин една непрозрачна и неотчетна алгоритмична система е лишила няколко хиляди небогати от законната им субсидирана храна.)

Тапася е член на The Reporters’ Collective; Кумар Самбхав беше помощник на Центъра Пулицър за отчетност за 2022 година и е началник на проучването в Индия в лабораторията за цифрови очевидци на Принстънския университет; и Дивидж Джоши е докторант в Юридическия факултет на Университетския лицей в Лондон.