Как алгоритъм отказа храна на хиляди бедни в Телангана в Индия
Тази история е основана с поддръжката на мрежата за отчетност на AI на Pulitzer Center.
Хайдерабад и Ню Делхи, Индия – Bismillah Bee не може да си показа да има кола. 67-годишната вдовица и 12 членове на фамилията й живеят в тясна тристайна къща в градски квартал в Хайдерабад, столицата на индийския щат Телангана. Откакто брачният партньор й, който тегли рикша, умря преди две години от рак на устата, Би изкарва прехраната си, като бели чесън за локален бизнес.
Но алгоритмична система, която държавното управление на Телангана внедрява, с цел да направи цифров профил на своите над 30 милиона поданици, маркира брачна половинка на Би като притежател на кола през 2021 година, когато той към момента беше жив. Това я лиши от субсидираната храна, която държавното управление би трябвало да обезпечи на бедните съгласно индийския закон за хранителната сигурност.
По този метод, когато пандемията от COVID-19 бушува в Индия и ракът на брачна половинка й беше достигнал връхната си точка, Би тичаше сред държавните органи, с цел да ги убеди, че не има кола и че в действителност е бедна.
Властите не й се довериха – повярваха на техния логаритъм. Борбата й да получи полагаемата й се субсидирана храна стигна до Върховния съд на Индия.
Семейството на Бий е посочено като „ под прага на бедността “ в записите от преброяването на популацията в Индия. Класификацията разреши на нея и брачна половинка й достъп до обществените помощи на страната, в това число до 12 кг ориз за една рупия (0,012 долара) за кг против пазарната цена от към 40 рупии (0,48 долара).
Индия извършва една от най-големите стратегии за продоволствена сигурност в света, която дава обещание субсидирани зърнени храни на към две трети от нейното население от 1,4 милиарда.
Исторически държавни чиновници са проверявали и одобрявали допустимостта на претендентите за обществени помощи посредством визити на място и физически инспекции на документи. Но през 2016 година предходното държавно управление на Телангана, под партията Bharat Rashtra Samithi, стартира да въоръжава чиновниците със Samagra Vedika, алгоритмична система, която консолидира данните на жителите от няколко държавни бази данни, с цел да сътвори изчерпателни цифрови профили или „ 360-градусови изгледи “.
Физическата инспекция към момента се изискваше, само че съгласно новата система длъжностните лица бяха упълномощени да ревизират дали алгоритмичната система утвърждава допустимостта на претендента, преди да вземат лично решение. Те биха могли или да се придържат към предвиждането на логаритъма, или да дават своите аргументи и доказателства, с цел да се опълчват на него.
Първоначално въведена от държавната полиция за идентифициране на нарушители, системата в този момент се употребява необятно от държавното държавно управление за определяне на допустимостта на претендентите за обществени помощи и за хващане на измами със обществени помощи.
В случая на Bee обаче Samagra Vedika обърка починалия й брачен партньор Syed Ali, лидер на рикша, със Syed Hyder Ali, притежател на кола – и управляващите одобриха думата на логаритъма.
Пчелата не е единствената жертва на такава цифрова машинация. От 2014 година до 2019 година Telangana анулира повече от 1,86 милиона съществуващи карти за хранителна сигурност и отхвърли 142 086 нови заявки без предупреждение.
Първоначално държавното управление твърдеше, че всички те са били лъжливи кандидати за дотация и че опцията да „ отсее “ неприемливите бенефициенти му е икономисала огромни суми пари.
Но нашето следствие разкрива, че няколко хиляди от тези изключвания са направени неправилно, заради неверни данни и неприятни алгоритмични решения от Samagra Vedika.
След като бъдат изключени, отстранените бенефициенти имат задължението да потвърдят на държавните организации, че са имали право на субсидираната храна.
Дори когато го правеха, чиновниците постоянно избраха решението на логаритъма.
Алгоритми за напредък на благосъстоянието
Индия харчи почти 13 % от своя БВП (БВП) или близо 256 милиарда $ за обезпечаване на обществени помощи, в това число субсидирана храна, торове, газ за готвене, застраховка на реколтата, жилища и пенсии, наред с други.
Но обществените схеми исторически са били измъчвани от недоволства за „ приключване “. Правителството откри в няколко случая, че или корумпирани чиновници са отклонили дотации към претенденти, които не дават отговор на изискванията, или лъжливи претенденти са показали неправилно своята идентичност или право на кандидатстване за компенсации.
През последното десетилетие федералното и няколко щатски държавни управления от ден на ден разчитаха на технологии, с цел да запушат тези течове.
Първо, с цел да предотвратят измами със идентичност, те свързаха схемите с Aadhaar, спореният биометричен неповторим идентификационен номер, предоставян на всеки индиец.
Но Aadhaar не ревизира дали ищците дават отговор на изискванията. И по този начин, през последните няколко години няколко страни одобриха нови технологии, които употребяват логаритми – непрозрачни за обществеността – за инспекция на това допустимост.
През миналата година Ал Джазира изследва потреблението и въздействието на такива логаритми за богатство в партньорство с мрежата за отчетност на Центъра за изкуствен интелект Пулицър. Първата част от нашата поредност разкрива по какъв начин безпрепятственото потребление на непрозрачната и безотчетна Самагра Ведика в Телангана е лишило хиляди небогати хора от законната им субсидирана храна в продължение на години, което в допълнение се утежнява от безполезни държавни чиновници.
Самагра Ведика беше подложен на критика в предишното за евентуалната си корист при всеобщо наблюдаване и риск за поверителността на жителите, защото наблюдава живота на 30-те милиона поданици на щата. Но неговата резултатност при залавянето на измами със обществени помощи не е проучена до момента.
В отговор на подробни въпроси, изпратени от Ал Джазира, Джайеш Ранджан, основен секретар в отдела за осведомителни технологии в Телангана, сподели, че по-ранната система за персонална инспекция е била „ основана на преценката на чиновници, непрозрачна и злоупотребявана и докара до корупция. Samagra Vedika вкара транспарантен и виновен способ за идентифициране на бенефициенти, който е оценен от жителите. ”
Непрозрачен и неотчетен
Telangana проектира Samagra Vedika като пионерска технология в автоматизирането на решенията за хуманно отношение.
Posidex Technologies Private Limited, компанията, създала Samagra Vedika, споделя на уеб страницата си, че „ може да спести няколкостотин крори всяка година за държавните управления на страната посредством идентифициране на течове “. Други щати са го наели да създава сходни платформи.
Но нито държавното държавно управление, нито компанията са разгласили изходния код на Samagra Vedika – писменият набор от указания, които извършват компютърна стратегия – или каквито и да било други проверими данни в поддръжка на техните изказвания.
В международен мащаб откривателите настояват, че изходните кодове на държавни логаритми би трябвало да бъдат без значение одитирани, с цел да може да се откри точността на техните прогнози.
Щатският ИТ отдел отхвърли настояванията ни според Закона за правото на информация за шерване на изходния код и форматите на данните, употребявани от Samagra Vedika за взимане на решения, като сподели, че компанията има „ права върху “ тях. Posidex Technologies отхвърли настояванията ни за изявление.
Над дузина изявленията с държавни чиновници, деятели и хора, изключени от обществени схеми, както и обзор на набор от документи, в това число записи на наддаване, ни дадоха визия за това по какъв начин Samagra Vedika употребява логаритми за триангулиране на самоличността на човек в голям брой държавни управления бази данни – до 30 – и комбинира цялата информация, с цел да построи профил на човек.
Самагра Ведика в началото беше основана през 2016 година за комисарството на полицията в Хайдерабад, с цел да сътвори профили на хора, представляващи интерес. През същата година той беше въведен в схемата за продоволствена сигурност като пилотен план, а до 2018 година беше включен в множеството държавни схеми за обществено подкрепяне.
Съгласно разпоредбите за продоволствена сигурност на Телангана, картите за продоволствена сигурност се издават на най-възрастната жена член на фамилии, които имат годишен приход под 150 000 рупии ($1823) в селските региони и 200 000 рупии ($2431) в градските региони.
Правителството също постанова спомагателни критерии за допустимост: фамилията не би трябвало да има четириколесно транспортно средство и никой член на фамилията не би трябвало да има постоянна държавна или частна работа или да има какъвто и да е бизнес като магазин, бензинова помпа или оризова мелница.
Тук влиза в деяние Самагра Ведика. Когато се повдигне поръчка, тя преглежда другите бази данни. Ако откри задоволително близко съвпадане, което нарушава някой от критериите, маркира ищеца като неприемлив.
Грешки и щета
Тъй като има големи вариации в метода, по който имената и адресите се записват в другите бази данни, Samagra Vedika употребява „ машинно образование “ и „ технология за разрешаване на обекти “, с цел да разпознава неповторимо човек.
Правителството по-рано сподели, че технологията е с „ висока акуратност “; че „ в никакъв случай не пропуща вярното съвпадане “ и получава „ минимален брой подправени позитивни резултати “.
Също по този начин се сподели, че грешката при маркиране на транспортно средство или къща на неверен човек се случва в по-малко от пет % от всички случаи и че множеството от тези неточности са поправени.
Но наложена от Върховния съд повторна инспекция на отхвърлените карти за храна демонстрира, че границата на неточност е доста по-висока.
През април 2022 година, при положение, в началото заведен от обществения деятел SQ Masood от името на изключените фамилии, висшият съд подреди на държавното управление да извърши полева инспекция на всичките 1,9 милиона карти, изтрити от 2016 година насам.
От 491 899 заявки, получени за инспекция, страната е обработила 205 734 до юли 2022 година, последните обществено налични данни. От тях 15 471 заявки са утвърдени, което допуска, че минимум 7,5 % от картите са били непозволено отхвърлени.
„ Намерихме доста в действителност нуждаещи се фамилии, чиито заявки за [карта за хранителна сигурност] бяха отхвърлени заради погрешно маркиране “, сподели Масуд, който работи с Асоциацията за социално-икономическо овластяване на маргинализираните (ASEEM), организация с нестопанска цел. „ Те бяха непозволено [маркирани] за това, че имат четириколесни коли, заплащат налог върху собствеността или са държавни чиновници. “
Петицията изброява към 10 случая на непозволено изключване. Al Jazeera посети три от тях и може да удостовери, че са маркирани неправилно от Samagra Vedika.
Дейвид Нолан, старши проверяващ откривател в лабораторията за алгоритмична отчетност към Amnesty International, споделя, че обосновката за внедряването на системи като Samagra Vedika в даването на обществени помощи се основава на съществуването на задоволителен брой лъжливи претенденти, което на процедура е евентуално с цел да увеличите броя на неправилните съвпадения.
Фалшив позитивен резултат поражда, когато системата погрешно маркира законно приложение като лъжливо или дублиращо се, а подправено негативен резултат поражда, когато системата етикетира лъжливо или дублиращо се приложение като законно. „ Инженерите ще би трябвало да намерят баланс сред тези две неточности, защото едната не може да бъде понижена без риск от увеличение на другата “, сподели Нолан.
Последствията от подправените позитивни резултати са огромни, защото това значи, че на субект или семейство неправилно е отказана съществена поддръжка.
„ Докато държавното управление твърди, че ги свежда до най-малко при потреблението на Samagra Vedika, тези системи имат и финансова цена и страната би трябвало да потвърди стойност за парите си, като открие задоволително лъжливи или дублиращи се приложения. Това подтиква държавните управления да употребяват автоматизирани системи за понижаване на броя на подправените негативни резултати, което води до увеличение на % на подправените позитивни резултати – което води до незаслужено изключване на отговарящите на изискванията фамилии от даването на обществени помощи “, добави Нолан.
Ранджан отхвърли терзанията като „ опасения “ и сподели, че всички щати се пробват да „ минимизират грешките при включването и изключването във всички стратегии за обществено подкрепяне … Правителството на Телангана е изпълнило план, наименуван Samagra Vedika, употребявайки най-новите технологии като огромни данни и така нататък за същите цели “.
Той добави, че държавното управление е следвало същата процедура при придобиването на Samagra Vedika, както прави за други софтуерни стратегии посредством открит търг и че потреблението на Samagra Vedika е тествано от разнообразни отдели за разнообразни размери на извадката на разнообразни места, които откриха „ доста високи равнища на акуратност “. Това, сподели той, беше в допълнение подсилено от инспекции на място от разнообразни отдели.
Алгоритми над хора
След като картата за продоволствена сигурност на Би беше анулирана през 2016 година, управляващите разглеждаха молбата й за възобновяване четири години, преди най-сетне да я отхвърлят през 2021 година, тъй като твърдяха, че тя има четириколка.
„ Ако имахме пари да си купим кола, за какво щяхме да живеем по този начин? “ – пита Бий. „ Ако чиновниците пристигнаха в къщата ми, може би те също щяха да видят това. Но никой не ни посети. ”
С помощта на ASEEM, организацията с нестопанска цел, тя изрови регистрационния номер на транспортното средство, което се допуска, че брачният партньор й има, и откри същинския му притежател.
Когато Bee показа доказателствата, чиновниците се съгласиха, че има алгоритмична неточност, само че споделиха, че нейното приложение
