TikTok и Meta рискуваха безопасността си, за да спечелят надпреварата във въоръжаването с алгоритми, казват подателите на сигнали

Социалните медийни колоси взеха решения, които разрешиха по-вредно наличие в излъчванията на хората, след вътрешно изследване на техните логаритмите демонстрираха по какъв начин възмущението подхранва ангажираността, споделиха подателите на сигнали пред BBC.

Повече от дузина лица, подаващи сигнали, и вътрешни хора разкриха по какъв начин фирмите са поели опасности със сигурността по въпроси, в това число принуждение, полово изнудване и тероризъм, до момента в който се борят за вниманието на потребителите.

Инженер в Meta, която има Фейсбук и Instagram, разказа по какъв начин му е било казано от висшия мениджмънт да разреши повече „ гранично “ нездравословно наличие – което включва женомразство и теории на конспирацията – в излъчванията на потребителите, с цел да се конкурира с TikTok.

„ Те сякаш ни сподели, че това е, тъй като цената на акциите е спаднала “, сподели инженерът.

Служител на TikTok даде на BBC необичаен достъп до вътрешните табла за ръководство на компанията с потребителски недоволства – както и други доказателства за това по какъв начин личният състав е бил инструктиран да даде приоритет на няколко случая, включващи политици, пред поредност от отчети за нездравословни изявления, включващи деца.

Вземат се решения за „ поддържане на мощни връзки “ с политически фигури, с цел да се избегнат закани от контролиране или забрани, а не заради рисковете за потребителите, сподели служителят на TikTok.

Подаващите сигнали, които приказваха с BBC документален филм, Inside the Rage Machine, предлага взор от близко по какъв начин промишлеността реагира след избухливия напредък на TikTok, чийто мощно ангажиращ логаритъм за препоръчване на къси видеоклипове прекатурна обществените медии, оставяйки съперниците да се борят да настигнат.

Старши откривател на Meta, Мат Мотил, сподели, че съперникът на компанията TikTok, Instagram Reels, започва през 2020 година без задоволително защитни ограничения. Вътрешно изследване, споделено с BBC, сподели, че мненията за Reels са имали доста по-високо разпространяване на малтретиране и тормоз, тирада на омразата и принуждение или подстрекаване, в сравнение с другаде в Instagram.

Компанията влага в 700 чиновници, с цел да развие Reels, до момента в който на екипите по сигурност бяха отказани двама експерти, които да се занимават със отбраната на деца, и още 10, които да оказват помощ с честност на изборите, сподели различен някогашен старши чиновник на Meta.

Motyl даде на BBC десетки от това, което той разказа като " документи от проучвания на високо равнище, показващи всевъзможни вреди за потребителите на тези платформи ". Сред тях бяха доказателства, които демонстрират, че Фейсбук е бил наясно с проблемите, породени от неговия логаритъм.

Алгоритъмът предложи на основателите на наличие „ път, който максимизира облагите за сметка на благосъстоянието на тяхната аудитория “ и „ настоящият набор от финансови тласъци, създавани от нашите логаритми, наподобява не подхождат на нашата задача “ да донесем света по-близо един до различен, съгласно едно вътрешно изследване.

В него се споделя, че Фейсбук може „ да избере да бъде бездействащ и да продължи да храни потребителите с бързо хранене, само че това работи единствено толкоз дълго “.

В отговор на изказванията на подателите на сигнали Мета сподели: „ Всяко предложение, което ние умишленото разширение на нездравословно наличие за финансова облага е неправилно. " TikTok сподели, че това са „ измислени изказвания “ и компанията е вложила в технология, която предотвратява гледането на нездравословно наличие.

Алгоритмите са „ черна кутия “, чиято вътрешна работа е сложна за инспекция, сподели Руофан Динг, който е работил като инженер по машинно образование, изграждащ мотора за рекомендации на TikTok от 2020 до 2024 година

Беше мъчно да се изградят системи като тази, които са изцяло безвредни, сподели той. „ Ние нямаме надзор върху самия логаритъм за надълбоко образование. “

Инженерите не обръщат доста внимание на наличието на изявленията, сподели той. „ За нас цялото наличие е просто ID, друг номер. “

Той сподели, че разчитат на екипите за сигурност на наличието, с цел да подсигуряват, че нездравословните изявления са отстранени, тъй че да не могат да бъдат разпространявани от логаритъма, сравнявайки връзката им с разнообразни екипи, работещи върху елементи от автомобил.

„ Има екипът, който дава отговор за ускорението, моторът, нали? Така че чакаме екипът, работещ върху спирачната система, да е приключил добра работа ", сподели той.

Но Динг сподели, че до момента в който TikTok се опитваше да усъвършенства логаритъма си съвсем всяка седмица, с цел да завоюва повече пазарен дял, той стартира да вижда повече „ гранично “ наличие или проблематични изявления, които са се появили единствено откакто потребителите са разглеждали видеоклипове известно време.

Граничното наличие е термин, употребен в фирмите за обществени медии, нормално за разказване на изявления, които са нездравословни, само че законни - в това число женомразки, расистки и сексуализирани изявления, както и наличие на доктрина на конспирацията.

Системите, посредством които потребителите да показват, че не желаят да виждат проблематично наличие, не работят, споделиха младежи пред BBC, и към момента им се предлага принуждение и насаждащо ненавист наличие в огромните обществени медийни уеб сайтове.

В един краен случай различен младеж, Калъм - в този момент на 19 - сподели, че е бил " радикализиран от логаритъм " от на 14-годишна възраст. Алгоритъмът му сподели наличие, което го възмути и го накара да схване расистки и женомразки възгледи, сподели той.

Видеоклиповете „ ме заредиха с сила, само че не по добър метод “, сподели той. „ Те просто ме накараха доста да се ядоса. Това значително отразяваше метода, по който се усещах вътрешно, че бях сърдит на хората към мен. “

Специалисти от полицията за битка с тероризма в Обединеното кралство, които проучват хиляди изявления в обществените медии всяка година, споделят, че са видели „ нормализиране “ на антисемитски, расистки, насилствени и крайнодесни изявления през последните месеци.

„ Хората са по-нечувствителни към насилието в действителния свят и не се опасяват да споделят възгледите си “, сподели един чиновник.

„ Изтриване на TikTok “

В продължение на няколко месеца през 2025 година BBC постоянно беседва с член на екипа за доверие и сигурност в TikTok, който назоваваме Ник. Успяхме да забележим вътрешното табло на компанията на преносимия компютър му, описвайки случаите, с които се е занимавал неговият характерен екип за доверие и сигурност, и по какъв начин е реагирал.

" Ако се чувствате отговорни всекидневно поради това, което сте инструктирани да вършиме, в даден миг можете да решите дали да кажа нещо? ", сподели Ник.

Обемът на случаите, които те оценяваха, беше прекомерно сложен за поддържане, с цел да се запазят потребителите в сигурност, което остави младежите и децата изключително изложени на риск, добави той. Съкращенията и реорганизацията на някои екипи за модериране - където някои функции се заменят с AI технология - съгласно него са лимитирали способността за дейно справяне с този тип наличие в границите на компанията.

Материалите, свързани с " тероризъм, полово принуждение, физическо принуждение, корист, трафик " наподобява се усилват, сподели подателят на сигнали.

Реалността на това, което приложението предлага, и дейностите, подхванати против нездравословното наличие, са " доста разнообразни в доста аспекти от това, което уеб страниците споделят " обществено, добави той.

BBC сподели доказателства от Ник за това по какъв начин TikTok прави оценка някои относително тривиални случаи, включващи политици, са с по-висок приоритет за обзор от екипа по сигурност, в сравнение с няколко случая, включващи пострадване на младежи.

В един образец политическа фигура, която е била подигравана, като е била съпоставена с пиле, е била дадена с приоритет пред 17-годишен, който е съобщил, че е жертва на кибертормоз и показване във Франция и 16-годишна в Ирак, която се оплака, че сексуализирани изображения, за които се твърди, че са на нея, се споделят в приложението.

Позовавайки се на случая с Ирак, Ник сподели: „ Ако погледнете страната, от която идва този отчет, това е доста висок риск, тъй като е малолетно и включва полово изнудване и тогава можете да видите целта тук. Спешността не е огромна. "

Ник също по този начин сподели образци за това, когато някои изявления, насърчаващи хора да се причислят към терористични групи или да правят закононарушения, не са били етикетирани като главен приоритет.

Когато екипът за доверие и сигурност изиска да даде приоритет на случаите, включващи младежи, политически случаи, сигнализиращият сподели, че им е казано да не го вършат и да продължат да се занимават със случаите съгласно класирането, което им е обещано.

Ник сподели, че повода за приоритизирането е, че съгласно него компанията в последна сметка се интересува по-малко от сигурността на децата, в сравнение с от поддържането на „ мощна връзка “ с политици и държавни управления, с цел да избегне регулации или забрани което би навредило на бизнеса му.

Ник сподели, че когато той и други членове на личния състав повдигнаха някои от тези опасения пред управлението, те не бяха възприемчиви към това, тъй като „ не са изложени на това наличие всеки ден “.

Грубият съвет на служителя за доверие и сигурност към родители с деца, употребяващи TikTok, е: „ Изтрийте го, дръжте ги допустимо най-далече от приложението за допустимо най-дълго време. “

TikTok съобщи, че отхвърля концепцията, че политическото наличие е с приоритет пред сигурността на младежите и съобщи, че изказванието „ фундаментално неправилно показва метода, по който работят техните системи за модериране “.

Екипът, към който принадлежи Ник, е част от по-широка система за сигурност, която има голям брой екипи, виновни за разглеждане на тъжби по отношение на наличие. TikTok сподели: „ Специализираните работни потоци за избрани проблеми не водят до деприоризиране на случаите на сигурност на децата, които се обработват от профилирани екипи в границите на паралелни структури за обзор. “

Говорител на TikTok сподели, че рецензиите „ пренебрегват действителността по какъв начин TikTok разрешава на милиони да откриват нови ползи, да намират общественост и поддържа процъфтяваща стопанска система на създателите ".

Компанията сподели, че сметките за младежи имат повече от 50 авансово заложени функционалности за сигурност и настройки, които се включват автоматизирано. Той също по този начин съобщи, че влага в технология, която оказва помощ да се предотврати гледането на нездравословно наличие, поддържа прецизни политики за рекомендации и дава функционалности за хората, с цел да персонализират преживяването си.

„ Направете каквото можем, с цел да наваксаме “

През 2020 година конкуренцията във въоръжаването на логаритъма се ускори, когато Reels беше пуснат като част от Instagram, в отговор на TikTok, който завладя света по време на пандемията на Covid.

Мат Мотил - който е работил като старши откривател във Фейсбук и нейния правоприемник компания Meta от 2021 година - сподели, че това е опитът на компанията да " имитира " „ неповторим артикул “ TikTok започва.

Работата му сред 2019 година и 2023 година включваше „ осъществяване на широкомащабни опити върху от време на време стотици милиони хора “ – които постоянно „ нямаха визия “ че това се случва – тествайки по какъв начин наличието се класира във излъчванията.

" Продуктите на Meta се употребяват на север от три милиарда души и колкото повече време могат да ви задържат там, колкото повече реклами продават, толкоз повече пари вършат. Но е доста значимо да създадат тези неща вярно, тъй като когато не го вършат, се случват в действителност неприятни неща ", сподели той.

Когато става дума съответно за Reels, Motyl сподели, че методът е да се движим допустимо най-бързо, без значение от въздействието върху потребителите. Той сподели, че има „ общ компромис сред отбраната на хората от нездравословно наличие и ангажираността “.

Meta се бореше да предотврати увреждане на Reels след стартирането си, съгласно една изследователска публикация, която той показа с BBC. Това допуска, че изявленията в Reels са имали по-високо разпространяване на нездравословни мнения, в сравнение с изявленията в главната емисия на Instagram: 75% по-високо за малтретиране и тормоз, 19% по-високо за тирада на омразата и 7% по-високо за принуждение и подбудителство.

Източник: bbc.com