Отказ: Как да попречим на AI компаниите да използват вашето онлайн съдържание, за да обучават своите модели

Американска компания сътвори бутон за притежателите на уеб страници, с цел да блокират AI роботите. Ето по какъв начин да блокирате AI от уеб страници и обществени медии.

Имаме рекламен блок и в този момент има блок с изкуствен интелект (AI). 

Американската компания за киберсигурност Cloudflare сътвори бутон за клиентите на уеб страници, с цел да блокират данните си от потребление от AI роботи: интернет ботове, които бродят в мрежата, с цел да събират данни за образование.  

„ Ние помогнахме на хората да се защитят от крапване на техните уеб страници от ботове (...), тъй че в действителност считам, че AI е новата итерация на притежателите на наличие, които желаят да управляват по какъв начин се употребява тяхното наличие, ” Джон Греъм- Къминг, основен механически шеф на компанията, сподели в изявление за Euronews Next. 

Когато се откри връзка към уеб страница, хостван от Cloudflare, те могат да видят кой желае да види уеб страницата, в това число всички AI роботи, които се разпознават. Блокерът ще отговори, като им покаже неточност.

Някои ботове с изкуствен интелект се преструват, че са човешки консуматори, когато реализират достъп до уеб страницата, тъй че Cloudflare построи модел на машинно образование, който прави оценка какъв брой евентуално е поръчка за уеб страница да идва от човек или консуматор на роботи, сподели Греъм-Къминг. 

CTO не можа да каже кои клиенти употребяват новия бутон, само че сподели, че е „ доста известен “ с огромно многообразие от дребни и огромни компании. 

Блокирането на AI роботите като цяло става все по-популярно, съгласно едно изследване от Data Provenance Initiative, група от самостоятелни откриватели на AI. 

Техният неотдавнашен разбор на над 14 000 уеб домейна откри, че пет % от всички данни, събрани в обществените бази данни на Интернет на C4, RefinedWeb и Dolma, в този момент са. Но откривателите означават, че този брой доближава до 25 %, когато се преглеждат източници с най-високо качество. 

Начини за блокиране на AI роботите

Има способи ръчно да блокирате AI роботите от достъп до вашето наличие. 

Raptive, американска компания, която се застъпва за основателите, написа в a, че хостовете на уеб страници могат ръчно да прибавят команди към robots.txt, файлът, който споделя на търсачките кой има достъп до вашия уебсайт. 

За да го извършите, би трябвало да добавите user-agent като име на известни AI компании, като Anthropic, и по-късно да добавите „ disallow “ с двоеточие и тире напред. 

След това хостът на уеб страницата ще почисти кеша и ще добави /robots.txt в края на домейна на уеб страницата в лентата за търсене. 

„ Добавянето на запис към файла robots.txt на вашия уебсайт (…) е общоприетият способ за обявление на кои роботи разрешавате достъп до вашия уебсайт “, споделя Raptive в тяхното управление.

blockquote class= " widget__quote " > „ Нямаме индустриално съглашение за това по какъв начин това се ползва в света на ИИ. Добрите [компании] съблюдават протокола, само че в действителност не им се постанова. "

Има някои AI, компании за наличие и платформи за обществени медии, които също разрешават блокиране. 

Преди плануваното стартиране през юни, Meta AI даде опция на потребителите да се откажат от нова политика, при която обществените изявления ще бъдат употребявани за образование на техните AI модели. През юни компанията се ангажира с Европейската комисия, че няма да употребява потребителски данни за „. недефинирани техники за изкуствен интелект ”. 

През 2023 година OpenAI разгласява три типа ботове от уеб страници: OAI-SearchBot, ChatGPT-User и GPTBot. 

OpenAI също работи върху Media Manager, инструмент, който ще разреши на основателите да управляват по-добре какво наличие се употребява за образование на генеративен AI.  RelatedMeta стопира внедряването на AI модела в Европейски Съюз заради регулаторни опасения

„ Това ще ( бъде) (…) първият по рода си инструмент, който ни оказва помощ да идентифицираме предпазен с авторски права текст, изображения, аудио и видео в голям брой източници и да отразява желанията на основателите “, сподели OpenAI в обява от май. 

Някои уеб страници, като и, имат лесни команди или превключватели за изключване на AI обхождането. Други, като и, имат варианти за „ попречване на шерване от трети страни “, които можете да включите, с цел да избегнете образование на AI. 

Потребителите могат да се откажат от AI скрапинг със Slack, като изпратят имейл на своя екип за поддръжка. 

Индустриален стандарт в развой на разработка

Уебсайтовете могат да разпознават роботи с изкуствен интелект заради дългогодишна интернет регулация, наречена Протокол за изключване на роботи. 

Martijn Koster, холандски софтуерен инженер, сътвори протокола през 1994 година, с цел да ограничи роботите, които претрупват личния му уебсайт. По-късно беше общопризнат от търсачките, с цел да „ помогне в ръководството на техните сървърни запаси “, съгласно обява в блог от Гугъл Search Central, уебсайт за. 

Въпреки това, това не е формален интернет стандарт, което значи, че разработчиците са „ интерпретирали протокола по друг метод през годините “, съгласно Гугъл. 

Един неотдавнашен образец е Perplexity, американска компания за изкуствен интелект, която ръководи чатботове, която е разследвана от Amazon, че изпреварва онлайн новинарско наличие без утвърждение да образова своите ботове. 

„ Нямаме индустриално съглашение за това по какъв начин това се ползва в света на ИИ “, сподели Греъм-Къминг от Cloudflare. „ Добрите (компании) съблюдават протокола, само че в действителност не им се постанова. “ 

„ Нуждаем се от нещо в интернет … което прави доста ясно, че да или не можете да изчерпите този уеб страница за данни. “ 

Internet Architecture Board (IAB) е хазаин на двудневни семинари през септември, където Греъм-Кънинг има вяра, че ще бъде избран промишлен стандарт. Euronews Next се свърза с IAB, с цел да удостовери това.