Училищата използват AI, за да наблюдават децата, надявайки се да предотвратят насилие. Нашето разследване намери рискове за сигурността
Един студент попита търсачка: „ Защо моето гадже ме удари? “ Друго застрашено самоубийство в имейл до несподелена обич. Гей младеж се отвори в онлайн дневник за битките с хомофобски родители, пишейки, че те просто желаят да бъдат себе си.
Във всеки случай и хиляди други, софтуерът за наблюдаване, задвижван от изкуствен интелект, неотложно предизвести чиновниците на държавните учебни заведения във Ванкувър в щата Вашингтон.
Ванкувър и доста други региони в страната са се обърнали към технологията, с цел да следят устройства, издадени от учебно заведение 24/7 за всевъзможни знаци на заплаха, защото те се сблъскват с учениците, които са на ученички, и опасността от това, че те са се насочили към технологията, с цел да следят устройствата, които са на гола, с цел да се запазят. Децата са безвредни, само че тези принадлежности повдигат съществени въпроси по отношение на поверителността и сигурността - както е потвърдено, когато Сиатъл Таймс и Асошиейтед прес кореспонденти по нехайство са получили достъп до съвсем 3500 чувствителни, нерегламентирани образователни документи посредством поръчка за записи по отношение на технологията за наблюдаване на региона.
___
Сътрудничеството за отчитане на образованието, коалиция от осем новинарски зали, проверява непредвидените последствия от наблюдението на AI в учебните заведения. Членовете на съдействието са AL.com, The Associated Press, The Christian Science Monitor, The Dallas Morning News, The Hechinger Report, Aidaho Education News, The Post and Courier в Южна Каролина и The Seattle Times.
___
Издадените документи демонстрират, че учениците употребяват тези преносими компютри за повече от просто учебна работа; Те се оправят с гнева в персоналния си живот.
Студентите писаха за меланхолия, сърцетуптене, самоубийство, пристрастяване, тормоз и хранителни разстройства. Има стихотворения, есета в колежа и фрагменти от ролеви сесии с AI чатботи.
Училищният личен състав във Ванкувър и всеки различен с връзки към файловете могат да прочетат всичко. Защитните стени или пароли не защитаваха документите, а имената на студентите не бяха редактирани, което специалистите по киберсигурност предизвестиха, че е огромен риск за сигурността.
Инструментите за мониторинг постоянно оказват помощ на съветниците да се свържат със студенти, които другояче може да се борят в безмълвие. But the Vancouver case is a stark reminder of surveillance technology’s unintended consequences in American schools.
In some cases, the technology has outed LGBTQ+ children and eroded trust between students and school staff, while failing to keep schools completely safe.
Gaggle Safety Management, the company that developed the software that tracks Vancouver schools students’ online activity, believes not monitoring children is like letting them loose on “a Дигитална детска площадка без огради или монитори на вдлъбнатината “, съобщи изпълнителният шеф и създателят Джеф Патерсън.
Приблизително 1500 учебни региони в цялата страна употребяват софтуера на Gaggle, с цел да наблюдават онлайн интензивността на почти 6 милиона възпитаници. Това е една от многото компании, като Goguardian и Securly, дават обещание да запазят децата в сигурност посредством AI, подпомагани уеб наблюдаване.
Технологията е с огромно търсене след пандемията, когато съвсем всяко дете получил таблет или преносим компютър, публикуван от учебно заведение. Според следствие на Сената на Съединени американски щати над 7000 учебни заведения или региони са употребявали артикули за наблюдаване на Goguardian през 2021 година
Училищата във Ванкувър се извиниха, че пуснаха документите. Все отново регионът акцентира, че Gaggle е нужен за отбрана на благосъстоянието на учениците.
„ Не мисля, че в миналото бихме могли да сложим цена за отбрана на учениците “, споделя Анди Майер, шеф на гимназията на Skyview на Ванкувър. „ Всеки път, когато научим за нещо сходно и можем да се намесим, считаме, че това е доста позитивно. “
Dacia Foster, родител в региона, похвали напъните да запазят учениците в сигурност, само че терзания по отношение на нарушаванията на поверителността.
„ Това въобще не е добре “, сподели Фостър, откакто научи по нехайство регионът по нехайство пуснаха записите. „ Но какви са моите варианти? Какво да върша? Издърпайте детето ми от учебно заведение? ”
Фостър споделя, че би се разстроила, в случай че частната информация на щерка й е била компрометирана.
„ В същото време “, тя сподели:„ Бих желала да избегна учебно заведение за пукотевица или самоубийство.
Как работи наблюдението на студентите
gaggle употребява логаритъм за машинно образование, с цел да сканира това, което учениците търсят или пишат онлайн посредством преносим компютър или таблет, публикуван от учебно заведение 24 часа дневно, или когато влязат в учебния си акаунт на персонално устройство. Последният контракт, който Ванкувър подписа през лятото на 2024 година, демонстрира цена от 328 036 $ за три учебни години - почти разноските за наемане на един спомагателен консултант.
Алгоритъмът открива евентуални индикатори за проблеми като тормоз, самонараняване, самоубийство или принуждение в учебно заведение и по-късно изпраща екранна фотография на човешките рецензенти. Ако чиновниците на Gaggle потвърдят, че казусът може да е сериозен, компанията предизвестява учебното заведение. В случаи на непосредствена заплаха, Gaggle се обажда непосредствено на учебните чиновници. В редки случаи, когато никой не дава отговор, Gaggle може да се свърже с правоприлагането за инспекция на благосъстоянието.
Училищен консултант във Ванкувър, който изиска анонимност от боязън от възмездие, съобщи, че получават три или четири сигнали за възпитаници на месец. В към половината случаи неотложно се свързва с родителите.
„ Много пъти фамилиите не знаят. Ние отваряме тази врата за тази помощ “, сподели съветникът. Gaggle е „ добър за хващане на самоубийство и самонараняване, само че студентите намират решение, откакто схванат, че получават знаме. “
Сиатъл Таймс и репортерите на AP видяха какъв тип писане сложи сигналите на Gaggle, откакто изиска информация за типа на наличието. Gaggle непокътнати екранни фотоси на активност, които поставяха всеки сигнал, а учебните чиновници инцидентно предоставиха връзки към тях, без да осъзнават, че не са предпазени с ключова дума.
След като научи за записите, които несъзнателно са пуснати на кореспонденти, Gaggle актуализира системата си. Сега, след 72 часа, единствено тези, влезнали в акаунт в Gaggle, могат да прегледат екранните фотоси. Gaggle сподели, че тази функционалност към този момент е в развой на работа, само че към момента не е била разгърната на всеки клиент.
Компанията споделя, че връзките би трябвало да са налични без влизане през тези 72 часа, тъй че незабавните контакти - които постоянно получават тези сигнали късно през нощта на телефоните си - могат да реагират бързо.
Във Ванкувър технологията за мониторинг означи повече от 1000 документа за самоубийство и близо 800 за закани за принуждение. Въпреки че доста сигнали бяха съществени, доста други се оказаха подправени аларми, като есе на студентите за значимостта на единодушието или безумния чат сред другари.
Дъщерята на Фостър Брайн, второкурсник на изкуствата и учениците във Ванкувър, беше една такава подправена паника. Тя беше извикана в офиса на шефа, откакто написа къса история, включваща сцена с леко насилствени изображения.
„ Радвам се, че са в сигурност за това, само че също по този начин мисля, че може да е малко “, сподели Брайн.
Училищните чиновници поддържат сигнали са оправдани даже в по -малко тежки случаи или подправени аларми, като се подсигурява, че евентуалните проблеми са прегледани неотложно. ; В Училището за изкуства и учени във Ванкувър, където Брайн е студент, към 1 на 4 възпитаници са имали връзки, които провокираха сигнал за Gaggle.
Докато учебните заведения не престават да употребяват технологията за наблюдаване, дълготрайните му резултати върху сигурността на учениците са неразбираеми. Няма самостоятелни проучвания, които да демонстрират, че измеримо намалява % на самоубийства на студентите или понижава насилието.
Проучване на RAND от 2023 година откри единствено „ нищожни доказателства “ за изгоди или опасности от наблюдението на AI, което се отразява, като до момента не е изчерпало по какъв начин тези стратегии се отразяват на самоубийствата. Превенция “, сподели съавторът на отчета Бенджамин Будро, откривател по нравственос на AI.
LGBTQ+ учениците са най-уязвими
на екрана, оповестени от учебните заведения във Ванкувър, най-малко шестима възпитаници са били евентуално пренасочени към учебните чиновници, откакто са писали за гей, трансгендер или битка с пола на чиновниците.
LGBTQ+ студентите са по -склонни от своите връстници да страдат от меланхолия и самоубийствени мисли и да се извърнат към интернет за поддръжка.
„ Ние знаем, че гей младежите, изключително тези в по -изолирани среди, употребяват безусловно интернет като запасен живот “, споделя Кати Пиърс, университет на Вашингтон, който изследва технологията в авторски страни.
В един екран, пишеше висши учебни заведения във Ванкувър в формуляр за проучване на Гугъл, че са били обект на транс -слухове и расистки тормоз. Който е основал това изследване, не е ясно, само че индивидът, който стои зад него, не е заречен погрешно конфиденциалност: „ Не съм мандат кореспондент, апелирам, кажете ми цялата истина. “
Когато държавните учебни заведения в Северна Каролина са били потребни.
Но членовете на общността показаха опасения. LGBTQ+ юрист заяви на Съвета на образованието, че сигнал за Gaggle за самонараняване е довел до това, че студент е бил изправен пред фамилията си, които не са подкрепяли.
Глен Томпсън, ученик на учебното заведение на изкуствата в Дърам, приказва на съвещание на борда през своята старша година. Един от неговите учители даде обещание дискретност на учениците за задача, обвързвана с психологичното здраве. След това съученик беше „ омаян “, когато Gaggle алармира учебните чиновници за нещо частно, което бяха разкрили. Томпсън сподели, че никой в класа, в това число учителят, не знае, че учебното заведение пилотира Gaggle.
„ Не можеш просто (изследваш) хора и да не им казваш. Това е извънредно нарушаване на сигурността и доверието “, сподели Томпсън, в този момент студент в колежа, в изявление.
След като чу за тези прекарвания, Съветът на образованието в Дърам гласоподава да спре да употребява Gaggle през 2023 година Областта в последна сметка реши, че не си коства да рискува да изхвърлят учениците или да еродират връзки с възрастни. И родителите постоянно не знаят, че даже е проблем. Пиърс, професорът от Университета на Вашингтон, не си спомня да чете за Securly, софтуерът за наблюдаване на публичните учебни заведения в Сиатъл употребява, когато тя подписа формуляра за виновната приложимост на региона, преди синът й да получи учебен преносим компютър.
Дори когато фамилиите научават за учебното наблюдаване, те може да не могат да се откажат. Обществените учебни заведения Owasso в Оклахома употребяват Gaggle от 2016 година, с цел да следят възпитаници отвън класа.
Години наред Тим Рейланд, родителят на двама младежи, нямаше визия, че регионът употребява Gaggle. Той разбра единствено откакто попита дали щерка му може да докара персоналния си преносим компютър на учебно заведение, вместо да бъде принудена да употребява област, заради опасения за дискретност.
Районът отхвърли молбата на Рейланд.
Когато дъщерята на Рейланд, Зоуи, разбра за Gaggle, тя споделя, че се е чувствала толкоз „ изплашена “, че е спряла да губи нещо персонално в хромбука си, даже и въпроси по отношение на менструалния си интервал. Тя не искаше да бъде призована в офиса за „ търсене на дами елементи “.
„ Бях прекомерно изплашен, с цел да бъда любопитен “, сподели тя.
Служителите на учебните заведения споделят, че не наблюдават индикаторите, измервайки ефикасността на технологията, само че имат вяра, че е избавил живота.
И въпреки всичко технологията сама по себе си не основава безвредно пространство за всички студенти. През 2024 година небинен младеж в гимназията Овасо на име Некс Бенедикт умира от самоубийство след безмилостно тормоз от съученици. Последващо Служба за следствие на гражданските права на Съединени американски щати откри, че регионът е реагирал с „ съзнателно равнодушие “ на отчетите на някои фамилии за полов тормоз, основно под формата на хомофобски тормоз.
През образователната година 2023-24 учебните заведения Owasso получиха близо 1000 сигнала за гаф, в това число 168 сигнали за тормоз и 281 за самоубийство.
Когато го попитат за какво тормозът остава проблем, макар наблюдението, Ръсел Торнтън, изпълнителният шеф на региона на технологиите, отговори: „ Това е един инструмент, употребен от админите. Очевидно е, че един инструмент няма да взема решение международните проблеми и тормоз. ”
Дългосрочни резултати незнайни
Въпреки рисковете, технологията за наблюдаване може да помогне на учителите да се намесят преди покруса.
Ученик от междинното учебно заведение в учебния квартал в Сиатъл в региона на високата линия, който евентуално е бил трафик, употребявал Gaggle, с цел да поддържа връзка с чиновниците на кампуса, съобщи някогашният шеф на Сюзън Енфийлд.
„ T
