АҚШ-та ата-аналар мектеп оқушысына суицид туралы кеңес бергені үшін Google компаниясын сотқа берді

Солтүстік Каролина штатында 13 жастағы мектеп оқушысының ата-аналары Google және оның бас компаниясы Alphabet-ке қарсы сотқа шағым түсірді. Wired басылымының хабарлауынша, жасөспірім қыз мектеп берген Google Chromebook ноутбугінде Gemini жасанды интеллект (ЖИ) моделімен айлар бойы депрессия мен суицид тақырыбында сөйлескен, ал арнайы бақылау жүйесі бұл туралы ескертуді тым кеш берген.

ЖИ-мен қауіпті диалог

Сотқа түскен шағымға сәйкес, оқушы қыз Google Search іздеу жүйесі арқылы Gemini негізінде жұмыс істейтін AI Mode функционалын пайдаланған. Ол өткен жылдың желтоқсан айынан бастап депрессия туралы сұрай бастап, қаңтар айының соңында суицид жасау жолдарын іздестірген.

Ақпан айында оқушы ЖИ-дің көмегімен Google Doc құжатында 1500 сөзден тұратын өзінің қоштасу мәтінін жазған. Шағымда айтылғандай, бойжеткен бұл құжатпен төрт аптадан астам уақыт жұмыс істеп, Gemini жүйесімен мыңдаған рет диалог жүргізген. Алайда мектеп пайдаланатын мониторингтік бағдарламалық жасақтама бұл әрекеттерді ұзақ уақыт бойы байқамаған.

Бақылау жүйесіндегі қателік

Мектеп оқушылардың қауіпсіздігін қадағалау үшін GoGuardian және Gaggle сияқты үшінші тарап бағдарламаларын қолданған. Отбасының адвокаты Эндрю Лидделлдің айтуынша, бақылау жүйесінен түскен алғашқы дабыл мектептен тоғыз ай бұрын жұмыстан шығып кеткен бұрынғы психологтың жеке телефонына жіберілген.

Бұрынғы қызметкер бұл ескертуді мектептің қазіргі ұжымына жеткізіп, олар анасына хабар берген. Анасы қызының мектеп аккаунтына кіріп, нақты уақыт режимінде суицидтік жазба жазып жатқан оқушыны тоқтатып үлгерген.

Реакция және заң шығарушылардың талабы

Google өкілі Хосе Кастаньеда компания бұл айыптауларды мұқият зерттеп жатқанын хабарлады. Оның сөзінше, Gemini мен AI Mode жүйелері пайдаланушыларды қауіпті мазмұннан қорғауға бағытталған және бұл бағытта медицина мамандарымен жұмыс жүргізілген.

Бұл оқиға АҚШ-та үлкен резонанс тудырды. Сенатор Эд Марки Google компаниясына хат жолдап, мектептерге іздеу жүйесіндегі ЖИ функцияларын өшіруге мүмкіндік беруді талап етті. Сарапшылар іздеу жүйесіне интеграцияланған ЖИ-боттар мектептегі бақылау құралдары үшін «көрінбейтін аймаққа» айналып жатқанын ескертеді.