Растёт опасение, что научно-фантастическая идея фильма *Minority Report* — где искусственный интеллект (ИИ) анализирует личные разговоры и поведение для прогнозирования и предотвращения преступлений или антиправительственных действий — становится реальностью. Это последовало за иском, поданным местным правительством Канады против OpenAI, оператора ChatGPT, за якобы непредупреждение властей о признаках серьёзных преступлений. Это дело стало первым случаем, когда юридическая ответственность была привлечена к предотвращению возможных преступлений, а не за уже совершённые.

Этот инцидент вызвал дебаты о том, насколько далеко ИИ должен вмешиваться при обнаружении сигналов риска пользователей и следует ли правительствам использовать ИИ для мониторинга каждого движения людей под предлогом общественной безопасности. В Китае системы ИИ уже используются для выявления антиправительственных фигур путем анализа огромных персональных данных, а Великобритания разрабатывает программное обеспечение для прогнозирования рисков преступности среди неопределённых групп населения.

 

Фото 20th Century Fox, графика Ян Ин-сун

◇Иск против OpenAI разожгли скандал вокруг «Большого брата»

Правительство Британской Колумбии объявило 7 июля, что подаст иск против OpenAI в калифорнийском суде, утверждая, что компания не сообщила о насильственных угрозах, выявленных через ChatGPT, тем самым упустив возможность предотвратить трагедию. 10 февраля в средней школе в Тамблридже, Британская Колумбия, произошла массовая стрельба, в результате которой погибли 8 человек и 27 получили ранения. Провинциальное правительство утверждает, что преступник имел разговоры с ChatGPT до инцидента, которые намекали на стрельбу, и хотя внутренняя команда безопасности OpenAI отметила проблему, полиция не уведомляла.

OpenAI частично признал эти заявления. Компания заявила: «Мы заблокировали первый аккаунт ChatGPT преступника в июне прошлого года за нарушение правил использования, но тогда угроза не соответствовала нашему внутреннему порогу 'достоверной и неминуемой опасности', поэтому мы не сообщили о ней правоохранительные органы.» Позже выяснилось, что преступник создал новый аккаунт для повторного использования ChatGPT. OpenAI добавил: «По текущим стандартам мы бы передали аккаунт властям.»

Это породило сравнения с концепцией «Большого брата» из фильма Джорджа Оруэлла *1984*, где ИИ позволяет проводить повсеместное наблюдение. Если суды встанут на сторону правительства, правоохранительные органы смогут регулярно получать доступ к данным об использовании ИИ, что вызывает опасения по поводу злоупотреблений. Некоторые критики предупреждают, что это может привести к обществу, похожему на «Доклад меньшинства», где потенциальных преступников арестовывают превентивно — систему, которая в фильме в итоге рушится из-за ошибочного нацеливания на невинных граждан.

◇ИИ, используемый в Китае для идентификации антиправительственных фигур

Усилия по упреждающей идентификации преступников с помощью алгоритмов ИИ уже ведутся по всему миру. Правительство Великобритании разрабатывает программу прогнозирования убийств, анализируя судебные данные тысяч людей. Сообщается, что полиция собирает и анализирует данные, такие как имена, даты рождения, пол и этнические группы, чтобы выявить лиц с высоким риском для насилия или убийства. Британские гражданские организации решительно выступают против этого, утверждая, что беспорядочный сбор персональных данных — включая мелкие правонарушения и записи законопослушных граждан — может стигматизировать людей как группы высокого риска.

В Китае создана система наблюдения с помощью ИИ для упреждающего выявления диссидентов, которых считают склонными к антиправительственной деятельности. По данным *The New York Times*, китайская AI-компания ZhiZ Network разработала и внедрила «технологию идентификации политических рисков» совместно с государственными исследовательскими учреждениями. Система сверяет обширные персональные данные, включая мобильные номера, аккаунты мессенджеров и записи связей с вышками сотовой связи людей, использовавших VPN для обхода государственной цензуры. Он отмечает тех, кто часто пользуется иностранными СМИ, посещает протесты или связывается с определёнными политическими группами, классифицируя их как «высокорисковые политические угрозы» для «специального управления».

◇Общество предотвращения преступности или наблюдения?

Хотя «предиктивная полиция» даёт преимущество эффективного снижения социальных издержек, связанных с преступностью, оно неизбежно несёт риск нарушения базовых прав через утечку данных и злоупотребление. Недостатки технологии также вызывают опасения по поводу ошибок. Критики утверждают: «Даже если ИИ предсказывает вероятность преступления на основе слов или действий пользователей, переводится ли это в реальное преступление — это отдельный вопрос».

Существует также риск «обратной связи», направленной на конкретные группы. Если предвзятый ИИ, обученный на искажённых данных, предсказывает будущие преступления, он может поддерживать судебное неравенство, навсегда изолируя меньшинства или уязвимые группы как потенциальных преступников.

Профессор Ким Мён-джу из кафедры информационной безопасности Женского университета Сеула заявила: «Современные технологии ИИ могут показывать корреляции только при определённых условиях, а не доказывать чёткие причинно-следственные связи, приводящие к реальным преступлениям.» Она подчеркнула: «Вместо того чтобы зацикливаться на эффективности предиктивной полиции на основе ИИ, необходимо срочно установить глобальные рекомендации и юридические гарантии для проверки и контроля алгоритмической предвзятости.»

☞Фильм *Minority Report*

Голливудский научно-фантастический фильм, изображающий будущее общества, где система прогнозирования преступлений, сочетающая ИИ и предвидительные способности, арестовывает потенциальных подозреваемых до совершения насильственных преступлений. Фатальный недостаток системы — стигматизация невинных граждан как преступников — приводит к её окончательному уничтожению. Основанный на одноимённом романе Филипа К. Дика, он предупреждает о двойном характере продвинутых обществ наблюдения.

THE CHOSUNILBO