ИИ научился создавать тысячи вирусов: их не видят антивирусы

Исследователи из Palo Alto Networks Unit 42 обнаружили, что большие языковые модели (LLM) способны генерировать тысячи модификаций вредоносного кода JavaScript, которые сложно распознать антивирусному ПО. В результате тестирования ИИ создал более 10 тыс. копий кода, уклоняющихся от обнаружения в 88% случаев.

Большие языковые модели (LLM) доказали свою способность создавать тысячи версий вредоносного JavaScript-кода, который успешно уклоняется от антивирусных программ. Эксперты Palo Alto Networks Unit 42 показали, что ИИ генерирует более 10 000 вариантов, обходя защиту в 88% случаев. Это вызывает серьезные опасения, так как такие технологии могут использоваться для сокрытия вредоносного ПО.

Исследователи отмечают, что LLM пока не разрабатывают вредоносное ПО с нуля, но отлично маскируют уже существующие угрозы. Злоумышленники могут применять ИИ для переписывания кода, делая его сложным для обнаружения.

Несмотря на усилия разработчиков LLM, направленные на предотвращение злоупотреблений, преступники уже используют инструменты вроде WormGPT. Эти программы автоматизируют создание фишинговых писем и разработку нового вредоносного ПО.

В ходе тестирования специалисты Unit 42 выяснили, что ИИ создает варианты кода, которые остаются незамеченными такими защитными средствами, как IUPG и PhishingJS. При этом код сохраняет свой вредоносный потенциал, но выглядит более безобидно.

ИИ использует стандартные методы запутывания: переименовывает переменные, разбивает строки, добавляет или удаляет элементы кода. Такие действия позволяют обходить антивирусы, воспринимающие измененный код как безопасный.

Хотя эта ситуация вызывает тревогу, эксперты видят в ней и положительный потенциал. В будущем ИИ может стать не только инструментом для создания угроз, но и мощным помощником в их обнаружении и нейтрализации.

Интернет захватили поддельные отзывы, созданные нейросетями

Благодаря интернету можно лучше изучить любой товар или услугу перед тем, как их приобретать. Особенно в этом помогают отзывы. Хорошая новость — их может написать кто угодно, поэтому они помогают узнать не рекламную, а реальную информацию о часах, ресторане или гостинице.

Плохая новость — их может написать кто угодно, в том числе продавец товара с десяти анонимных аккаунтов. Или кто-то по его заказу. Или — и это главное нововведение последнего времени — нейросеть, которая способна генерировать фальшивые отзывы в любых количествах.

О новой чуме интернета, от которой сейчас страдает прежде всего американский рынок, рассказало издание The Associated Press. Главная проблема — такие отзывы стоят гораздо дешевле, поэтому их можно писать быстрее и в больших объемах.

По данным издания, такие отзывы уже можно встретить в любой сфере коммерческих предложений: от отелей и ресторанов до услуг ремонтника, врача или учителя пианино. По данным аналитиков, в американском интернете такие отзывы начали появляться с середины 2023 года, и их число только растет. Поэтому, несмотря на разные ситуации, аналогичного явления можно ожидать и на российском рынке.

Исследовательская компания The Transparency Company изучила 73 миллиона отзывов и пришла к выводу, что 14% из них фальшивые, а 2,3 миллиона, скорее всего, были созданы с использованием искусственного интеллекта.

Это очень, очень удобный инструмент для таких мошенников.
Мори Блэкман
руководитель The Transparency Company

Другие исследователи также отмечали взрывной рост фальшивых отзывов к мобильным приложениям, услугам компаний, занимающихся ремонтом гаражных дверей, дизайнерам сумок и многим другим бизнесам.

Эксперты также отмечают, что фальшивые отзывы появляются и на крупных авторитетных платформах вроде Amazon, и распознать сам факт взаимодействия нейросети с порталом владельцы сайтов, к сожалению, не в состоянии.

Есть еще одна деталь, которая все усложняет: эксперты отмечают, что сам факт использования искусственного интеллекта для написания отзыва не означает, что отзыв фальшивый. Некоторым людям трудно писать тексты, или они чересчур увлечены ИИ, поэтому даже для краткого обзора товара они используют нейросеть, чтобы облечь свои мысли в более литературную форму.

Еще одна причина — пользователи, которые не знают английского, просят нейросеть перевести их отзыв на английский, чтобы больше людей могли его прочитать, а в тексте не оказалось ошибок.

Что предпринимают компании?

На данный момент крупные компании ограничиваются тем, что включают текст об ИИ в лицензионные соглашения. Например, Amazon и Trustpilot допускают использование нейросетей в случаях, если сгенерированный ими текст выражает оценку пользователя, который размещает отзыв.

А вот сайт для поиска услуг Yelp допускает только размещение текста, написанного вручную — компания заявила, что активно вкладывается в методы обнаружения и удаления генеративного контента.

Эксперты объясняют, что ИИ — инструмент, который можно использовать в обе стороны: он способен не только создавать фальшивые отзывы, но еще и выявлять их гораздо успешнее, чем это могут сделать люди. Таким образом, возможно, ситуация вскоре стабилизируется, и нейросети будут выявлять такие отзывы настолько же быстро, как они будут создаваться.

Кроме того, с октября в США принят закон, по которому за фальшивые отзывы организацию или пользователя могут оштрафовать (как за умышленное размещение недостоверной информации) — и в этом случае огромное количество сгенерированных нейросетью отзывов становится большим риском, так как чем больше фальшивок, тем выше сумма штрафа.

Крупные компании также утверждают, что активно борются с фальшивыми отзывами вручную и с помощью специальных программ. Впрочем, у некоторых пользователей это вызывает усмешку — к примеру, один из участников группы активистов Fake Review Watch (борцы за честные отзывы) иронизирует: «Если эти компании так стремятся искоренить фальшивые отзывы, почему я, обычный парень, в любой день могу найти сотни и тысячи фальшивок?».

Как выявить сгенерированный отзыв?

Главное, конечно — это вопрос, что делать конкретному пользователю прямо сейчас — и как не попасть на удочку мошенников.

Согласно исследованию Йельского университета, многие люди не могут с достаточной успешностью выявлять генеративные тексты (особенно созданные с помощью новейших нейросетей), а если отзыв очень короткий, он способен обмануть кого угодно.

Тем не менее, эксперты предлагают обращать внимание на следующие «красные флажки»:

чересчур эмоциональные отзывы;
категорические позитивные или негативные оценки;
отзывы, в которых название продукта или модели постоянно приводится в полном виде;
длина — обычно искусственные отзывы длиннее «человеческих»;
наличие общих фраз, избыточной структуры и клишированных оборотов.

ИИ добрался до онлайн-опросов: социологи объяснили, чем это грозит

Растущая популярность инструментов генеративного ИИ осложняет работу исследователей, использующих онлайн-опросы. Ученые из США попытались оценить масштабы проблемы и в эксперименте выяснить, какие черты отличают человеческие ответы от сгенерированных нейросетью.

Тему возможного искажения исследований из-за применения в опросах чат-ботов на базе искусственного интеллекта вроде ChatGPT подняла Джанет Сюй (Janet Xu) из Стэнфордской высшей школы бизнеса. Ее соавторами по статье, текст которой доступен на сайте SocArXiv, стали социолог Симона Чжан (Simone Zhang) из Нью-Йоркского университета и специалист по информационным наукам Эй Джей Альверо ( AJ Alvero) из Корнеллского университета.

При проведении крупных опросов нередко прибегают к онлайн-платформам, таким как Prolific или Amazon Mechanical Turk. Их участники за плату или подарочные сертификаты предоставляют данные о себе и заполняют необходимые анкеты. Однако с появлением ChatGPT и схожих сервисов исследователи стали замечать, что некоторые развернутые комментарии в таких опросах выглядят как «нечеловеческие». К примеру, кажутся слишком подробными или утрированно корректными.

Услышав такого рода подозрения от кого-то из коллег, Джанет Сюй решила разобраться в вопросе. Для этого она вместе с другими учеными организовала онлайн-опрос примерно 800 зарегистрированных участников Prolific о том, пользуются ли они ИИ-инструментами при написании ответов. Респондентам пообещали, что информация не повлияет на право участвовать в будущих исследованиях.

В итоге в подобной практике призналась примерно треть опрошенных, из которых 10% сообщили, что делают это очень часто. Две трети участников заявили, что никогда не применяют ChatGPT для генерации ответов, объяснив это моральными соображениями и опасениями повлиять на достоверность исследований.

Чтобы увидеть, чем разнятся человеческие ответы и сгенерированные компьютером, исследователи воспользовались данными опросов из трех научных работ, написанных до появления ChatGPT. Эти результаты сопоставили с ответами, которые получили с помощью нейронных сетей.

Сравнение показало, что люди, как правило, использовали конкретные и эмоционально окрашенные выражения, порой с уничижительным оттенком. Формулировки от ИИ, напротив, выглядели нейтральными и абстрактными, а когда речь шла об отдельных социальных группах в деликатных темах — более корректными и сглаженными.

Хотя результаты исследования показали, что применение ИИ в опросах еще не успело приобрести большие масштабы, ученые выразили тревогу по поводу такой возможности. Если люди станут пользоваться подобными инструментами не просто для того, чтобы лучше сформулировать мысль, а будут полностью подменять ответы сгенерированными, это исказит реальную картину, сделает ее более однородной.

Исследователи пока не увидели оснований для исправлений или отзыва уже вышедших работ из-за возможного влияния ИИ, но призвали коллег внимательно относиться к качеству получаемых в опросах данных.

Авторы новой статьи отметили, что в качестве превентивной меры можно прямо просить респондентов не использовать ИИ или встраивать в онлайн-формы для анкетирования специальный код, блокирующий копирование и вставку текста. Также ученые призвали лучше прорабатывать опросники, делать их более краткими, четкими и понятными, чтобы у людей не возникало соблазна прибегнуть к ИИ.