Книга о грибах Саскачевана, Канада, когда-то продававшаяся на Amazon, могла бы оказать смертельный эффект, если бы читатели следовали её совету.
Она поощряла читателей определять грибы по «запаху и вкусу» — чрезвычайно опасной практике, потому что даже небольшое количество смертельного гриба может привести к острой печёночной недостаточности и даже смерти.
Проблема стала очевидной после того, как Донован Тиссон, эксперт по грибам, поднял тревогу.
Позже выяснилось, что книга была написана искусственным интеллектом.
Это один из самых жутких примеров поверхностной информации в эпоху ИИ, где и авторы, и редакторы проваливаются не только в исполнении, но и в суждениях.
Исследование, проведённое учёными из Калифорнийского университета в Беркли и Корнеллского университета в США, показало, что ИИ стал мощным инструментом для увеличения объёма исследований, хотя и не обязательно качества.
Анализируя более двух миллионов рукописей, загруженных с 2018 по середину 2024 года на нерецензируемых научных платформах arXiv, bioRxiv и SSRN, они обнаружили, что пользователи ИИ увеличили свою объёмность на 50%, а в биологии и социальных науках — почти на 90%.
Проблема в том, что многие из этих статей отполированы, плотны и внешне крайне «научны», при этом низкого качества и с меньшей вероятностью выдерживают рецензирование.
Поток таких рукописей заставляет рецензентов, оценщиков исследований и финансирующих организаций уделять больше времени выявлению действительно значимых работ.
Искусственный интеллект усложнил различие настоящего качества среди множества убедительного, но сомнительного материала.
Я сталкивался с более мягкой версией той же проблемы в своей работе. Появляется всё больше отчётов с стильными презентациями и интенсивным использованием специализированного жаргона.
Даже новый сотрудник может произнести выступления, звучащие авторитетно. Но когда разговоры выходят за пределы поверхности, часто становится ясно, что автор или докладчик на самом деле не понимает тему.
За беглостью ИИ стоит более тревожная проблема: иллюзия понимания.
ИИ даёт быстрые и отточенные ответы практически на любой вопрос. В результате грань между «обладанием информацией» и «знанием» начала размываться. Гладкое объяснение заставляет людей думать, что они поняли урок. Хорошее резюме заставляет их думать, что они прочитали книгу. Переписанный абзац создаёт иллюзию острого рассуждения. Во многих случаях люди получают лишь поверхностную часть понимания, а не его структуру.
Человеческий мозг не работает как простое устройство чтения-записи. Знание формируется не просто через получение и запоминание ответов, а развивается через более медленный процесс чтения, задания вопросов, сравнения и объяснения идей собственными словами.
Этот тихий интеллектуальный труд требует времени и усилий. Он редко приносит мгновенные награды. Но именно он формирует реальные способности, позволяя людям понять, почему что-то работает, а не просто знать, что это такое.
Представляет ли эта иллюзия понимания, управляемая ИИ, реальную опасность?
Как часто бывает, то, что приходит легко, обычно не остаётся надолго в памяти.
Информация, доставляемая одним кликом, создаёт ощущение удобства, которое может ослабить любопытство, особенно когда спрос на информацию исходит из внешнего давления, например, со стороны начальников или учителей, а не личным интересом.
Этот риск общим для всех, но особенно серьёзен для молодых людей, которым всё ещё нужно время, чтобы построить интеллектуальную основу в всё более конкурентном будущем.
Для людей с прочной базой ИИ может расширять мышление, проверять предположения и повышать продуктивность. В отчёте McKinsey за 2025 год «Суперагентство на рабочем месте: расширение возможностей людей для раскрытия полного потенциала ИИ» показало, что опытные сотрудники в возрасте от 35 до 44 лет были наиболее оптимистично настроены и уверены в отношении ИИ.
За годы работы они приобрели глубокие знания как в профессиональной, так и в социальной сфере, и для них ИИ служит эффективным помощником для рутинных задач.
Но для тех, кто ещё учатся мыслить, такой мощный инструмент может стать опорой слишком рано.
В будущем рынке труда не будет недостатка людей, умеющих пользоваться ИИ. Такие задачи, как резюме, составление чертежей, создание таблиц, перевод и мозговой штурм, станут дешевле и более распространёнными.
Бизнесу нужны люди, которые смогут оценивать информацию, формулировать правильные вопросы и связывать технологии с бизнесом, обществом и человеческими реальностями.
Будущий спрос может склоняться к работе, менее машинно-совершенной, но с более явным человеческим отпечатком.
Уже появляются признаки замедления найма и более строгого набора молодых работников. Вместо этого компании всё чаще предоставляют ИИ-ассистентов опытным сотрудникам, чтобы те могли справляться с нагрузкой в два-три раза больше, чем раньше. Общие затраты снижаются, а краткосрочная эффективность растёт.
Но это может привести к опасному разрыву в навыках, поскольку опытные работники в конечном итоге покинут рынок труда, даже когда молодёжь теряет возможность медленно учиться, ошибаться и расти.
Конкурентное давление ещё больше сузит возможности и повысит ожидания. В такой среде мало места для иллюзии «знания всего».
В 2002 году, во время пресс-брифинга по национальной безопасности, тогдашний США Министр обороны Дональд Рамсфелд говорил о различных «зонах» информации и понимания, позже известных как «матрица Рамсфелда».
Он включает четыре категории: известные данные или вещи, которые мы знаем, что мы знаем, такие как проверенные факты и установленная информация; известные неизвестные или вещи, которые мы знаем, что не знаем, где мы замечаем пробел в понимании; неизвестные знания или знания, которыми мы обладаем, но не можем распознать или использовать; и неизвестные неизвестные или непредвиденные возможности, выходящие за рамки существующего опыта или предсказания.
Первые два — известные и известные неизвестные — являются необходимыми отправными точками для построения знаний. Понимание того, что мы знаем, а чего нам не хватает, создаёт основу для исследования гораздо более опасной территории неизвестных.
Проще говоря, самосознание — основа любопытства и открытий.
ИИ может помогать людям двигаться быстрее, но он не может идти по пути интеллектуального роста для них.
Общество, переполненное мгновенными ответами, не обязательно означает общество с более глубоким пониманием.
В эпоху искусственного интеллекта нужно защищать не само замедление, а баланс между мышлением, исследованием, скоростью и результативностью.
Если этот сложный процесс исчезнет, человечество может столкнуться с парадоксом — избытком бессмысленных ответов и нехваткой достойных вопросов.
Миру всегда нужны люди, способные задавать правильные вопросы, чтобы двигаться дальше, копать глубже и открывать новые знания.
VnExpress
ИИ не может гарантировать правильные ответы выше 50% в сложных системах
Одно исследование математически доказало, что существуют проблемы, по которым искусственный интеллект (искусственный интеллект) не может гарантировать правильные ответы, независимо от того, насколько увеличиваются данные или производительность компьютера. В некоторых сложных системах вероятность того, что ИИ даст правильный ответ, остаётся максимум 50%, что эквивалентно уровню подбрасывания монеты.
Исследователи из Кембриджского университета в Великобритании и Калифорнийского университета в Санта-Барбаре в США опубликовали свои результаты 14 июля в международном журнале *Nature Communications*. В исследовании анализировалось, может ли ИИ правильно изучать системы, которые меняются со временем.
Такие явления, как погода, океанские течения, активность мозга и движения роботов, трудно представить точными уравнениями из-за их постоянных изменений. Учёные предсказывают будущее, выявляя такие закономерности, как повторение, колебания и увеличение/уменьшение данных прошлых наблюдений. Исследователи сосредоточились на «обучении операторов Кауффмана» — методе, который делит сложные движения на более простые паттерны для анализа.
Команда создала две системы, идеально совпадающие с наблюдаемыми данными, но после этого полностью расходились. Эти системы развивались одинаково до точки разветвления, после чего приводили к противоположным результатам. ИИ, обученный только на данных до ветвления, не мог определить, какое будущее правильно.
Исследователи пришли к выводу, что в таких системах, даже при бесконечном объеме данных и идеальных измерениях, ни один универсальный метод обучения не может гарантировать вероятность получения правильного ответа более 50%. Это подчёркивает фундаментальное ограничение в изучении разных сложных систем с использованием одного и того же подхода.
Команда также предложила решение: вместо одновременного масштабирования данных и анализа они предложили сначала наблюдать достаточно долго, затем расширить область анализа и, наконец, сузить ошибки. Этот поэтапный подход иногда решал задачи, неразрешимые традиционными методами.
Исследователи отметили, что эти результаты также могут дать подсказки для понимания феномена «галлюцинаций» в чат-ботах с ИИ. Небольшие начальные различия в предсказании следующего слова могут накапливаться, вызывая отклонение длинных ответов в непреднамеренных направлениях. «Хотя в области ИИ много историй успеха, не менее важно спросить, насколько уверена модель ИИ в своих ответах и как это проверить», — отметили исследователи.
Результаты исследований, математически подтверждающие существование проблем, для которых искусственный интеллект (искусственный интеллект) не может гарантировать правильные ответы, даже при повышении данных и производительности компьютера. /ChatGPT
THE CHOSUNILBO