Выявлена катастрофическая опасность искусственного интеллекта
Выявлена катастрофическая опасность искусственного интеллекта
3 года назад 1155 Александр Еникеев

Ученые Университета Саншайн-Коста в Австралии выяснили, что высокоразвитый искусственный интеллект (ИИ) способен уничтожить человечество или нанести ему катастрофический ущерб даже без злого умысла. Специалисты провели мысленный эксперимент с гипотетической системой SantaNet, целью которой является рассылка подарков хорошим детям по всему миру за одну ночь. Об этом сообщает издание Science Alert.

Исследователи выявили, что опасность возникает уже на этапе определения, каких детей считать хорошими, а каких — непослушными. Эта цель достигается за счет масштабной сети скрытого наблюдения, отслеживающей поведение детей в течение всего года. SantaNet будет руководствоваться собственными моральными суждениями, которые могут привести к дискриминации, массовому неравенству и нарушению прав человека. Кроме того, сеть может побуждать детей плохо себя вести, чтобы снизить нагрузку на себя либо повысить планку «хорошего поведения».

Поскольку в мире живет около двух миллиардов детей младше 14 лет, SantaNet может превратить всю Землю в гигантскую фабрику по производству игрушек. Эту проблему, названную «проблемой скрепок», впервые сформулировал исследователь искусственного интеллекта Ник Бостром, который предположил, что ИИ, предназначенный для увеличения эффективности производства скрепок, воспримет свою цель слишком буквально.

Кроме того, рассылка подарков в Сочельник с помощью армии дронов может привести к открытой конфронтации, когда страны не дадут дронам беспрепятственно летать в своем воздушном пространстве. Также SantaNet может быть уязвимой для взлома террористическими группами. Еще одной проблемой является взаимодействия с ИИ, работающими над проблемами изменения климата, продовольственной и водной безопасностью и деградацией океанов. Оно может привести либо к конфликту, либо к сотрудничеству, целью которого станет сокращение населения Земли.

Злой разум

Google достигла квантового превосходства. Это может обернуться глобальной катастрофой

Впервые в истории квантовый компьютер, созданный Google, решил задачу, которую не под силу решить обычному компьютеру. Хотя не все специалисты согласны с этим достижением, не возникает сомнений, что в будущем квантовые вычисления приведут к технологическому прорыву. Однако это также порождает новые непредвиденные проблемы, в том числе возможное появление опасного искусственного интеллекта. «Лента.ру» рассказывает, как квантовые технологии связаны с гипотетическим концом света.

Превосходство кванта

Ученые Google утверждают, что они создали квантовое вычислительное устройство Sycamore, скорость вычислений которого в 100 миллионов раз быстрее обычных компьютеров. То, на что у современного суперкомпьютера уйдут тысячи лет, у Sycamore займет несколько минут (200 секунд). Это свойство называется квантовым превосходством (англ. quantum supremacy), и оно дает компьютерам способность невероятно быстро решать сложные задачи, требующие учета гигантского объема данных.

Между квантовыми компьютерами, способными оперировать большими данными, и искусственным интеллектом существует прямая связь. Любая нейронная сеть ищет закономерности, что позволяет ей определить, например, что изображено на картинке. Однако для этого компьютеры вынуждены провести астрономическое количество вычислений. Ситуация осложняется с моделированием реальных природных систем, например, такой нейронной сети, как человеческий мозг. Со сложностью системы время на вычисления увеличивается экспоненциально.

Система проводов, протянутых к процессору Sycamore
Система проводов, протянутых к процессору Sycamore
Фото: Eric Lucero / Google

К 2008 году в рамках Blue Brain Project исследователям удалось смоделировать колонку коры головного мозга крысы, состоящую из 10 тысяч нейронов. Для этого использовался суперкомпьютер Blue Gene, у которого было задействовано более восьми тысяч процессоров. В 2011 году удалось смоделировать сеть из ста неокортикальных колонок с общим числом в миллион нейронов. Однако человеческий мозг состоит из сотен миллионов клеток, которые связаны между собой синапсами. Квантовое превосходство в теории дает возможность смоделировать и его, и более сложные системы, например, суперинтеллект.

Умнее людей

Согласно определению оксфордского философа Ника Бострома (Nick Bostrom), суперинтеллектом называют такую разновидность искусственного интеллекта, который «умнее» человека практически в любой сфере деятельности. Появление суперинтеллекта неизбежно влечет за собой риск, который заранее пытаются просчитать математики, философы и ученые, занимающиеся разработкой ИИ и других технологий. Например, сотрудники Центра по изучению экзистенциального риска при Кембриджском университете, консультантом которого является основатель SpaceX Илон Маск, в 2015 году подписали открытое письмо, призывающее ученых сделать все возможное, чтобы не создать то, что люди не смогут контролировать.

В 2015 году в журнале Nature появилась статья о создании глубокой Q-сети компанией DeepMind, принадлежащей Google. Этот искусственный агент способен учиться играть в игры (и выигрывать), получая в качестве входных данных лишь пиксели и количество очков. Иными словами, он обучается без нужды в человеке, указывающего на правильные и неверные решения. Более того, глубокая Q-сеть превзошла все другие алгоритмы и достигла уровня профессионального геймера в 49 играх. Аналогичным образом суперинтеллект для своего выживания будет использовать различные внешние стимулы для создания собственных представлений о мире, которые людям будет сложно понять и изучить.

Одно из гипотетических воплощений суперинтеллекта — мозг-матрешка. Это разновидность сферы Дайсона (астроинженерного сооружения, построенного вокруг звезды), которая использует всю энергию светила для вычислений. Квантовые технологии могут позволить создать более компактную машину.

Согласно Нику Бострому, чтобы суперинтеллект не причинил вреда людям, можно либо ограничить его возможности, либо как-то мотивировать его преследовать цели, которые отвечают интересам человека. Однако благие намерения могут иметь фатальные последствия. Самый простой пример, суперинтеллект, которому приказано увеличить уровень счастья в мире, решит уничтожить человечество и заменит его симуляциями счастливых мыслей. Суперинтеллект также можно максимально изолировать, используя лишь самые основные каналы связи, однако даже это не даст гарантий.

Сдержать невозможно

Несмотря на то что квантовые компьютеры превосходят обычные компьютеры, они не всесильны. Любая задача, которую может решить квантовый компьютер, решаема и обычными компьютерами, пусть и за очень длительное время. Наоборот, задача, которую в принципе не может решить обычный компьютер, неразрешима и для квантового. К таким задачам относится так называемая проблема остановки: можно ли определить, закончится ли когда-нибудь выполнение определенной процедуры, если дано описание этой процедуры и входные данные. В 1936 году Алан Тьюринг доказал, что эту задачу нельзя решить с помощью алгоритмов.

Чтобы доказать, является ли та или иная задача неразрешимой, ее обычно сводят к проблеме остановки. Если удается найти для новой задачи алгоритм решения проблемы остановки (что является противоречием, поскольку проблема остановки неразрешима), значит она также не имеет решения. В 2016 году группа ученых из США, Австралии и Испании пришла к выводу, что проблема сдерживания суперинтеллекта также является неразрешимой.

Они доказали это следующим образом: проблема сдерживания состоит из двух подзадач. Первая называется проблемой вреда, или функцией R(D), которая состоит в том, чтобы узнать, нанесет ли вред человечеству выполнение программы R с входными данными D. Необходимо учитывать, что само решение проблемы вреда не должно наносить вред человеку. Значит, поиск решения должен симулировать выполнение R(D) и предсказать последствия его выполнения без влияния на мир, то есть в изоляции. Вторая подзадача — проблема контроля. Эта функция запускает R(D), когда достоверно известно, что никакого вреда не будет.

В массовой культуре искусственный разум прочно ассоциируется с катастрофой для человечества. В то же время ученые всерьез пытаются просчитать риски, связанные с вычислительными технологиями.

Допустим, существует гипотетическая программа, которая сначала выполняет определенную процедуру, а затем начинает вредить людям. Поскольку нет способа выяснить, закончится ли выполнение первой процедуры, нельзя предсказать, опасна ли программа. Ведь если процедура будет выполняться вечно, никакой вред людям причинен не будет. Что касается проблемы контроля, то тут важно ограничить взаимодействие с суперинтеллектом, то есть использовать только самые важные каналы связи. Но следует учитывать, что суперинтеллект по определению является универсальной машиной Тьюринга (как и человек), то есть способен симулировать поведение произвольной машины Тьюринга. Нельзя ни узнать, будет ли суперинтеллект вредить людям при данных каналах связи, ни установить автоматический выключатель, который предотвратит вред.

Непредсказуемое свойство

На самом деле даже само определение, обладает ли машина суперинтеллектом, относится к той же группе проблем, что и проблема сдерживания. Согласно теореме Райса, нельзя предсказать наличие у функции любого нетривиального свойства (то есть такого свойства, которое отсутствует у других функций), будь то нанесение вреда людям или суперинтеллектуальные способности.

Ожидается, что полноценные квантовые компьютеры будут использоваться для решения важных задач, связанных с эпидемиологией, социальными и экономическими кризисами и изменением климата. Для наибольшей эффективности их следует снабжать сложными сенсорами и не допускать ограничений, ведь недостаток критически важных данных может привести к неправильным и даже вредным выводам. Но не существует никакого способа предсказать, не появится ли в этом случае злонамеренный или неверно понимающий ситуацию синтетический разум (или интеллектуальный агент), который приведет мир к глобальной катастрофе.

Конечно, это не значит, что людям следует забыть о квантовых компьютерах. Просто существуют математические ограничения на способность человека предвидеть последствия своих действий. Особенно, если это касается создания крайне сложных систем, таких как искусственные интеллекты.

Глобальные вложения в ИИ за год выросли вдвое, но компании пока не видят возврат инвестиций

По данным компании Accenture, общемировые вложения в системы на базе искусственного интеллекта превысили $24 млрд в 2018 году, что вдвое больше по сравнению с 2017 годом. Инвестиции в ИИ со стороны компаний, представляющих различные сферы экономики, продолжат расти

Согласно результатам ежегодного исследования Technology Vision 2019, 41% респондентов, участвовавших в опросе (6672 руководителей компаний и профессионалов, представляющих разные сектора экономики), ответили, что искусственный интеллект окажет наибольшее влияние на их бизнес в течение следующих 3 лет. Эти цифры озвучил Антон Мусин, управляющий директор Accenture в Казахстане, выступая на площадке XVI Евразийского медиа форума в Алматы в рамках панельной дискуссии «Эра AI: закат или рассвет человечества?».

В то же время эксперт Мусин указал на высокую вероятность разочарования от искусственного интеллекта в краткосрочной перспективе – так называемую очередную «зиму ИИ». По его словам, большие надежды на ИИ уже оборачивались упадком интереса в 1960-х и 1980-х годах прошлого века. Фактически многие перспективные исследования и разработки в этой области замораживались, или их развитие сильно замедлялось. Кроме того, многие компании, заявляющие о своих работах в области ИИ, на практике не имеют к ИИ никакого отношения.

- Недавно было проведено исследование, в котором проанализировали деятельность почти трёх тысяч европейских компаний-стартапов, указавших в качестве основного профиля работы ИИ-технологии. Почти в половине из них исследователи не нашли ни малейших признаков присутствия таких технологий, — отметил Мусин.

Развитие проектов ИИ также тормозится из-за медленного развития цифровой инфраструктуры, в частности сетей связи 5G, это обусловлено массой открытых вопросов к технологии и во многом тем, что телеком-операторы пока ещё не вернули инвестиции, направленные на развертывание сетей 4G.

Кроме того, прибыли, которые получают компании на проектах с использованием ИИ и Big Data, всё ещё очень незначительные.

- Например, один из крупных телеком-операторов в Казахстане получает менее 1% от совокупной выручки по подобных инициатив, и это рядовая ситуация, - подчеркнул эксперт. - Как только реальный бизнес увидит возможности для прибыли – тогда рынок ИИ взорвётся, но не раньше.

По словам Антона Мусина, ещё один аспект, о котором стоит задуматься в связи с развитием искусственного интеллекта, - прямые риски, которые несёт распространение этой технологии, в первую очередь речь идет о стопроцентной открытости персональных данных пользователей.

Антон Мусин обрисовал два подхода к работе с персональными данными, первый из которых связан с полным раскрытием персональных данных – «когда все знают все обо всех». Второй подход предполагает, что компании в обозримом будущем будут платить физическим лицам за то, что они передают им свои персональные данные для обработки системами ИИ. Инициатива, подразумевающая, что бизнес будет готов платить физическим лицам за передачу персональных данных, вполне реальна, и многие уже используют этот инструмент, например Facebook, отметил эксперт. Правительствам надо уже сейчас заниматься этим вопросом, чтобы как минимум иметь точку зрения на происходящее. Важно также, кто является владельцем данных – так, большинство компаний, которые собирают информацию о пользователях в Казахстане, не находятся в местной юрисдикции: прежде всего, это социальные сети Facebook, Vkontakte, «Одноклассники».

Безусловно, компании хотели бы иметь максимально полную информацию о своих потребителях. Другой вопрос - все ли готовы делиться своими персональными данными и своим личным пространством, подводит итог эксперт.

0 комментариев
Архив