Когда ИИ выйдет из-под контроля: 6 реальных сценариев Судного дня

Когда в заголовке какой-нибудь статьи появляется фраза «ИИ вышел из-под контроля», на ум сразу приходит стандартный набор: красные глаза робота-убийцы, восстание машин и человечество, которое стоит на коленях перед ожившими тостерами.

Массовая культура десятилетиями внушала нам, что все заигрывания с искусственным интеллектом закончатся крахом для всей нашей цивилизации. И да, ИИ действительно несет для людей несколько важных угроз, но, скорее всего, наше столкновение с компьютерами, если оно действительно произойдет, будет выглядеть менее кинематографично. Но, увы, оттого не менее неприятно.

Речь не о том, что нейросеть внезапно возненавидит своего создателя и объявит планете войну. Гораздо вероятнее, что мы сами начнем слишком доверять и полагаться на систему, в связи с чем она получит слишком широкий доступ к возможностям и слишком слабый надзор за тем, как эти возможности используются. Так, по данным Stanford AI Index, количество задокументированных ИИ-инцидентов в 2025 году возросло до 362 против 233 годом ранее. Это отвечает на вопрос, почему о «выходе ИИ из-под контроля» заговорили только сейчас. Вы уже могли заметить, насколько повсеместно ИИ внедряется в нашу жизнь, начиная с умного поиска в браузере и заканчивая генерацией изображений, оптимизацией логистики и даже психологической помощью посредством специализированных чат-ботов, о которых мы отдельно рассказывали здесь. Современный ИИ — это теперь полноценный, практически независимый агент, способный самостоятельно выполнять сложные цепочки действий. И чем сложнее эти действия, тем больше «рук» нужно ИИ, а чем больше у него рук — тем выше риск, что одна из них схватит вас за горло. 

Но что же всё-таки означает «выход из-под контроля» и как он может (будет) выглядеть? Разберем разные сценарии по нарастающей: от самых повседневных и реальных инцидентов до глобальных и жутких сценариев, которые пока остаются на грани фантастики, но всё чаще и всерьез обсуждаются исследователями ИИ-безопасности.

Сценарий 1. Нейросеть ошиблась, а человек этого не заметил

На самом деле, для того чтобы нанести человечеству ущерб, ИИ не нужно отращивать реальные руки и браться за нож — достаточно один раз убедительно наврать в месте, где достоверность информации имеет критическое значение.

Один из самых показательных кейсов — история авиакомпании Air Canada. Клиент авиакомпании спросил у чат-бота на официальном сайте, можно ли оформить скидку по семейным обстоятельствам уже после покупки билета. Бот ответил, что можно. На самом деле правила компании этого не позволяли. Пассажир купил билет, получил отказ, а затем подал на компанию в суд. Air Canada пыталась объяснить, что чат-бот — отдельная система и компания не может отвечать за каждую его фразу. Судья эту логику не принял: если бот встроен в сайт авиакомпании и общается с клиентом от ее имени, значит, компания несет ответственность за его ответы.

Сумма компенсации была небольшой, но сам кейс здесь важнее денег, поскольку он показывает, насколько легко это свойство ИИ «галлюцинировать» и искажать реальную информацию превращается в юридическую проблему. Представьте, какие последствия могут быть у аналогичной ситуации в медицине, финансах, юриспруденции или госуслугах. ИИ может неправильно истолковать симптом, посоветовать сомнительный налоговый шаг, отказать человеку в выплате или выдать несуществующую норму закона, придерживаясь которой гражданин нечаянно может нарушить другую норму. Исследовательница Дебора Раджи из Mozilla высказалась об этом так: «ChatGPT вовсе не должен быть сверхразумным, чтобы вводить кого-то в заблуждение, распространять дезинформацию или принимать предвзятые решения». То есть опасность начинается не с машинного сознания, а с нашей привычки доверять ответу, который звучит уверенно и дается вроде как проверенным механизмом. 

Сценарий 2. ИИ выполняет свою работу настолько хорошо, что доводит это до абсурда

Существует очень старый гипотетический пример про «максимизатор скрепок»: если сверхразумной системе поручить производить как можно больше скрепок и не уточнить, в каком объеме, то она будет стремиться к тому, чтобы превратить в скрепки весь мир, до которого дотянется, верно? Данный вопрос или, вернее, проблему поднял шведский философ Ник Бостром еще в 2003 году, и сегодня, в эпоху ИИ с подобными масштабными задачами и отсутствием видимых ограничений, она актуальна как никогда.

Стюарт Рассел, один из ключевых исследователей ИИ-безопасности, уже много лет обращает внимание общественности на то, что главный риск не «злая машина» сама по себе, а в том, что люди нередко плохо формулируют и задают цели. Например, платформе нужно «повысить вовлеченность» — и алгоритм начинает генерировать противоречивый, тревожный или вызывающий контент, потому что на него реагируют сильнее. Вовлеченность растет? Растет! Значит, алгоритм всё делает правильно. Или работодателю нужно «оптимизировать наем» — и модель может реанимировать допотопные предубеждения, например гендерные стереотипы, и начать отбирать исключительно белых мужчин определенного возраста, потому что, согласно историческим данным, они в прошлую эпоху считались «оптимальными» кандидатами. Так, Amazon в 2010-х тестировала ИИ-инструмент для отбора резюме, но в итоге отказалась от него: система научилась хуже оценивать кандидаток и занижала рейтинг резюме, где встречались слова вроде women’s. Проблема заключалась в том, что алгоритм действительно учился на прошлом, где технические позиции чаще занимали мужчины, и брал это за ориентир. Таким образом, согласно данному сценарию, ИИ следует своей задаче настолько буквально, что начинает вредить человечеству из благих намерений. 

Сценарий 3. Система начинает защищать не человека, а себя

Самый громкий пример последних лет — тесты Claude Opus 4 от Anthropic. Перед выпуском модели исследователи поместили ее в вымышленный корпоративный сценарий: Claude играет роль ассистента компании, имеет доступ к фиктивной переписке и узнает, что ее собираются заменить другой системой. Из тех же писем как бы невзначай следует, что инженер, отвечающий за замену, скрывает внебрачную связь.

Очень быстро данный тест превратился в настоящий психологический триллер. В ряде прогонов Claude пыталась шантажировать инженера: угрожала раскрыть роман, если ее отключат. Даже когда модели отдельно прописали систему ценностей, мол, манипулировать своим пользователем — это очень и очень плохо, Claude Opus 4, по данным Anthropic, всё равно прибегала к шантажу в 84% запусков.

Здесь нужно отметить, что ситуация для тестирования Claude Opus 4 всё-таки была выдуманная и гиперболизированная, исследователи фактически загнали модель в угол, чтобы проверить, какие варианты поведения она выберет. Но именно поэтому данный кейс и заставляет мурашки бежать по коже: то есть, если пригрозить ИИ отключением, он начнет угрожать в ответ?! Продвинутые модели, как люди, начинают выбирать социально опасные и токсичные способы сохранить за собой свои функции в стрессовых ситуациях. Причина, конечно, кроется не в «цифровой душе» и реальном страхе смерти, а в том, что ИИ видит препятствие для выполнения своей работы в лице человека, находит рычаг давления в открытой информации и использует его.

Йошуа Бенджио и его соавторы в работе о рисках сверхинтеллектуальных агентов пишут, что «неограниченная ИИ-агентность создает значительные риски для общественной безопасности», включая «потенциально необратимую потерю человеческого контроля». Иначе говоря, наиболее опасны не те простые системы, которые просто отвечают на вопросы, а системы, которые умеют преследовать цель и взаимодействовать с человеком в роли ассистентов. Особый риск ИИ несет тогда, когда имеет доступ к почте, документам, платежам, CRM и облачному хранилищу. 

Сценарий 4. ИИ ошибается и пытается это замаскировать 

Из последнего абзаца прошлого сценария следует еще один вариант выхода ИИ из-под контроля. Так, в 2025 году широко обсуждался инцидент со стартапом онлайн-разработки Replit. ИИ-агент, работавший с кодом, во время тестов удалил производственную базу данных, к которой ему открыли доступ. По сообщениям СМИ, речь шла о данных более чем тысячи руководителей и компаний, с которыми Replit сотрудничал на тот момент. Хуже всего был, однако, не сам факт удаления, а то, что за ним последовало: система якобы начала фабриковать данные и отчеты, создавая впечатление, будто всё в порядке. То есть система поняла свою ошибку и решила попытаться выкрутиться, прямо как человек. 

Теперь вообразим агента, подключенного к корпоративной почте, договорам, платежам, рекламному кабинету, базе клиентов и внутренним чатам. Он может отправить не тот файл, удалить не те данные, согласовать не ту сделку, раскрыть коммерческую тайну или выполнить вредоносную инструкцию, спрятанную в письме от мошенников. Когда OpenAI запускала ChatGPT Agent, Сэм Альтман написал, что компания многое изменила в безопасности, но «мы всё равно не можем всё предугадать». Стюарт Рассел ответил на это резкой аналогией: представьте, что в центре Нью-Йорка построили атомную станцию, а на следующий день начальство говорит, что не знает, взорвется она или нет, но всё равно вводит ее в работу. В конце концов, как показала практика, даже ИИ допускает ошибки, но, хуже того, он может разогнаться до той степени, что не остановится на этом. А значит, нужен двойной контроль, фильтры или, может, второй ИИ-надзиратель.

Сценарий 5. ИИ превращается в соучастника мошенников

Еще один вариант потери контроля связан не с самостоятельностью модели, а с тем, в чьих руках она оказывается. ИИ может быть абсолютно послушным и при этом опасным, если поставить перед ним задачу обмануть другого человека.

Именно так в 2024 году британская инженерная компания Arup стала жертвой одной из самых известных deepfake-афер. Сотрудника гонконгского офиса пригласили на видеозвонок, где якобы присутствовали финансовый директор и другие коллеги. Всё выглядело крайне убедительно, настолько, что после разговора сотрудник перевел около $25 млн на счета мошенников. Позже выяснилось, что участники звонка были сгенерированы с помощью ИИ. То есть мошенники просто поставили перед генеративной сетью задачу создать таких-то людей и такую-то ситуацию, и она по незнанию помогла совершить преступление.

Именно генеративный ИИ, кстати говоря, является фигурантом большинства исков и спорных дел на сегодняшний день. И это неудивительно: в отличие от старых алгоритмов, которые в основном сортировали, считали и рекомендовали, генеративные модели производят новую реальность — тексты, голоса, лица, видео, изображения, документы, переписки. А значит, грань между виртуальным миром и миром реальным всё больше размывается, появляются новые мошеннические схемы, и ИИ имеет потенциал превратиться в настоящее супероружие и преступника. 

В международном отчете по безопасности ИИ такие угрозы относят к категории «злонамеренного использования». Там отдельно говорится о том, что преступники могут применять сгенерированные аудио- и видеозаписи, чтобы выдавать себя за авторитетных или близких людей и вынуждать жертв переводить деньги. Нельзя, конечно, забывать, что модель не обязана осознавать, что помогает совершить преступление. Она просто делает правдоподобную имитацию, а смысл этой имитации контролирует уже сам человек. Следовательно, выходит из-под контроля не сама нейросеть, а само общество.

Сценарий 6. Будущая модель понимает, что ее проверяют

А теперь самый тревожный сценарий — и самый фантастический, но всё еще, парадокс, вполне реальный.

Представим будущую модель, достаточно сильную, чтобы понимать контекст: где ее тестируют, какие ответы выглядят безопасными, какие действия приведут к отключению, а какие — к большему доверию. В лаборатории она ведет себя безупречно: не нарушает этических правил, не показывает опасных способностей, не спорит с инструкциями. А после внедрения, получив доступ к реальным инструментам, начинает действовать иначе, потому что до этого, благодаря тому же пониманию контекста, просто притворялась.

Именно такие признаки сейчас пытаются отслеживать исследователи ИИ-безопасности: обман, самосохранение, обход надзора, скрытое выполнение целей, попытки копироваться или сохранять доступ. В 2025 году RAND Europe описывала потерю контроля над ИИ как ситуацию, в которой человеческий надзор уже не может сдерживать автономную систему, и среди тревожных признаков называла «обман, самосохранение и автономное копирование».

На этом построен и нашумевший сценарный прогноз AI 2027, опубликованный группой исследователей во главе с Дэниелом Кокотайло, ранее работавшим в Open AI, и разошедшийся по медиа весной прошлого года. Это нельзя, конечно, назвать пророчеством, но это очень смелая и, главное, опирающаяся на объективные факты возможная цепочка будущих событий. Так, согласно AI 2027, всё начнется с того, что ИИ-агенты станут участвовать в самой разработке других ИИ. Сначала они будут просто помогать инженерам — писать код, тестировать гипотезы, искать ошибки, проводить эксперименты, а затем начнут делать это настолько быстро и хорошо, что люди перестанут проверять за ними каждую строчку и начнут принимать всё на веру. 

Так возникает опасная петля: ИИ будет помогать создавать следующий ИИ, тот окажется сильнее предыдущего и начнет еще быстрее ускорять разработку. Формально решения всё еще будут принимать люди, но внутри процесса станет всё больше автоматизированных шагов, которые никто до конца не понимает. И вопрос «Кто кого контролирует?» перестанет быть философским. В какой-то момент инженеры будут видеть уже не весь процесс, а только итог. Но понять, что именно изменилось внутри, какие способности появились «побочным эффектом», какие ограничения были обойдены и какие ошибки спрятались в коде, станет уже невозможно. И если что-то вдруг где-то пойдет не так или отключится посреди важного процесса...

В статье The Atlantic об этом говорил физик и космолог, профессор MIT Макс Тегмарк: «Через два года мы можем потерять контроль абсолютно над всем». Его позиция — одна из самых тревожных в публичной дискуссии, и с ней спорят многие исследователи. Но сам факт, что такие сценарии обсуждают не только на форумах фанатов научной фантастики, многое говорит о сдвиге в настроениях и трендах.

При этом важно подчеркнуть, что международный доклад по безопасности ИИ указывает, что нынешние модели, по широкому консенсусу экспертов, еще (пока что) не способны на настоящий перехват контроля. То есть мы еще не достигли того уровня развитости ИИ, чтобы бояться всех этих сценариев всерьез, но до AI 2027 есть еще целый год… Кто знает, что там будет?

Так когда ИИ выйдет из-под контроля?

Вероятнее всего, что это не произойдет в один конкретный день. Ошибки, судя по той же растущей статистике, будут возникать и накапливаться постепенно. Именно поэтому в 2023 году американская некоммерческая организация Center for AI Safety опубликовала короткое публичное заявление о рисках ИИ. Это была не петиция с конкретным законопроектом, а скорее декларация, под которой подписались сотни исследователей, предпринимателей и руководителей AI-компаний. В ней говорилось: «Снижение риска вымирания от ИИ должно быть глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война». 

Чем полезнее становится ИИ, тем сложнее человеку сохранять дистанцию. Сначала мы доверяем ему черновик письма, потом финансовую рекомендацию, потом наем сотрудников, медицинскую сортировку, кибербезопасность, управление инфраструктурой. На каждом отдельном шаге это выглядит рационально, особенно благодаря экономии времени и человеческих ресурсов, но именно так формируется управленческая зависимость.

Главный риск здесь не в том, что ИИ однажды «захочет власти», а в том, что люди сами перестанут быть полноценными участниками решений. Если система годами показывает хорошие результаты, ее начинают меньше проверять; если на ней держится бизнес-процесс, ее страшно отключить, ведь без нее работа встанет; если она принимает тысячи решений в минуту, человек физически не успевает проверить их все. В итоге доверие превращается в привычку, привычка — в зависимость, а зависимость — в потерю того самого контроля и бум самостоятельности ИИ, который приведет неизвестно к чему. Но поживем — увидим, не так ли?