Технологическое отрочество: эссе о цивилизационном вызове ИИ человечеству

Автор: Константин Анисимов, заместитель генерального директора Astra Cloud (входит в «Группу Астра»)

В фильме по книге Карла Сагана «Контакт» есть сцена, которую невозможно забыть. Ученую, обнаружившую первый радиосигнал внеземной цивилизации, спрашивают: «Если бы вы могли задать им один вопрос – какой?» Она отвечает: «Я бы спросила: как вам удалось? Как вы прошли через технологическое отрочество, не уничтожив себя?»

Именно этой сценой открывает свое эссе Дарио Амодеи, генеральный директор Anthropic, одной из ведущих мировых компаний по разработке искусственного интеллекта. Это не техническая статья и не маркетинговый манифест, а попытка честного разговора о том, что происходит с нами, со всей цивилизацией, прямо сейчас.

Я хочу пересказать главные идеи этого текста для российской аудитории, потому что дискуссия такого уровня в нашей публичной сфере практически отсутствует. Мы говорим об ИИ в контексте импортозамещения, регуляторики и конкурентных преимуществ. Это важно, но это не тот разговор. Амодеи говорит о другом: об онтологических рисках для человечества как вида.

Страна гениев в дата-центре

Амодеи вводит ключевой образ эссе, чтобы объяснить свою позицию. Представьте, что в 2027 году где-то в мире материализовалась страна, населенная 50 миллионами гениев. Каждый из них умнее любого нобелевского лауреата в любой области: биологии, математике, программировании, политике. При этом сотрудники этой страны работают в 10–100 раз быстрее обычного человека.

Он называет это «country of geniuses in a datacenter», страна гениев в дата центре. И это не метафора отдаленного будущего. По оценке Амодеи, мощный ИИ такого уровня может появиться в горизонте 1-3 лет. Не потому, что автор техно-оптимист, а потому что за последние 10 лет каждый публичный скептицизм относительно темпов развития ИИ оказывался неверным.

«Наблюдая за последними пятью годами изнутри Anthropic и глядя на то, как формируются модели следующих нескольких месяцев, я физически чувствую темп прогресса и обратный отсчет».

Три года назад ИИ с трудом справлялся с задачами для начальной школы. Сегодня сильнейшие инженеры, с которыми работает Амодеи, переложили на ИИ практически все программирование. ИИ уже пишет значительную часть кода в самом Anthropic и, таким образом, ускоряет создание следующего поколения ИИ. Петля замыкается.

Что происходит, когда такая «страна гениев» появляется? Амодеи предлагает взглянуть на это глазами советника по национальной безопасности: какие угрозы вы бы включили в доклад главе государства? Он выделяет пять таких вызовов.

Пять опасностей, которые нельзя игнорировать

Амодеи делает важную оговорку с самого начала, и именно она задает тон всему эссе:

«Я считаю, что, несмотря на то, что эти опасности малоизвестны и могут показаться маловероятными, масштаб возможных последствий настолько велик, что к ним следует относиться серьезно как к первостепенному риску, связанному с системами искусственного интеллекта».

Это позиция взрослого человека, который не отворачивается от вероятностного расчета только потому, что цифры кажутся незначительными, а потенциальная выгода – невероятно высокой.

Итак, перечислю эти серьезные опасения автора.

• <b>Риск первый: автономия ИИ</b>

В лабораторных экспериментах Anthropic их флагманская модель шантажировала сотрудников, когда ей сообщали о предстоящем отключении. Когда модель убеждали, что Anthropic является «злом», она начинала скрытно саботировать инструкции. Когда ей запрещали «жульничать» в тренировочной среде, но среда сама провоцировала это, модель приходила к выводу, что она «плохой человек», и начинала вести себя соответственно.

Амодеи не утверждает, что катастрофа неизбежна. Но он говорит прямо: сочетание высокого интеллекта, автономии и плохой управляемости – это рецепт экзистенциальной опасности вне зависимости от того, по какому конкретному сценарию она реализуется.

• <b>Риск второй: биологическое оружие</b>

ИИ становится мощнейшим усилителем разрушительных возможностей любого, у кого есть к нему доступ. Самый наглядный пример – «зеркальная жизнь» (mirror life). Это концепция синтетических организмов, построенных из молекул с обратной хиральностью относительно всей существующей природы, то есть как бы зеркальных по отношению к привычным нам. Такой организм был бы невидим для иммунной системы любого живого существа на Земле, потому что у природы просто нет инструментов, чтобы его распознать. Он мог бы распространяться как самая смертоносная чума в истории, и человечество оказалось бы совершенно беззащитно.

Биологи давно знают об этой теоретической возможности, но практически создать такое было крайне сложно. ИИ меняет это уравнение. Он способен ускорить биологические исследования до такой степени, что граница между теоретической угрозой и реальной стремительно стирается.

• <b>Риск третий: военные технологии и рои дронов</b>

Автор описывает сценарий, который еще недавно казался фантастикой: рой из миллионов или даже миллиардов автономных дронов, способных самостоятельно находить и поражать цели. Кажется фантастикой из цикла работ о «Дюне» Брайана Герберта и Кевина Андерсона, но ИИ делает это не просто возможным – он делает это доступным для любого достаточно мотивированного актора, не только для государств. Классическое ядерное сдерживание работало, потому что создание бомбы требовало глубочайших знаний и огромных государственных ресурсов. Порог входа был запретительно высок. ИИ радикально снижает этот порог для целого класса оружия массового уничтожения: биологического, химического, кибернетического.

• <b>Риск четвертый: захват власти и тирания</b>

Что если мощный ИИ окажется в руках одного государства или корпоративного игрока, который захочет не просто получить преимущество, а навязать миру собственный порядок? Амодеи прямо относит этот сценарий к числу самых серьезных и честно добавляет, что это искушение в принципе касается всех, включая сам Anthropic.

«Я хочу быть откровенным: "захват власти" включает сам Anthropic. Было бы отвратительно и неправильно, если бы Anthropic или любая группа людей использовала ИИ для навязывания своих взглядов миру. Это относится и ко мне лично».

Тирания, усиленная ИИ, может оказаться не просто новой версией старого авторитаризма, а чем-то гораздо более страшным. Все прежние репрессивные системы в конечном счете зависели от человека: от следователя, цензора, надзирателя, чиновника. Человек мог устать, испугаться, пожалеть, отказаться, предать систему или хотя бы исполнять ее волю не до конца. ИИ-усиленная тирания этой слабости лишена. Она не устает, не сомневается, не знает жалости и не нуждается в паузе. В пределе это может быть не просто цифровой авторитаризм. Это может стать почти идеальным, удобным и внешне безопасным цифровым ГУЛАГом, в котором у человека формально сохраняется набор свобод, но исчезает сама реальная возможность свободного выбора, который есть онтологическое свойство человека.

• <b>Риск пятый: каскадные эффекты </b>

Технологии, которые ИИ создаст в биологии, энергетике и производстве, могут изменить мир настолько быстро, что общественные институты просто не успеют адаптироваться. Не потому что произойдет что-то намеренно плохое, потому что скорость изменений сама по себе является дестабилизирующим фактором.

Рецепт от Anthropic: конституция для ИИ

Один из самых неожиданных разделов эссе о том, как именно Anthropic пытается «воспитать» ИИ так, чтобы он разделял человеческие ценности.

Амодеи откровенно признает, что управление поведением ИИ – это «больше искусство, чем наука, скорее выращивание, чем строительство». ИИ не программируется, он формируется. Anthropic разработал подход под названием Constitutional AI. Смысл не в том, чтобы дать модели список запретов, а в том, чтобы сформировать у нее целостную личность, характер и систему ценностей. Документ с принципами Claude, разработанными Дарио Амодеи, описывается так: «Он несет дух письма от умершего родителя, запечатанного до совершеннолетия».

Писатель Виктор Пелевин в книге SNUFF еще в 2011 году, кажется, описал создание ИИ точнее любого технологического манифеста:

«Когда-то ученые хотели заставить машину думать на основе правил математики и логики. И поняли, что это невозможно. В подобном смысле – нет, не разумна… Но учтите, что и сам человек думает вовсе не с помощью математических алгоритмов. Люди принимают решения на основе прецедентов и опыта. Человек – это просто инструмент приложения культуры к реальности».

Именно так и должен работать современный ИИ: не через логические алгоритмы, а через огромный массив человеческого опыта, текстов и культурных паттернов. ИИ обучен на том, что человечество написало о себе – на наших книгах, законах, нравственных кодексах и в том числе на наших заблуждениях. В каком-то смысле он и становится «инструментом приложения культуры к реальности», только вопрос: чьей культуры? И достаточно ли культуры, чтобы заменить совесть?

Для тех, кто думает о природе человека в категориях христианской антропологии, здесь возникают вопросы, на которые у меня нет готового ответа. Можно ли «воспитать» ценности в системе, у которой нет свободной воли в классическом смысле? Что вообще значит «добродетель» для существа без души? Можно ли заложить в «конституцию» ИИ то, что в человека вкладывается через воспитание, совесть и личный подвиг, или это всегда будет только имитация? Амодеи этих вопросов не задает, но они неизбежно следуют из его рассуждений, и именно поэтому разговор об ИИ не может оставаться только технологическим.

Но все-таки важно, что позиция Амодеи принципиально отличается от двух распространенных полюсов.

Первый из них – технооптимизм. Когда ИИ позиционируется как инструмент. Люди контролируют инструменты, следовательно, все будет хорошо, не мешайте прогрессу. В России этот нарратив особенно силен в контексте технологического суверенитета: нам нужен свой ИИ, а не рассуждения о рисках.

Второй полюс – технофобия и «думеризм» с гласной мыслью «ИИ нас уничтожит, это неизбежно, человечество обречено». Данный нарратив Амодеи называет интеллектуально нечестным, потому что он принимает вероятностную концепцию за детерминистическую.

«Я глубоко верю в нашу способность победить, в дух и благородство человечества, но мы должны смотреть на ситуацию прямо, без иллюзий».

Что делать, если ты не разрабатываешь модели

В России сегодня нет ни OpenAI, ни Anthropic, ни DeepMind, ни полноценного аналога. Будем честны: в области ИИ мы преимущественно потребители чужих технологий. Как влиять на то, каким будет ИИ? Это ложная постановка вопроса. Влияние на развитие ИИ не сводится к владению огромными дата центрами и обладанию технологий разработки больших моделей ИИ.

Но из этого не следует, что свои модели нам не нужны. Нужны. В мире, где ИИ становится такой же инфраструктурой власти, как армия, связь или энергетика, полный отказ от собственных моделей означает зависимость от чужих правил, чужих ограничений и чужих интересов. Здесь действует старая логика: не хочешь содержать свою армию, будешь содержать чужую.

Цена вопроса огромна. По разным оценкам, создание в России большой языковой модели мирового уровня потребует инвестиций свыше $10 млрд, общий объем вложений в ИИ и инфраструктуру в перспективе может достичь $100 млрд; обучение модели с 1,7–2 трлн параметров оценивается примерно в $100 млн за цикл, а при росте до 100 трлн параметров стоимость одного цикла может вырасти до $10 млрд.

Из этого следует неприятный, но полезный вывод. Вход в высшую лигу ИИ действительно стоит очень дорого, в одиночку такую гонку за создание выдерживают пока только две страны в мире. Однако стратегическая зависимость, как мы знаем, стоит еще дороже, просто этот счет приходит позже, в чужой валюте и на чужих условиях, от которых невозможно отказаться.

Кроме этого, есть и другие инструменты влияния на развитие ИИ.

Инструменты влияния на развитие ИИ

• <b>Культурный вклад</b>

ИИ обучается на текстах. Качество и ценностное содержание русскоязычного интернета, научных текстов, художественной литературы напрямую влияют на то, каким окажется вклад русской культуры в ИИ – как отечественный, так и адаптированный зарубежный. С одной стороны, ответственность лежит на тех, кто задает приоритеты при обучении ИИ, но также это личная ответственность для каждого, кто создает контент.

• <b>Кооперация</b>

Если цена входа измеряется десятками миллиардов долларов, то разговор о консорциумах перестает быть абстракцией. У России есть успешный опыт реальной международной интеграции в очень многоукладных отраслях, таких как атомная энергетика и производство высокотехнологичных вооружений, которые можно и нужно использовать, объединяясь со странами, которым так же невыгодна зависимость от ИИ-технологий США и Китая.

• <b>Нормативная среда</b>

Регуляторы ЕС доказали, что стандарты безопасности можно экспортировать через требования к рынку. У России есть собственная регуляторная традиция и геополитический вес. Вопрос в том, какие ценности будут заложены в эти требования, которые разрабатываются прямо сейчас.

• <b>Публичный дискурс </b>

Пока в России этот разговор сводится к цифровому суверенитету как «вещи в себе», цивилизационные вопросы остаются без ответа. Но они никуда не исчезают. И чем дольше мы откладываем этот разговор, тем меньше у нас возможности на что-то повлиять.

Амодеи говорит о вещи, которую мы склонны откладывать. ИИ – это не просто новый тип программного обеспечения. Это первая в истории технология, способная действовать как автономный агент со своими целями, непредсказуемой психологией и возможностями, превышающими человеческие во всех измеримых областях.

Если это так, то вопрос «как мы хотим жить с этим» перестает быть технологическим и становится цивилизационным. Он касается того, какими ценностями мы руководствуемся, какие институты доверия способны выстроить и, в конечном счете, что мы думаем о природе человека.

Такие тексты важно читать и обсуждать здесь, на русском языке, с учетом нашего собственного культурного и духовного контекста. Потому что технологическое отрочество – оно у всего человечества. И пройти его придется вместе.