Policy on the AI Exponential // Политика в условиях ИИ-экспоненты

Июнь 2026 года

В одной из побочных сюжетных линий «Властелина колец» двое хоббитов пытаются пробудить Древоборода (Treebeard) — мудрого, но медлительного энта, — чтобы тот защитил свой лес от армии, которая его вырубает. Проблема в том, что Древобород действует совсем в другом темпе, чем хоббиты. Ему требуется целый день только для того, чтобы поздороваться с другим деревом, поэтому заставить его и ему подобных действовать достаточно быстро почти невозможно.

Взаимодействие ИИ и наших политических институтов во многом напоминает историю хоббитов и Древоборода. ИИ развивается молниеносно: всего за четыре года модели ИИ прошли путь от способности едва написать связную строчку кода до написания большей части кода в крупных ИИ-компаниях. Сходные успехи наблюдаются в биологии, физике, математике, финансах, юриспруденции, переводе и многих других областях. Законы масштабирования ИИ (AI’s scaling laws), предсказывающие экспоненциальный рост общих когнитивных способностей по мере увеличения вычислительной мощности, теперь имеют за собой более чем десятилетнюю эмпирическую базу. Если эти законы масштабирования продержатся еще хотя бы год или два, мы, скорее всего, получим то, что я называл Мощным ИИ (Powerful AI), или «страной гениев в дата-центре».

Напротив, политика — и особенно законодательный процесс — движется очень медленно. Часто для этого есть веские причины: у правительств огромные полномочия, и обычно лучше, когда они не применяются слишком поспешно. Но несоответствие временных масштабов все равно весьма болезненно: за те несколько лет, которые могут потребоваться Конгрессу для принятия мер, ИИ может пройти путь от забавной игрушки до полноценной страны гениев.

За последние несколько лет, с тех пор как ИИ стал крупной коммерческой технологией, те из нас, кто хотел обращаться с ним ответственно, столкнулись с дилеммой. Мы ясно видели, куда ведет эта экспонента: у нас были серьезные основания полагать, что в течение нескольких лет ИИ станет одной из редких технологий, которые фундаментально меняют весь политический ландшафт, — подобно тому как ядерное оружие изменило геополитику, а промышленная революция фундаментально перекроила каждую экономическую и социальную проблему. Но тем, кто смотрел только на то, что ИИ умел делать на тот момент, он казался куда более приземленной технологией — чем-то вроде очередного потребительского приложения или криптовалюты. Было трудно убедить большинство политиков и компаний, что имеет смысл какое-либо отношение, кроме laissez-faire, то есть невмешательства. И, справедливости ради, сам факт, что радикальные последствия ИИ еще не наступили и мы не знали точно, какую форму они могут принять, затруднял разработку правильной политики, даже если бы для этого существовала политическая воля.

С учетом ограничений, которые накладывала эта ситуация, многие сторонники безопасности ИИ (включая Anthropic) до сих пор фокусировались на продвижении политических мер, которые сохраняют свободу маневра (optionality), подготавливают почву для быстрой реакции в будущем или дают миру лучшее понимание того, что нас ждет: законов о прозрачности, экспортного контроля над чипами, сбора данных о влиянии ИИ на рынок труда. Этого недостаточно, но казалось, что это максимум возможного.

Однако за последние несколько месяцев доказательства невероятной мощи ИИ, как и связанных с ним рисков, стали неоспоримыми. Пожалуй, самый показательный пример — Claude Mythos Preview и открытие того, что передовые модели (frontier models) создают весьма реальные риски для кибербезопасности, включая потенциал для дестабилизации финансового сектора, критической инфраструктуры и национальной безопасности. Mythos Preview изменила расстановку сил в глобальной кибербезопасности. Но ее более широкое значение состоит в том, что она безоговорочно доказывает: модели ИИ теперь являются инструментами глобального и национального стратегического значения. Киберриски, которые несут модели класса Mythos, не станут последними из тех, с которыми нам придется столкнуться. Я полагаю, что вскоре могут последовать и биологические риски, а серьезные риски автономности ИИ могут быть не за горами[1].

Теперь нам, в глобальном и коллективном масштабе, необходимо задействовать медленный и шаткий политический аппарат, чтобы справиться с рисками и возможностями, которые с этого момента будут нарастать с поразительной быстротой. Многие политики демонстрируют все большую готовность к действиям, и было обнадеживающе видеть, как наши коллеги по индустрии приходят к тем же позициям, которые мы отстаивали последние несколько лет. Это хорошо, но я опасаюсь, что эти первые шаги как минимум на год отстают от стремительного прогресса ИИ. Это эссе — попытка сократить этот разрыв: показать, где эта экспонента находится сейчас и какие коллективные действия необходимы, чтобы ответить на вызовы момента.

Я сосредоточусь на пяти устойчивых направлениях государственной политики, которые нуждаются в переосмыслении в мире ИИ: регулирование и общественная безопасность, макроэкономика и налоговая политика, научные инновации, баланс сил между государством и обществом, а также геополитика. Я буду говорить преимущественно в контексте политики США, поскольку Anthropic — американская компания, но большинство моих рекомендаций актуальны и для остального мира.

Вместе с этим эссе Anthropic выпускает законодательное предложение о тестировании передовых моделей и политическую рамку для проблемы вытеснения рабочих мест, которой мы намерены предоставить существенную финансовую поддержку. В будущем мы планируем сделать гораздо больше, но рассматриваем эти шаги как первые признаки серьезности наших намерений.

1. Регулирование и общественная безопасность

У каждой новой технологии или продукта есть как полезные, так и вредные способы применения, поэтому они неизбежно ставят нас перед дилеммой между инновациями и безопасностью. Регулирование продуктов снижает вероятность того, что они причинят вред, и сыграло важную роль в улучшении жизни людей во всем мире, но оно также может напрямую уменьшать их пользу и косвенно ослаблять стимулы к инновациям. Есть и хайековский аргумент: регуляторам часто не хватает информации, необходимой для принятия правильных решений о сложных экономических компромиссах, поэтому регулирование нередко оказывается одновременно и неэффективным, и обременительным. Смежная идея — дилемма Коллингриджа, согласно которой последствия технологии часто трудно предвидеть до тех пор, пока не станет слишком поздно легко ими управлять.

Эти факторы играли ключевую роль в дискуссиях об ИИ в 2023–2024 годах. Для Anthropic было очевидно, что в будущем ИИ может обрести способность создавать биологическое оружие, угрожающее миллионам, или демонстрировать автономное нежелательное поведение, которое в крайних случаях может угрожать даже самому человечеству. Менее ясным было то, в какой конкретно форме проявятся эти риски, как лучше всего их тестировать и снижать и как все это будет выглядеть на практике. Поэтому существовал высокий риск, что заранее написанные законы в итоге окажутся неэффективными: создадут бессмысленные или малополезные комплаенс-требования, но упустят важнейшие источники реальных рисков[2].

В конечном итоге мы пришли к выводу, что правильным подходом на тот момент была прозрачность. Разработчики моделей ИИ должны быть обязаны раскрывать свои процедуры безопасности и тесты, которые они проводят на моделях, а также сообщать о любых критических инцидентах безопасности, чтобы общественность и научное сообщество могли лучше видеть возникающие риски. Когда и если риски станут более определенными, а их очертания — более ясными, факты, полученные благодаря прозрачности, можно будет использовать для разработки разумного законодательства, точно нацеленного на наиболее тревожные риски. Поэтому в 2025 году Anthropic поддержала законодательство о прозрачности, помогая принять SB 53 в Калифорнии, RAISE в Нью-Йорке, SB 315 в Иллинойсе (в начале 2026 года), а также выступая за федеральный стандарт прозрачности.

Однако теперь эти риски уже вполне очевидны. Пришло время выйти за рамки прозрачности и перейти к более серьезному и обязательному регулированию ИИ. Я считаю, что лучшая аналогия, по крайней мере на текущем этапе экспоненты, — это автомобили, самолеты или лекарства: мощные технологии, необходимые современной экономике, но способные убить большое количество людей, если они плохо спроектированы или неправильно эксплуатируются. Поэтому я считаю, что регулирование ИИ следует выстраивать по образцу таких ведомств, как Федеральное управление гражданской авиации США (FAA). Передовые модели ИИ, подобно самолетам, должны в обязательном порядке проходить техническое тестирование и аудит, а их выпуск должен блокироваться или отменяться как угроза общественной безопасности, если они не соответствуют высоким стандартам безопасности. Я рад видеть, что исполнительный указ администрации Трампа постепенно движется в сторону большей роли правительства в сфере ИИ, хотя предложение Anthropic рекомендует пойти еще дальше. Наше предложение включает следующие элементы:

Модели, превышающие определенный порог вычислительной мощности (compute), должны проходить обязательное тестирование квалифицированной третьей стороной на уровень риска в четырех конкретных областях: кибербезопасность, биологическое оружие, потеря контроля над системами ИИ и автоматизированные исследования и разработки (R&D), способные ускорить проявление других перечисленных рисков.
Правительство должно иметь полномочия блокировать или предотвращать развертывание модели, если по результатам сторонней оценки будет установлено, что она представляет неприемлемые риски. Эти полномочия должны быть строго ограничены четырьмя перечисленными рисками, а также должны предусматривать защиту от политического фаворитизма и произвольных решений.
Оценка третьей стороной может проводиться государственным агентством (по образцу FAA) или рядом частных организаций, уполномоченных и проверяемых государством для оценки моделей по определенным стандартам, — подходом «регуляторных рынков» (regulatory markets).
ИИ-компании, разрабатывающие передовые модели, должны поддерживать строгие стандарты безопасности для защиты весов своих моделей (model weights), регулярно проводить редтиминг (red teaming) и тестирование на проникновение, а также сотрудничать с правительством для защиты от крупных субъектов угроз.
Об инцидентах безопасности в четырех критически важных областях необходимо сообщать незамедлительно.

Возможно, наступит время — и, вероятно, довольно скоро, — когда нам придется пойти дальше: когда самые мощные системы ИИ будут выглядеть не столько как самолеты или автомобили, сколько как ядерные материалы, пригодные для создания оружия, то есть представлять угрозу человечеству, а не «просто» общественной безопасности. Если это произойдет, нам могут понадобиться более жесткие регуляторные меры, чем те, что я изложил[3]. Но точно так же, как в 2024 году было сложно точно нацелить и применить меры, которые я предлагаю сейчас, я не думаю, что нам стоит забегать вперед. Мы должны разрабатывать политику для опасностей, которые возникают сегодня, одновременно закладывая основу для еще более быстрого наращивания нашего ответа по мере появления новых угроз.

2. Макроэкономика и налоговая политика

Правительства давно сталкиваются с проблемой: как стимулировать экономический рост, одновременно предоставляя важные государственные услуги и заботясь о наименее защищенных слоях населения. Важной (и в целом верной) предпосылкой в этих дискуссиях было то, что экономический рост хрупок и труднодостижим, а значит, хотя снижение неравенства и может приносить важные блага, за него приходится расплачиваться экономическим торможением из-за повышения налогов или дефицита бюджета.

Я подозреваю, что мощный ИИ может перевернуть это представление. Если ИИ обретет способность выполнять большинство когнитивных задач гораздо лучше людей, логично предположить, что это может привести к чрезвычайно быстрому и устойчивому экономическому росту за счет ускорения науки, технологий и операционной эффективности. Итеративная способность ИИ создавать еще более совершенный ИИ может дополнительно усилить этот рост. Но по тем же самым причинам ИИ может стать и более универсальным экономическим заменителем человеческих когнитивных способностей, чем предыдущие технологии, при этом меняя экономику гораздо быстрее, чем они. Поэтому разумно полагать, что ИИ может вызвать куда более масштабные потрясения на рынке труда, чем прежние технологии, и, возможно, более долгосрочные потрясения. Мы рискуем оказаться в мире, где регулятор экономических компромиссов заклинило в положении «гиперрост и гипернеравенство», и вывести его из этого положения будет очень трудно. Главным вызовом в таком мире будет не стимулирование роста, а поиск способа сделать так, чтобы все могли разделить его плоды.

Из всех тем, затронутых в этом эссе, макроэкономика и долгосрочное вытеснение рабочей силы — пожалуй, те вопросы, которые привлекли наибольшее внимание общественности и породили больше всего недопониманий, поэтому я хочу предельно ясно высказаться по двум пунктам.

Во-первых, долгосрочное вытеснение людей с рабочих мест нежелательно и опасно, и мы должны делать все возможное, чтобы минимизировать или предотвратить его, а не способствовать ему. Я предупреждал о вытеснении рабочих мест в интервью и эссе потому, что хочу дать политикам и частному сектору наилучший шанс адаптироваться и отреагировать, а не потому, что пытаюсь быть «пророком апокалипсиса». Как компания, Anthropic всегда делает все возможное, работая с клиентами над поиском творческих новых сценариев использования и новых источников дохода, которые позволят им добиваться большего с нынешним штатом, а не концентрироваться исключительно на снижении затрат (что часто означает сокращение сотрудников). Мы также постоянно пытаемся придумывать новые парадигмы взаимодействия, позволяющие людям играть как можно более активную роль в сотрудничестве с системами ИИ по мере их совершенствования. В более широком смысле всему миру крайне важно экспериментировать с использованием ИИ в как можно большем количестве новых форматов, поскольку именно так общество сможет открыть новые возможные конфигурации рабочих мест. Я действительно считаю, что ИИ откроет целый ряд новых экономических возможностей. Я предсказывал, что ИИ позволит отдельным людям создавать компании с миллиардной капитализацией, и мы уже видим, как команды всего из нескольких человек строят бизнесы с сотнями миллионов выручки. Но в то же время мы должны признать: существует немалая вероятность того, что, несмотря на все наши усилия, ИИ все равно вызовет значительную и долгосрочную потерю рабочих мест — и что это может быть неотъемлемым свойством самой технологии и того, как она в широком смысле воспроизводит человеческое мышление[4].

Во-вторых, любой ответ на вызванное ИИ вытеснение рабочих мест должен учитывать как необходимость экономически обеспечить каждого, так и потребность людей в смысле, цели и субъектности (agency). Последнее в конечном счете важнее и зависит от глубинных вопросов о том, как устроено общество, к чему люди должны стремиться и что представляет собой хорошая жизнь. На самом деле я весьма оптимистичен в отношении того, что даже в мире, где ИИ превосходит людей во всем, люди смогут жить глубоко осмысленной жизнью и стремиться к созданию потрясающих и прекрасных вещей[5]. Но это должно быть коллективно выработано обществом в целом, а не напрямую решено политическими мерами. Политика может быть наиболее полезна тем, что выиграет нам время для этой работы: замедлит темпы потери рабочих мест и обеспечит экономическую поддержку тем, кого это, скорее всего, затронет.

В этом ключе некоторые меры государственной политики, которые, вероятно, будут полезны, включают:

Измерение и отслеживание. Легко отмахнуться от простого сбора и анализа данных как от мер, несоразмерных масштабу проблемы, но мы вряд ли получим хорошую политику, если не сможем точно измерить, что происходит на местах. Anthropic уже почти полтора года ведет Экономический индекс того, как люди используют Claude, но у правительств есть доступ к таким типам данных, которых у нас нет, и они могли бы значительно расширить свою экономическую статистику, чтобы тщательнее отслеживать вытеснение рабочих мест ИИ.
Стимулы для поддержки занятости. Широкий спектр мер, стимулирующих занятость, может помочь замедлить или сократить вытеснение работников с рынка труда. К ним относятся: программы страхования заработной платы, которые компенсируют людям потери при переходе на менее оплачиваемую работу[6]; налоговые льготы на удержание сотрудников, поощряющие работодателей избегать увольнений; гранты на обучение рабочей силы; инфраструктура для более быстрого подбора вакансий и кандидатов, ускоряющая адаптацию рынка труда. Хотя детали того, какие именно меры сработают лучше всего, будут зависеть от того, какой тип вытеснения рабочей силы принесет ИИ, мы должны быть готовы принять издержки и рыночную неэффективность, которые могут повлечь за собой такие меры, особенно учитывая, что они, скорее всего, будут компенсированы ростом производительности за счет ИИ.
Долгосрочная макроэкономическая поддержка. Если вызванное ИИ вытеснение рабочей силы окажется масштабным и навсегда снизит спрос на труд, вероятно, потребуется выйти за рамки простых программ стимулирования и перейти к долгосрочной поддержке доходов значительной части рабочей силы. Такие механизмы, как универсальный базовый доход, могли бы финансироваться за счет налогов на соответствующие компании или повышения налога на прирост капитала. Универсальные капитальные счета (universal capital accounts) предлагают еще один инструмент. В широком смысле быстрый экономический рост должен создать налоговую базу для всеобщего процветания.

Распространенным предметом экономических опасений по поводу ИИ, о котором я еще не упомянул, стали дата-центры и, в частности, их потенциал повышать цены на электроэнергию. Моя позиция заключается в том, что ИИ-компании должны платить, чтобы компенсировать повышение тарифов, — и Anthropic уже взяла на себя обязательство делать это, — но общественное неприятие дата-центров я во многом рассматриваю как символ или выход для более широких экономических тревог по поводу ИИ. Важно вести прямой общественный разговор об этих более широких экономических проблемах и иметь для них по-настоящему убедительные решения; иначе они, скорее всего, будут проявляться косвенно, как это произошло с дата-центрами.

3. Ускорение положительного воздействия ИИ

Точно так же, как нам приходится искать баланс между инновациями и безопасностью для самого ИИ, мы должны искать такой же баланс для технологий, которые, вероятно, будут ускорены с помощью ИИ, — например, биомедицины, энергетики или материаловедения. Но если сам ИИ, скорее всего, поставит перед нами новые вызовы, которые возникают очень быстро и с которыми у нас нет прошлого опыта работы, то другие области, ускоряемые ИИ, вероятно, столкнутся с совершенно иной проблемой: регуляторными системами, разработанными для более медленных темпов инноваций и не готовыми справиться с потоком новых продуктов и достижений, который принесет ИИ. Кроме того, ИИ может сделать эти прикладные технологии (downstream technologies) более безопасными и предсказуемыми таким образом, который противоречит скептическим допущениям регулирующих органов вроде Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA).

Поэтому в отношении прикладных направлений ИИ — в отличие от самого ИИ — я больше беспокоюсь о том, что регуляторный аппарат замедлит прогресс, поскольку не справится с возросшим темпом изменений, чем о том, что он не сумеет устранить важные риски. Меньше всего нам нужно, чтобы выгоды ИИ тормозились, пока его риски нависают над нами, поэтому важно как можно скорее принять меры для решения этой проблемы.

Эта проблема и пути ее решения будут проявляться по-разному в каждой области науки, коммерции и технологий, поэтому я остановлюсь на одном показательном примере: биомедицинских инновациях. Причина в том, что именно здесь ИИ, вероятно, принесет наибольшую гуманитарную пользу и одновременно столкнется с особенно сложным регулированием. Мы не знаем точно, как именно ИИ ускорит биомедицинские инновации, но, по-видимому, он:

значительно увеличит скорость, с которой новые кандидаты в препараты будут поступать в процесс регуляторного рассмотрения;
увеличит величину эффекта (effect sizes) и улучшит профили безопасности новых лекарств за счет лучшей оптимизации и, возможно, лучшего понимания их базовой биологии;
разработает кандидаты в препараты для лечения заболеваний, которые ранее никогда не поддавались успешной терапии;
быстро создаст совершенно новые формы терапии — подобно тому как антитела, пептиды и клеточная терапия стали новыми категориями лечения за последние несколько десятилетий.

Некоторые из этих достижений естественным образом ускорят сроки прохождения регуляторных процедур без необходимости в структурных изменениях. Лекарства с более выраженным эффектом могут позволить проводить менее масштабные и менее дорогостоящие клинические испытания, а также задействовать механизмы ускоренного одобрения. Но текущая регуляторная система устроена так, чтобы применять высокий уровень контроля и множество этапов тестирования, исходя из предположения, что кандидаты в препараты часто не работают, а даже когда работают, нередко имеют серьезные проблемы с безопасностью. Как в FDA, так и в Европейском агентстве по лекарственным средствам (EMA) типичное время прохождения препарата-кандидата через регуляторный процесс составляет 7–8 лет, отчасти из-за этих пессимистичных допущений. Без реформ ИИ попросту застопорит или перегрузит эту систему.

Очевидно, мы не хотим менять систему так, чтобы это привело к появлению множества лекарств-пустышек или к массовым инцидентам в области безопасности. Но некоторые относительно простые реформы могли бы сделать FDA, EMA и аналогичные агентства более адаптируемыми к стремительному ускорению науки за счет ИИ, если такое ускорение произойдет.

Многие этапы клинического процесса, которые раньше требовали дорогих и медленных экспериментов, вскоре могут выполняться с помощью ИИ-симуляции или анализа. Регуляторным агентствам следует уже сейчас рассмотреть возможность разработки стандартов признания таких методов. Это означало бы, что их можно будет быстро внедрить, как только они докажут свою эффективность, вместо того чтобы проходить через затяжной период, когда ненужные тесты все еще будут обязательными. Области, где это могло бы применяться, включают:

моделирование фармакодинамики и фармакокинетики (PD/PK) на базе ИИ;
прогнозирование токсичности, чтобы избежать необходимости в токсикологических исследованиях на нескольких видах животных;
более точный подбор дозы, снижающий потребность в широком диапазоне дозировок при проведении испытаний;
валидацию биомаркеров посредством анализа больших наборов данных;
синтетические контрольные группы (synthetic control arms) в клинических испытаниях, снижающие потребность в наборе большего числа участников;
разработку суррогатных конечных точек (особенно важно при старении и нейродегенерации).

Помимо этих конкретных примеров, агентствам следует также рассмотреть более радикальные и гибкие механизмы ускоренного одобрения. Если мои предсказания относительно ИИ верны, вскоре появится множество примеров терапевтических вмешательств, которые неожиданно окажутся по-настоящему эффективными, и регуляторная система должна быть готова воспринимать их всерьез, а не занимать позицию чрезмерного скептицизма.

Биомедицинское ускорение должно существенно увеличить пользу от ИИ, но стоит отметить, что оно также может помочь снизить его риски. Реформа процессов биомедицинского одобрения может помочь с биозащитой (biodefense), а биомедицинский прогресс, ускоряемый ИИ, может также улучшить психическое здоровье, что могло бы оказать стабилизирующее влияние на общество.

4. Государство и гражданские свободы

Каждая система государственного управления должна решать вопрос о власти государства и ее пределах. У государства есть законный, зачастую экзистенциальный интерес в защите своего населения от внутренних и внешних угроз. Но наделение его слишком большой властью — это путь к тирании. Современным демократиям в целом удавалось успешно поддерживать этот баланс, но даже в лучшие времена он остается шатким. Его обеспечение потребовало огромного количества правовых и конституционных механизмов, создававшихся веками: например, в Соединенных Штатах это Первая, Четвертая и Пятая поправки, Закон Posse Comitatus, ограничивающий использование армии внутри страны, закон о слежке FISA и так далее.

ИИ грозит нарушить этот баланс, одновременно резко повышая ставки. Но если мы отреагируем быстро и ответим на вызовы момента, мы сможем использовать ИИ для создания мира, в котором гарантии свободы будут надежнее и долговечнее, а защита от угроз — лучше, чем когда-либо прежде.

Мощный ИИ в чужих руках мог бы стать абсолютным инструментом автократии, а наши существующие правовые и конституционные механизмы защиты не в полной мере готовы к отражению этой угрозы. В основе этой проблемы лежит огромная отдача от интеллекта с точки зрения власти в мире: в сочетании со стремительным темпом прогресса ИИ она создает идеальный шторм для внезапного захвата власти самыми разными опасными субъектами[7].

Эта опасность может принимать разные конкретные технологические или операционные формы, но все они сходятся в одной идее: ИИ способен внезапно наделить кого-то колоссальной властью в обход существующих механизмов демократического надзора. Полностью автоматизированная армия дронов, которая сегодня звучит как научная фантастика, в будущем могла бы выполнять незаконные приказы и позволить правительствам в одностороннем порядке закрепить свою власть; профессионально обученные люди с большей вероятностью возразили бы против таких незаконных указаний. ИИ, предназначенный для слежки, мог бы анализировать общедоступную информацию в огромных масштабах и использовать ее, чтобы выводить самые сокровенные детали жизни каждого гражданина, — технологическая возможность, не предусмотренная действующим законодательством о гражданских свободах. Все это может произойти очень быстро или втайне, поэтому важно заранее укреплять приверженность демократий свободе и гражданским правам.

Вот некоторые политические идеи, которые нам следует рассмотреть:

Создать надежные правила подотчетности для полностью автономного оружия. Автономное оружие, и особенно любые автономные системы, которые его координируют или им управляют, должны быть обязаны подчиняться механизмам конституционной и командной подотчетности (например, судебным постановлениям, законам и подотчетности перед высокопоставленными руководителями-людьми), а не слепо выполнять приказы. Это может означать, что надлежащим образом созданная комиссия по правовому надзору или судебная ветвь власти будут держать палец на «кнопке выключения», что сами системы будут изначально обучены искать и признавать легитимные надзорные органы, или и то и другое.
Запретить использование полностью автономного оружия внутри страны. Хотя существует законное обоснование необходимости полностью автономного оружия для защиты от иностранных противников (например, от вторжения России в Украину), нет никаких оправданий для его использования против американцев. Военные уже имеют некоторые ограничения на свои действия внутри страны, но в идеале такое оружие должно быть запрещено и в правоохранительной деятельности.
Закрыть лазейку с массовым сбором данных и дата-брокерами. Согласно действующему законодательству, данные, которыми американцы делятся с частными компаниями (например, интернет-провайдерами), могут быть куплены и использованы для массового анализа в целях внутренней слежки и правоохранительной деятельности. Эта брешь в защите конфиденциальности появилась еще до ИИ, но ИИ значительно повысит ставки, сделав массовый анализ таких данных куда более информативным и полезным, чем в прошлом. Эту лазейку необходимо закрыть.
Право граждан на консультацию с ИИ при неблагоприятных действиях государства. В качестве общего принципа представляется важным, чтобы любой человек или организация, ставшие объектом неблагоприятных действий государства (например, регуляторных или судебных преследований), имели доступ к ИИ, не уступающему по возможностям тому, который государству разрешено использовать в данном конкретном деле. Это означало бы, что правительство не получает несправедливого преимущества, фактически подрывающего законные права граждан. Такую норму можно было бы добавить как дополнение или толкование Закона об административных процедурах, гарантий надлежащей правовой процедуры или предусмотренного Шестой поправкой права на юридическое представительство.

Наконец, стоит отметить, что правительства — не единственные субъекты, которых нам следует остерегаться в контексте захвата власти с помощью ИИ. В разные исторические эпохи (например, в Позолоченный век в США или во времена Ост-Индской компании в Великобритании) компании становились достаточно могущественными, чтобы захватывать контроль над государством или приобретать квазигосударственные черты. ИИ вскоре станет настолько могущественным, что, я боюсь, его нельзя будет безопасно и полностью доверить ни правительствам, ни компаниям; для каждого из них должны существовать сдержки и противовесы.

Регулирование — один из ответов на вопрос о том, как обуздать компании (мои идеи на этот счет изложены в Разделе 1), но также важно, чтобы ИИ-компании имели больше разделения властей и подотчетности, чем обычно для частных организаций. Long-Term Benefit Trust компании Anthropic — независимый орган управления, созданный для того, чтобы удерживать компанию в рамках ее миссии, — является одной из таких структур, и индустрия должна продолжать изучать механизмы, идущие еще дальше. Крайне важно найти правильный баланс: чтобы и компании, и правительство имели реальные ограничения своих полномочий.

5. Обеспечение лидерства демократических стран

Стало привычным, возможно под влиянием недавнего опыта с интернетом и телекоммуникациями, рассматривать новые технологии в геополитическом смысле как инструменты торговой политики, цель которой — «распространить наш технологический стек по всему миру». Но я глубоко убежден, что ИИ — это нечто гораздо более фундаментальное: он полностью перекраивает игровую доску, и вокруг него должна строиться вся будущая геополитическая стратегия — как вокруг ядерного оружия, но, возможно, даже в большей степени.

Если ИИ действительно скоро станет «страной гениев в дата-центре» или чем-то хотя бы отдаленно похожим, то ИИ, вероятно, станет доминирующим источником военной и экономической мощи любой нации. В виртуальной стране со 100 миллионами гениев 10 миллионов можно направить на военную стратегию, 10 миллионов — на производство дронов, 10 миллионов — на исследования и разработку оружия, 10 миллионов — на сбор и анализ разведданных, 10 миллионов — на общенаучный прогресс и так далее. Страна, обладающая мощным ИИ, столкнувшаяся со страной без него — или даже со страной, которая отстает в развитии ИИ на три года, — может оказаться в положении армии морских пехотинцев времен Второй мировой войны, столкнувшейся с армией средневековых мечников.

Кроме того, если мощный ИИ сделает возможными более глубокие и потенциально необратимые формы автократических репрессий (см. Раздел 4), это делает еще более важным, чтобы самые могущественные страны мира были демократиями — или по крайней мере чтобы существовали надежные средства защиты от репрессий с применением ИИ. Это также повышает срочность целенаправленной геополитической стратегии.

Демократические страны должны стремиться сформировать глобальную коалицию, сосредоточенную на создании ИИ в соответствии с их общими ценностями, и постепенно пытаться вовлечь в нее остальной мир, делая участие в коалиции все более привлекательным, а пребывание вне ее — все менее выгодным. Коалиция должна стать скоординированной международной версией политических идей в сфере ИИ, обсуждавшихся в Разделах 1–4, плюс усилием по контролю над критически важной цепочкой поставок для создания ИИ: участники коалиции должны делиться ею внутри объединения и закрывать доступ к ней для тех, кто остается за его пределами. Некоторые принципы и операционные цели могут включать:

Управление цепочкой поставок ИИ. Члены доверенной коалиции должны свободно обмениваться друг с другом чипами и оборудованием для производства полупроводников (SME), одновременно работая вместе над тем, чтобы не допускать их передачи противникам. Экспортный контроль США на передовые чипы и SME в Китай внес огромный вклад в общее лидерство США в области ИИ, и эту политику необходимо расширять, ужесточать и координировать с другими государствами-единомышленниками. Рассматриваемые законопроекты, такие как MATCH и OVERWATCH, являются хорошим первым шагом в этом направлении, и союзным демократиям следует рассмотреть аналогичные меры.
Координация усилий по устранению рисков ИИ. Меры политики по устранению биологических, кибернетических рисков и рисков автономности, описанные в Разделе 1, будут эффективнее (и менее обременительны для индустрии), если они будут скоординированы на международном уровне. Это будет означать, что компании смогут соблюдать совместимые стандарты, а регуляторы смогут учиться друг у друга тому, как лучше измерять и снижать эти риски. Правоохранительные и разведывательные органы также должны теснее сотрудничать в отслеживании и пресечении угроз злоупотребления, таких как попытки террористов создать биологическое оружие с помощью ИИ.
Совместное использование преимуществ ИИ. Торговую и регуляторную политику можно использовать для более быстрого распространения экономических выгод ИИ внутри коалиции, обмениваясь опытом того, как ускорять инновации. Координация подходов к полезному внедрению могла бы помочь донести блага ИИ до развивающихся стран. Например, гармонизация режимов медицинского одобрения могла бы привести к более быстрому и качественному тестированию и одобрению лекарств, созданных с помощью ИИ (как обсуждалось в Разделе 3 выше).
Взаимная оборона. Страны коалиции должны работать вместе, чтобы защищать друг друга с помощью ИИ и от ИИ противников. Коалиция должна коллективно обеспечивать достаточное производство систем киберзащиты на базе ИИ, дронов с ИИ, производства на базе ИИ, закрытых вычислительных мощностей для ИИ, исследований и разработок с помощью ИИ, а также обмен разведданными, собранными с помощью ИИ.
Отказ от репрессий с применением ИИ. Члены коалиции должны будут отвергнуть высокотехнологичную, ультрарепрессивную тиранию на базе ИИ, о которой я предупреждал в статье «Переходный возраст технологий», и должны иметь гарантии, подобные тем, которые я описал в Разделе 4 выше.
Макроэкономическое сотрудничество. Кризисы занятости или стабильности рабочих мест, как и любые другие экономические кризисы, могут быть заразными и пересекать границы. Поэтому страны имеют взаимный интерес в совместной работе по координации макроэкономической поддержки и стабилизационной политики, подобной описанной в Разделе 2, чтобы противодействовать любым последствиям в сфере занятости.

Цель должна состоять в том, чтобы сделать членство в коалиции максимально привлекательным, а издержки пребывания вне ее — очевидными. Коалиция будет опираться на координацию между суверенными государствами, при этом каждая нация сохранит полную власть над своими собственными делами. Она могла бы расширяться итеративно: начиная с идеологически близких демократий (которые естественным образом будут склонны к присоединению) и постепенно принимая страны, которые менее естественно разделяют эти идеи, но готовы соответствовать стандартам коалиции в обмен на колоссальные преимущества членства. В идеале к ней в конечном итоге должен был бы присоединиться весь мир. Но даже если это невозможно, создание коалиции ставит демократии в сильнейшую позицию для сдерживания и победы в конкуренции над режимами, которые остаются приверженными репрессиям.

Окно возможностей

Экспоненциальный прогресс ИИ создал срочность и темп изменений, к которым процесс разработки политики в обычных условиях совершенно не готов. Но он также создал уникальное окно возможностей. Сочетание явных и наглядных доказательств рисков ИИ, первого представления о потенциале ИИ как в создании экономической ценности, так и в экономических потрясениях, а также резкой общественной реакции против нерегулируемых подходов к ИИ создали ситуацию, в которой политики необычайно открыты к дальновидным действиям. Древобород и его лес пробуждаются.

В кругах ИИ-индустрии стало популярным рассматривать это как пиар-проблему: говорить, что ИИ нуждается в «лучшем маркетинге». Я полностью отвергаю такую постановку вопроса. Люди беспокоятся об ИИ потому, что совершенно верно осознают реальность его рисков, а не потому, что руководители ИИ-компаний были недостаточно оптимистичны в духе Панглосса. Я считаю своим долгом как лидера в сфере ИИ продолжать открыто говорить об этих рисках, а обеспокоенность общественности в ответ на эту прозрачность является признаком того, что демократическая подотчетность работает как надо. Главная задача состоит в том, чтобы сфокусировать эту обеспокоенность на конструктивных решениях и не позволить ей скатиться в бесформенный гнев и насилие.

Я с оптимизмом смотрю на поиск решений, потому что многие из этих вопросов — от борьбы с вытеснением рабочих мест до предварительного тестирования моделей перед выпуском, экспортного контроля над чипами и других связанных с ИИ политических вопросов, таких как энергопотребление, — выглядят разумными для представителей всего политического спектра. Существует устремленный в будущее, но реалистичный сценарий, в котором широкая надпартийная коалиция, движимая прямым признанием вызовов, брошенных ИИ, приведет к принятию разумных и дальновидных политических решений гораздо быстрее, чем обычно. Чем скорее мы это сделаем, тем скорее все мы сможем разделить невероятные блага ИИ.

⁂

Я хотел бы поблагодарить Аллана Дафо, Мариано-Флорентино Куэльяра, Ричарда Фонтейна, Бадди Шаха, Васа Нарасимхана, Мэтта Иглесиаса, Ника Бекстеда, Джейсона Мэтини, Брэда Карсона и многих сотрудников Anthropic за их комментарии и отзывы на черновики этого эссе.

Сноски

Я обсуждаю биологические риски и риски автономности, среди прочих, в своем эссе «Переходный возраст технологий». Институт Anthropic также опубликовал некоторые первичные внутренние данные в статье «Когда ИИ создает себя сам» о возможности рекурсивного самосовершенствования, то есть о моделях, которые автономно способны создавать более совершенные модели.
Этот феномен не просто теоретический: мы неоднократно наблюдали его в наших собственных добровольных системах управления, таких как наша Политика ответственного масштабирования (Responsible Scaling Policy). Если мы установим для себя фиксированный или жесткий список требований безопасности для будущих моделей ИИ, весьма вероятным исходом станет то, что требования, которые в итоге окажутся малозначимыми, поглотят 95% наших усилий по соблюдению правил, в то время как мы обнаружим, что некоторые из крупнейших источников риска вообще не были предусмотрены в нашем списке. Добровольные рамки можно изменять и адаптировать, но с законодательством сделать это гораздо сложнее. Мои попытки справиться с этой дилеммой можно увидеть в моих двух публичных письмах о SB 1047, калифорнийском законе 2024 года, который пытался решить проблему катастрофических рисков и к которому у меня были смешанные чувства по вышеописанным причинам.
Например, управлять по-настоящему серьезными биологическими рисками может быть гораздо сложнее, чем киберрисками, поскольку у атакующих есть сильное преимущество перед защищающимися, а масштабы катастрофы могут быть значительно больше.
См. эссе «Переходный возраст технологий» для более детального анализа того, почему логика, которая приводила к быстрому восстановлению рынка труда и отсутствию долгосрочного вытеснения рабочей силы в случае других технологий, может не применяться к ИИ; в частности, почему привычные адаптивные механизмы, такие как парадокс Джевонса или сравнительное преимущество, могут оказаться бессильными перед темпом развития этой технологии.
В качестве примера: люди по-прежнему посвящают жизнь шахматам, го или альпинизму и по-прежнему пользуются уважением за эти занятия, хотя машины могут делать все это лучше.
По сути, это дает людям дополнительный стимул перейти на новую работу и начать обучение для новой карьерной лестницы, даже если в краткосрочной перспективе это может быть болезненно, поскольку им выплачивают разницу между новой и старой зарплатой, если новая окажется ниже.
См. эссе «Переходный возраст технологий» для более подробного обсуждения этой темы.