Machines of Loving Grace // Машины любящей благодати [1]

Предисловие переводчика

Автор этой статьи — Дарио Амодеи, сооснователь и глава компании Anthropic (создатели Claude и Claude Code). Это компания уровня OpenAI, и на сегодняшний день (пока не вышли условные GPT-5.6 или GPT-6) её передовые модели во многих отношениях обходят самые крутые решения от OpenAI, пусть и не абсолютно во всем. При этом важно понимать, что Anthropic — это не какая-то изолированная компания, а очень глубоко вплетенная часть глобальной сети Бигтеха, тесно связанная с крупнейшими игроками рынка инвестициями, инфраструктурой и договоренностями.

P.S. Рыночная стоимость компании Anthropic оценивается в $965 миллиардов по результатам последних инвестиционных раундов перед планируемым выходом на биржу.

Оригинал: https://darioamodei.com/essay/machines-of-loving-grace

Как ИИ может изменить мир к лучшему

Октябрь 2024 года

Я много думаю и говорю о рисках, связанных с мощным ИИ (powerful AI). Компания Anthropic, генеральным директором которой я являюсь, проводит множество исследований о том, как снизить эти риски. Из-за этого люди иногда делают вывод, что я пессимист или «думер» (doomer), считающий, что ИИ принесет в основном зло и опасность. Я совершенно так не думаю. На самом деле, одна из главных причин моего внимания к рискам заключается в том, что это единственное, что стоит между нами и тем, что я вижу как фундаментально позитивное будущее. Я думаю, что большинство людей недооценивают, насколько радикально позитивными могут быть преимущества ИИ, точно так же, как, по моему мнению, большинство людей недооценивают, насколько серьезными могут быть риски.

В этом эссе я попытаюсь набросать, как могут выглядеть эти преимущества — как мог бы выглядеть мир с мощным ИИ, если все пойдет как надо. Конечно, никто не может знать будущее с какой-либо уверенностью или точностью, а последствия появления мощного ИИ, вероятно, будут еще более непредсказуемыми, чем прошлые технологические изменения, так что всё это неизбежно будет состоять из догадок. Но я стремлюсь хотя бы к обоснованным и полезным догадкам, которые передают дух того, что произойдет, даже если большинство деталей в итоге окажутся неверными. Я привожу множество подробностей главным образом потому, что считаю: конкретное видение приносит больше пользы для развития дискуссии, чем крайне осторожное и абстрактное.

Но сначала я хотел бы кратко объяснить, почему мы с Anthropic не так много говорили о преимуществах мощного ИИ и почему мы, вероятно, в целом продолжим много говорить о рисках. В частности, я сделал этот выбор из желания:

• Максимизировать рычаги влияния (Maximize leverage). Базовое развитие ИИ-технологий и многие (хотя и не все) их преимущества кажутся неизбежными (если только риски не пустят всё под откос) и фундаментально стимулируются мощными рыночными силами. С другой стороны, риски не предопределены, и наши действия могут существенно изменить вероятность их наступления.
• Избежать восприятия как пропаганды. ИИ-компании, рассказывающие обо всех удивительных благах ИИ, могут выглядеть как пропагандисты или как будто они пытаются отвлечь внимание от негативных сторон. Я также считаю, что из принципиальных соображений вредно для души тратить слишком много времени на «расхваливание собственного товара» (talking your book).
• Избежать мании величия (grandiosity). Меня часто отталкивает то, как многие публичные фигуры, занимающиеся рисками ИИ (не говоря уже о руководителях ИИ-компаний), говорят о мире после AGI (Artificial General Intelligence), будто их миссия — в одиночку воплотить его в жизнь, подобно пророку, ведущему свой народ к спасению. Я считаю опасным рассматривать компании как субъекты, в одностороннем порядке формирующие мир, и опасным рассматривать практические технологические цели по сути в религиозных терминах.
• Избежать «научно-фантастического» багажа. Хотя я считаю, что большинство людей недооценивают потенциал мощного ИИ, небольшое сообщество людей, которые всё-таки обсуждают радикальные сценарии будущего с ИИ, часто делает это в чрезмерно «научно-фантастическом» тоне (упоминая, например, загрузку сознания, освоение космоса или общую киберпанк-эстетику). Мне кажется, из-за этого люди воспринимают такие заявления менее серьезно и наделяют их неким ореолом нереальности. Чтобы было ясно: проблема не в том, возможны ли описываемые технологии или вероятны ли они (основная часть эссе обсуждает это в мельчайших деталях), а скорее в том, что сам «вайб» скрыто протаскивает кучу культурного багажа и невысказанных предположений о том, какое будущее желательно, как разрешатся различные социальные проблемы и т. д. В результате это часто читается как фантазия для узкой субкультуры, отталкивая при этом большинство людей.

И тем не менее, несмотря на все вышеупомянутые опасения, я действительно считаю важным обсуждать, как мог бы выглядеть хороший мир с мощным ИИ, стараясь изо всех сил избегать описанных выше ловушек. На самом деле, я думаю, что критически важно иметь по-настоящему вдохновляющее видение будущего, а не только план по тушению пожаров. Многие последствия появления мощного ИИ носят состязательный или опасный характер, но в конечном итоге должно быть нечто, за что мы боремся, некий результат с положительной суммой, при котором в выигрыше окажутся все, нечто, что сплотит людей, заставив их подняться над своими дрязгами и противостоять грядущим вызовам. Страх — это один из мотиваторов, но его недостаточно: нам также нужна надежда.

Список позитивных применений мощного ИИ невероятно длинный (и включает в себя робототехнику, производство, энергетику и многое другое), но я собираюсь сосредоточиться на небольшом количестве областей, которые, как мне кажется, обладают наибольшим потенциалом для прямого улучшения качества человеческой жизни. Пять категорий, которые вдохновляют меня больше всего, это:

1. Биология и физическое здоровье
2. Нейробиология и психическое здоровье
3. Экономическое развитие и бедность
4. Мир и управление
5. Работа и смысл

Мои прогнозы будут радикальными по большинству стандартов (за исключением научно-фантастических видений «сингулярности»[2]), но я говорю это совершенно искренне и всерьез. Все, что я говорю, может очень легко оказаться ошибочным (повторяя мою мысль выше), но я по крайней мере попытался обосновать свои взгляды на полуаналитической оценке того, насколько может ускориться прогресс в различных областях и что это может означать на практике. Мне повезло иметь профессиональный опыт в биологии и нейробиологии, и я являюсь осведомленным любителем в области экономического развития, но я уверен, что во многом ошибусь. Во время написания этого эссе я осознал одну вещь: было бы ценно собрать группу профильных экспертов (в биологии, экономике, международных отношениях и других областях), чтобы написать гораздо более качественную и обоснованную версию того, что я представил здесь. Вероятно, лучше всего рассматривать мои усилия здесь как стартовый промпт (starting prompt) для этой группы.

Базовые допущения и концептуальная рамка

Чтобы сделать всё это эссе более точным и обоснованным, полезно четко определить, что мы подразумеваем под мощным ИИ (т. е. порог, с которого начинается отсчет 5–10 лет), а также изложить концептуальную рамку (framework) для осмысления последствий такого ИИ, когда он появится.

То, как будет выглядеть мощный ИИ (мне не нравится термин AGI)[3], и когда (или если вообще) он появится — огромная тема сама по себе. Я уже обсуждал ее публично и мог бы написать об этом совершенно отдельное эссе (вероятно, когда-нибудь так и сделаю). Очевидно, что многие люди скептически относятся к скорому созданию мощного ИИ, а некоторые сомневаются, что его вообще когда-либо создадут. Я думаю, что он может появиться уже в 2026 году, хотя существуют варианты, при которых это займет гораздо больше времени. Но для целей этого эссе я хотел бы отложить эти вопросы в сторону, предположить, что это произойдет довольно скоро, и сосредоточиться на том, что будет в течение 5–10 лет после этого. Я также хочу взять за основу определенное понимание того, как будет выглядеть такая система, каковы ее возможности и как она взаимодействует с миром, хотя здесь и есть пространство для разногласий.

Под мощным ИИ я подразумеваю ИИ-модель — вероятно, похожую по форме на сегодняшние LLM, хотя она может быть основана на другой архитектуре, может включать в себя несколько взаимодействующих моделей и обучаться иначе — обладающую следующими свойствами:

• С точки зрения чистого интеллекта[4], она умнее нобелевского лауреата в большинстве соответствующих областей — биологии, программировании, математике, инженерии, писательстве и т. д. Это означает, что она может доказывать нерешенные математические теоремы, писать превосходные романы, писать сложные кодовые базы с нуля и т. п.
• Помимо того, что это просто «умная штука, с которой вы разговариваете», она обладает всеми «интерфейсами», доступными человеку, работающему виртуально, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ в интернет. Она может осуществлять любые действия, коммуникации или удаленные операции, которые позволяют эти интерфейсы, в том числе: выполнять действия в интернете, принимать указания от людей или отдавать их им, заказывать материалы, руководить экспериментами, смотреть видео, создавать видео и так далее. Все эти задачи она выполняет с мастерством, которое, опять же, превосходит мастерство самых способных людей в мире.
• Она не просто пассивно отвечает на вопросы; вместо этого ей можно поручить задачи, на выполнение которых уходят часы, дни или недели, и она будет выполнять их автономно, как это сделал бы умный сотрудник, запрашивая разъяснения по мере необходимости.
• У нее нет физического воплощения (кроме жизни на экране компьютера), но она может управлять существующими физическими инструментами, роботами или лабораторным оборудованием через компьютер; в теории она даже могла бы проектировать роботов или оборудование для собственного использования.
• Ресурсы, затраченные на обучение модели, могут быть перепрофилированы для запуска миллионов её экземпляров (это соответствует прогнозируемым размерам кластеров примерно к 2027 году), а сама модель способна усваивать информацию и генерировать действия со скоростью, примерно в 10–100 раз превышающей человеческую[5]. Однако она может быть ограничена временем отклика физического мира или программного обеспечения, с которым она взаимодействует.
• Каждая из этих миллионов копий может действовать независимо, выполняя не связанные между собой задачи, или, при необходимости, все они могут работать вместе так же, как сотрудничают люди, возможно, с различными субпопуляциями, дообученными (fine-tuned) для особенно хорошего выполнения конкретных задач.

Мы могли бы подытожить это как «страна гениев в дата-центре».

Очевидно, что такая сущность была бы способна решать очень сложные проблемы, и очень быстро, но не так тривиально определить, насколько именно быстро. Обе «экстремальные» позиции кажутся мне ошибочными. Во-первых, можно подумать, что мир мгновенно преобразится в масштабе секунд или дней («Сингулярность»), поскольку превосходящий интеллект будет улучшать сам себя и почти мгновенно решит каждую возможную научную, инженерную и операционную задачу. Проблема с этой точкой зрения в том, что существуют реальные физические и практические ограничения, например, при создании аппаратного обеспечения (hardware) или проведении биологических экспериментов. Даже новая страна гениев столкнулась бы с этими ограничениями. Интеллект может быть очень могущественным, но это не волшебная пыльца.

Во-вторых, и наоборот, можно считать, что технологический прогресс уже достиг насыщения или его скорость ограничена данными реального мира или социальными факторами, и что превосходящий человека интеллект мало что изменит[6]. Это кажется мне столь же неправдоподобным — я могу назвать сотни научных или даже социальных проблем, где большая группа по-настоящему умных людей радикально ускорила бы прогресс, особенно если они не ограничены одним лишь анализом и могут заставить вещи происходить в реальном мире (а наша гипотетическая страна гениев может это делать, в том числе направляя команды людей или помогая им).

Я думаю, что истина, скорее всего, представляет собой некую беспорядочную смесь этих двух крайних картин, нечто, что варьируется в зависимости от задачи и области, и обладает множеством тончайших деталей. Я полагаю, что нам нужны новые концептуальные рамки, чтобы продуктивно осмыслить эти детали.

Экономисты часто говорят о «факторах производства»: таких вещах, как труд, земля и капитал. Фраза «предельная доходность (marginal returns) труда/земли/капитала» отражает идею о том, что в конкретной ситуации определенный фактор может быть, а может и не быть ограничивающим — например, военно-воздушным силам нужны и самолеты, и пилоты, и наем большего числа пилотов мало чем поможет, если у вас закончились самолеты. Я считаю, что в эпоху ИИ мы должны говорить о предельной доходности интеллекта[7] и пытаться понять, каковы другие факторы, которые дополняют интеллект и становятся ограничивающими, когда интеллект очень высок. Мы не привыкли так думать — задаваться вопросом: «Насколько более высокий интеллект поможет справиться с этой задачей и в какие сроки?» — но это кажется правильным способом концептуализации мира с очень мощным ИИ.

Мое предположение о списке факторов, ограничивающих интеллект или дополняющих его, включает:

• Скорость внешнего мира. Интеллектуальным агентам необходимо интерактивно действовать в мире, чтобы достигать результатов, а также обучаться[8]. Но мир движется лишь с определенной скоростью. Клетки и животные функционируют с фиксированной скоростью, поэтому эксперименты над ними занимают определенное время, которое может быть неснижаемым. То же самое касается аппаратного обеспечения, материаловедения, всего, что связано с общением с людьми, и даже нашей существующей программной инфраструктуры. Более того, в науке часто требуется серия экспериментов, где каждый следующий опирается на результаты предыдущего. Все это означает, что скорость завершения крупного проекта — например, разработки лекарства от рака — может иметь неснижаемый минимум, который невозможно уменьшить, даже если интеллект продолжит расти.
• Потребность в данных. Иногда не хватает сырых данных, и в их отсутствие больший интеллект не помогает. Сегодняшние физики, изучающие элементарные частицы, очень изобретательны и разработали широкий спектр теорий, но им не хватает данных, чтобы выбрать между ними, потому что данные ускорителей частиц настолько ограничены. Неочевидно, что они справились бы кардинально лучше, будь они сверхразумными — разве что, возможно, за счет ускорения строительства более крупного ускорителя.
• Внутренняя сложность (Intrinsic complexity). Некоторые вещи по своей природе непредсказуемы или хаотичны, и даже самый мощный ИИ не сможет предсказать или распутать их существенно лучше, чем человек или компьютер сегодня. Например, даже невероятно мощный ИИ смог бы лишь незначительно дальше заглянуть в будущее хаотической системы (такой как задача трех тел) в общем случае[9], по сравнению с современными людьми и компьютерами.
• Ограничения со стороны людей. Многие вещи невозможно сделать, не нарушив законы, не причинив вреда людям или не устроив хаос в обществе. Согласованный (aligned) ИИ не захотел бы делать ничего подобного (а если у нас несогласованный ИИ, то мы снова возвращаемся к разговору о рисках). Многие человеческие общественные структуры неэффективны или даже активно вредны, но их трудно изменить, соблюдая при этом такие ограничения, как юридические требования к клиническим испытаниям, готовность людей менять свои привычки или поведение правительств. Примеры достижений, которые хорошо работают в техническом смысле, но влияние которых было существенно снижено из-за регулирования или неуместных страхов, включают ядерную энергетику, сверхзвуковые полеты и даже лифты.
• Физические законы. Это более жесткая версия первого пункта. Существуют определенные физические законы, которые кажутся нерушимыми. Невозможно двигаться быстрее света. Размешанный пудинг нельзя «размешать обратно». Чипы могут вмещать лишь определенное количество транзисторов на квадратный сантиметр, прежде чем они станут ненадежными. Вычисления требуют определенного минимума энергии на стертый бит, что ограничивает плотность вычислений в мире.

Существует еще одно различие, основанное на временных масштабах (timescales). То, что является жесткими ограничениями в краткосрочной перспективе, может стать более податливым для интеллекта в долгосрочной. Например, интеллект можно использовать для разработки новой экспериментальной парадигмы, позволяющей нам изучать in vitro то, что раньше требовало экспериментов на живых животных, или для создания инструментов, необходимых для сбора новых данных (например, более крупного ускорителя частиц), или (в рамках этических норм) для поиска путей обхода человеческих ограничений (например, помощь в улучшении системы клинических испытаний, помощь в создании новых юрисдикций с меньшей бюрократией для клинических испытаний или улучшение самой науки, чтобы сделать клинические испытания на людях менее необходимыми или более дешевыми).

Таким образом, мы должны представить себе картину, в которой интеллект изначально сильно ограничен другими факторами производства (упирается в «бутылочное горлышко»), но со временем сам интеллект всё чаще обходит эти факторы, даже если они никогда не исчезнут полностью (а некоторые вещи, вроде физических законов, абсолютны)[10]. Ключевой вопрос заключается в том, насколько быстро всё это произойдет и в каком порядке.

Учитывая описанную выше концептуальную рамку, я попытаюсь ответить на этот вопрос для пяти областей, упомянутых во введении.

1. Биология и здоровье

Биология — это, вероятно, та область, где научный прогресс обладает наибольшим потенциалом для прямого и однозначного улучшения качества человеческой жизни. В прошлом веке были окончательно побеждены некоторые из самых древних человеческих недугов (такие как оспа), но многие другие все еще остаются с нами, и победа над ними стала бы огромным гуманитарным достижением. Помимо простого излечения болезней, биологическая наука в принципе может улучшить базовое качество человеческого здоровья — за счет увеличения продолжительности здоровой жизни, расширения контроля и свободы над нашими собственными биологическими процессами и решения повседневных проблем, которые мы сейчас считаем неизменной частью человеческого существования.

В терминах «ограничивающих факторов» из предыдущего раздела, главные вызовы при непосредственном применении интеллекта к биологии — это данные, скорость физического мира и внутренняя сложность (на самом деле, все три фактора связаны друг с другом). Человеческие ограничения также играют свою роль на более поздних этапах, когда дело доходит до клинических испытаний. Давайте разберем их по порядку.

Эксперименты на клетках, животных и даже химические процессы ограничены скоростью физического мира: многие биологические протоколы включают культивирование бактерий или других клеток или просто ожидание завершения химических реакций, и иногда это может занимать дни или даже недели, без какого-либо очевидного способа ускорить процесс. Эксперименты на животных могут длиться месяцами (или больше), а испытания на людях часто занимают годы (или даже десятилетия в случае исследований долгосрочных исходов). Отчасти в связи с этим часто возникает нехватка данных — не столько в их количестве, сколько в качестве: всегда существует дефицит четких, однозначных данных, которые изолировали бы интересующий нас биологический эффект от остальных 10 000 сопутствующих факторов (конфаундеров), или которые позволяли бы каузально вмешаться в заданный процесс, или напрямую измерить какой-либо эффект (вместо того, чтобы делать выводы о его последствиях каким-то косвенным или зашумленным способом). Даже массивные количественные молекулярные данные, такие как данные протеомики, которые я собирал во время работы над методами масс-спектрометрии, зашумлены и упускают много важных деталей (в каких типах клеток находились эти белки? В какой части клетки? На какой фазе клеточного цикла?).

Отчасти ответственность за эти проблемы с данными несет внутренняя сложность: если вы когда-либо видели диаграмму, показывающую биохимию метаболизма человека, вы знаете, что очень трудно изолировать влияние любой отдельной части этой сложной системы, и еще труднее — точно и предсказуемо вмешаться в нее. И, наконец, помимо чисто физического времени, необходимого для проведения эксперимента на людях, реальные клинические испытания сопряжены с огромным количеством бюрократии и нормативных требований, которые (по мнению многих людей, включая меня) добавляют излишние задержки и тормозят прогресс.

Учитывая всё это, многие биологи давно скептически относятся к ценности ИИ и «больших данных» (big data) в биологии вообще. Исторически сложилось так, что математики, специалисты по компьютерным наукам и физики, которые применяли свои навыки в биологии за последние 30 лет, добились немалых успехов, но так и не оказали того по-настоящему революционного влияния, на которое изначально возлагались надежды. Частично этот скептицизм был развеян крупными и революционными прорывами вроде AlphaFold (за который его создатели только что заслуженно получили Нобелевскую премию по химии) и AlphaProteo[11], но всё еще сохраняется ощущение, что ИИ полезен (и будет полезен) лишь в ограниченном ряде обстоятельств. Распространенная формулировка звучит так: «ИИ может лучше анализировать ваши данные, но он не может производить больше данных или улучшать их качество. Мусор на входе — мусор на выходе» (Garbage in, garbage out).

Но я думаю, что такая пессимистичная точка зрения рассматривает ИИ под неверным углом. Если наша основная гипотеза о развитии ИИ верна, то правильно думать об ИИ не как о методе анализа данных, а как о виртуальном биологе, который выполняет все те же задачи, что и биологи-люди, включая планирование и проведение экспериментов в реальном мире (управляя лабораторными роботами или просто говоря людям, какие эксперименты нужно провести — как главный исследователь (Principal Investigator) руководил бы своими аспирантами), изобретение новых биологических методов или техник измерений и так далее. Именно за счет ускорения всего исследовательского процесса в целом ИИ может по-настоящему ускорить биологию. Я хочу повторить это, потому что это самое распространенное заблуждение, возникающее, когда я говорю о способности ИИ трансформировать биологию: я не говорю об ИИ лишь как об инструменте для анализа данных. В соответствии с определением мощного ИИ, данным в начале этого эссе, я говорю об использовании ИИ для выполнения, направления и улучшения практически всего, что делают биологи.

Если говорить более конкретно о том, откуда, по моему мнению, следует ждать ускорения, то поразительно большая доля прогресса в биологии стала результатом поистине крошечного числа открытий, часто связанных с созданием широких измерительных инструментов или методов[12], которые позволяют осуществлять точное, но обобщенное или программируемое вмешательство в биологические системы. Таких крупных открытий происходит, возможно, около одного в год, и в совокупности они, вероятно, обеспечивают >50% прогресса в биологии. Эти открытия настолько мощные именно потому, что они прорываются сквозь внутреннюю сложность и ограничения данных, напрямую увеличивая наше понимание биологических процессов и контроль над ними. Несколько открытий в десятилетие обеспечили основную часть нашего фундаментального научного понимания биологии и легли в основу многих из самых мощных медицинских методов лечения.

Некоторые примеры включают в себя:

• CRISPR: метод, позволяющий редактировать любой ген в живых организмах (замена любой произвольной последовательности генов любой другой произвольной последовательностью). С момента разработки оригинального метода происходили постоянные улучшения для нацеливания на специфические типы клеток, повышения точности и сокращения ошибочных редакций генов — всё это необходимо для безопасного использования на людях.
• Различные виды микроскопии для наблюдения за тем, что происходит на микроскопическом уровне: передовые световые микроскопы (с различными флуоресцентными методами, специальной оптикой и т. д.), электронные микроскопы, атомно-силовые микроскопы и т. д.
• Секвенирование и синтез генома, стоимость которых упала на несколько порядков за последние пару десятилетий.
• Оптогенетические методы, которые позволяют заставить нейрон сработать, направив на него свет.
• мРНК-вакцины, которые в принципе позволяют разработать вакцину против чего угодно, а затем быстро её адаптировать (мРНК-вакцины, конечно же, прославились во время COVID).
• Клеточная терапия, такая как CAR-T, позволяющая извлекать иммунные клетки из организма и «перепрограммировать» их для атаки на всё что угодно (в теории).
• Концептуальные прозрения, такие как микробная теория болезней или осознание связи между иммунной системой и раком[13].

Я утруждаю себя перечислением всех этих технологий, потому что хочу сделать важнейшее заявление о них: Я думаю, что скорость их открытия можно было бы увеличить в 10 и более раз, если бы у нас было гораздо больше талантливых и креативных исследователей. Или, выражаясь иначе, Я считаю, что отдача от интеллекта (returns to intelligence) для этих открытий очень высока, и что всё остальное в биологии и медицине в основном следует из них.

Почему я так думаю? Из-за ответов на некоторые вопросы, которые мы должны взять в привычку задавать, когда пытаемся определить «отдачу от интеллекта». Во-первых, эти открытия обычно делаются крошечным числом исследователей, часто одними и теми же людьми снова и снова, что указывает на фактор мастерства, а не случайного поиска (последнее предполагало бы, что ограничивающим фактором являются длительные эксперименты). Во-вторых, их часто «могли бы совершить» на годы раньше: например, CRISPR был естественно встречающимся компонентом иммунной системы бактерий, известным еще с 1980-х годов, но прошло еще 25 лет, прежде чем люди поняли, что его можно перепрофилировать для универсального редактирования генов. Кроме того, они часто задерживаются на многие годы из-за отсутствия поддержки перспективных направлений со стороны научного сообщества (см. этот профайл об изобретателе мРНК-вакцин; таких историй масса). В-третьих, успешные проекты часто бывают малобюджетными и импровизированными (scrappy) или первоначально воспринимаются как нечто побочное, во что люди поначалу не верили, а не результатами массированных и щедро финансируемых усилий. Это говорит о том, что открытия стимулирует не просто огромная концентрация ресурсов, а изобретательность.

Наконец, хотя некоторые из этих открытий имеют «последовательную зависимость» (serial dependence — вам нужно сначала совершить открытие A, чтобы получить инструменты или знания для открытия B), что опять же может привести к экспериментальным задержкам, многие из них, возможно, даже большинство, независимы друг от друга, а значит, над многими можно работать параллельно. Оба эти факта, а также мой общий опыт работы биологом убедительно говорят мне о том, что существуют сотни подобных открытий, которые только и ждут, чтобы их сделали, будь ученые умнее и успешнее в установлении связей между огромными массивами биологических знаний человечества (опять же, вспомните пример с CRISPR). Успех AlphaFold/AlphaProteo в решении важных проблем гораздо эффективнее людей, несмотря на десятилетия тщательно продуманного физического моделирования, служит принципиальным доказательством (хотя и с узким инструментом в узкой области), которое должно указывать нам путь вперед.

Таким образом, я предполагаю, что мощный ИИ мог бы как минимум в 10 раз увеличить скорость этих открытий, обеспечив нам следующие 50–100 лет биологического прогресса всего за 5–10 лет.[14] Почему не в 100 раз? Возможно, это и осуществимо, но здесь вступают в силу серийная зависимость и время, необходимое на эксперименты: чтобы уместить 100 лет прогресса в 1 год, нужно, чтобы множество вещей сработало идеально с первого раза, включая эксперименты на животных и такие вещи, как проектирование микроскопов или строительство дорогих лабораторий. Я на самом деле открыт к (возможно, абсурдно звучащей) идее о том, что мы могли бы получить 1000 лет прогресса за 5–10 лет, но очень скептически отношусь к тому, что мы можем уместить 100 лет в 1 год. Иными словами, я считаю, что существует неизбежная постоянная задержка: эксперименты и проектирование аппаратного обеспечения имеют определенную «латентность» и должны пройти «неснижаемое» количество итераций, чтобы мы могли узнать вещи, которые нельзя вывести логическим путем. Но сверх этого возможен массивный параллелизм[15].

Что насчет клинических испытаний? Хотя с ними связано много бюрократии и замедлений, правда в том, что большая часть (хотя далеко не вся!) их медлительности в конечном итоге проистекает из необходимости строго оценивать лекарства, которые едва работают или работают неоднозначно. К сожалению, сегодня это справедливо для большинства методов лечения: в среднем препарат от рака увеличивает выживаемость на несколько месяцев и при этом имеет серьезные побочные эффекты, которые необходимо тщательно измерять (похожая история с препаратами от болезни Альцгеймера). Это приводит к огромным исследованиям (для достижения статистической мощности) и сложным компромиссам, в которых регулирующие органы обычно не сильны — опять же из-за бюрократии и хитросплетения конкурирующих интересов.

Когда что-то работает действительно хорошо, дело идет гораздо быстрее: существует ускоренная процедура одобрения, и само одобрение проходит намного легче, когда размеры эффекта велики. мРНК-вакцины против COVID были одобрены за 9 месяцев — гораздо быстрее обычных темпов. Тем не менее, даже в этих условиях клинические испытания всё еще слишком медленны — мРНК-вакцины, возможно, должны были быть одобрены примерно за 2 месяца. Но такие задержки (~1 год на препарат от начала до конца) в сочетании с масштабным распараллеливанием и необходимостью небольшого, но не чрезмерного количества итераций («несколько попыток»), очень хорошо совместимы с радикальной трансформацией в течение 5–10 лет. В еще более оптимистичном сценарии, возможно, биологическая наука с поддержкой ИИ снизит потребность в итерациях во время клинических испытаний, разработав лучшие экспериментальные модели на животных и клетках (или даже симуляции), которые будут точнее предсказывать, что произойдет с людьми. Это будет особенно важно при разработке лекарств против старения — процесса, который растягивается на десятилетия и требует более быстрого цикла итераций.

Наконец, в контексте клинических испытаний и социальных барьеров, стоит явно отметить, что в некоторых аспектах биомедицинские инновации имеют необычайно сильный послужной список успешного внедрения в жизнь, в отличие от некоторых других технологий[16]. Как упоминалось во введении, многие технологии тормозятся социальными факторами, несмотря на их хорошую техническую работу. Это могло бы подтолкнуть к пессимистичному взгляду на то, чего может достичь ИИ. Но биомедицина уникальна тем, что, хотя процесс разработки лекарств и чрезмерно громоздкий, однажды разработанные препараты, как правило, успешно применяются на практике.

Резюмируя вышесказанное, мой базовый прогноз заключается в том, что биология и медицина на базе ИИ позволят нам сжать тот прогресс, которого биологи-люди достигли бы в течение следующих 50–100 лет, в 5–10 лет. Я буду называть это «сжатым 21-м веком»: это идея о том, что после создания мощного ИИ мы за несколько лет совершим весь тот прогресс в биологии и медицине, который совершили бы за весь 21-й век.

Хотя предсказать, на что будет способен мощный ИИ через несколько лет, по-прежнему сложно и спекулятивно, вопрос «что смогли бы сделать люди без помощи ИИ в ближайшие 100 лет?» добавляет конкретики. Если просто взглянуть на то, чего мы достигли в 20-м веке, экстраполировать результаты первых двух десятилетий 21-го века или задаться вопросом, что бы нам дали «10 CRISPR-ов и 50 CAR-T», всё это предлагает практичные и обоснованные способы оценить общий уровень прогресса, которого мы могли бы ожидать от мощного ИИ.

Ниже я попытался составить список того, чего мы можем ожидать. Он не основан на какой-либо строгой методологии и почти наверняка окажется неверным в деталях, но он призван передать общий уровень радикальности, который нам следует ожидать:

• Надежная профилактика и лечение почти всех[17] природных инфекционных заболеваний. Учитывая колоссальные успехи в борьбе с инфекционными заболеваниями в 20-м веке, не так уж радикально представить, что мы могли бы более или менее «закончить начатое» в сжатом 21-м. мРНК-вакцины и аналогичные технологии уже указывают путь к «вакцинам от чего угодно». Будут ли инфекционные заболевания полностью искоренены в мире (а не только в отдельных местах), зависит от вопросов бедности и неравенства, которые обсуждаются в Разделе 3.
• Устранение большинства видов рака. Уровень смертности от рака снижался примерно на 2% в год в последние несколько десятилетий; таким образом, при нынешних темпах человеческой науки мы находимся на пути к искоренению большинства видов рака в 21-м веке. Некоторые подтипы уже в значительной степени излечены (например, некоторые типы лейкемии с помощью CAR-T терапии), и я, возможно, еще больше воодушевлен разработкой высокоселективных препаратов, которые нацеливаются на рак на стадии его зарождения и предотвращают его рост в принципе. ИИ также сделает возможными режимы лечения, тонко адаптированные под индивидуальный геном конкретной опухоли — это возможно уже сегодня, но требует огромных затрат времени и человеческого опыта; ИИ же позволит масштабировать этот процесс. Снижение смертности и заболеваемости на 95% и более кажется вполне возможным. В то же время, рак чрезвычайно разнообразен и адаптивен, и, вероятно, это самое сложное заболевание для полного уничтожения. Не будет удивительным, если сохранится целый ряд редких, трудно поддающихся лечению злокачественных новообразований.
• Очень эффективная профилактика и лечение генетических заболеваний. Значительно улучшенный скрининг эмбрионов, вероятно, позволит предотвращать большинство генетических заболеваний, а какой-нибудь более безопасный и надежный потомок CRISPR сможет вылечить большинство генетических болезней у уже живущих людей. Впрочем, системные недуги, поражающие большую часть клеток организма, могут стать последним бастионом сопротивления.
• Профилактика болезни Альцгеймера. Нам было очень трудно понять причины болезни Альцгеймера (она как-то связана с бета-амилоидным белком, но реальные детали, судя по всему, очень сложны). Кажется, что это именно тот тип проблемы, который можно решить с помощью лучших измерительных инструментов, изолирующих биологические эффекты; поэтому я с оптимизмом смотрю на способность ИИ решить её. Существует большая вероятность того, что в конечном итоге это заболевание можно будет предотвращать с помощью относительно простых вмешательств, как только мы по-настоящему поймем, что именно происходит. Тем не менее, повреждения, вызванные уже развившейся болезнью Альцгеймера, обратить вспять может быть очень трудно.
• Улучшенное лечение большинства других недугов. Это собирательная категория для других недугов, включая диабет, ожирение, сердечно-сосудистые заболевания, аутоиммунные заболевания и многое другое. Большинство из них кажутся «более простыми» для решения, чем рак и болезнь Альцгеймера, и во многих случаях смертность от них уже стремительно падает. Например, смертность от сердечно-сосудистых заболеваний уже снизилась более чем на 50%, а такие простые вмешательства, как применение агонистов ГПП-1 (GLP-1), уже привели к огромному прогрессу в борьбе с ожирением и диабетом.
• Биологическая свобода. Последние 70 лет ознаменовались достижениями в области контроля рождаемости, лечения бесплодия, управления весом и многого другого. Но я подозреваю, что биология, ускоренная ИИ, значительно расширит горизонты возможного: вес, внешний вид, репродукция и другие биологические процессы окажутся под полным контролем человека. Мы будем объединять эти вещи под понятием биологической свободы: идеей о том, что каждый должен иметь возможность выбирать, кем он хочет стать, и проживать свою жизнь так, как ему больше нравится. Конечно, здесь возникнут важные вопросы относительно глобального равенства доступа; о них читайте в Разделе 3.
• Удвоение продолжительности человеческой жизни[18]. Это может показаться радикальным, но ожидаемая продолжительность жизни увеличилась почти в 2 раза в 20-м веке (с ~40 лет до ~75), поэтому это «в тренде» с тем, что «сжатый 21-й век» удвоит ее снова до 150 лет. Очевидно, что вмешательства, направленные на замедление самого процесса старения, будут отличаться от тех, которые требовались в прошлом веке для предотвращения (в основном детских) преждевременных смертей от болезней, но масштаб изменений не является беспрецедентным[19]. Если говорить конкретнее, уже существуют препараты, увеличивающие максимальную продолжительность жизни крыс на 25–50% с ограниченными негативными последствиями. А некоторые животные (например, некоторые виды черепах) уже живут по 200 лет, поэтому люди явно не уперлись в какой-то теоретический верхний предел. На мой взгляд, самое важное, что необходимо — это надежные, не подверженные закону Гудхарта (non-Goodhart-able) биомаркеры старения человека, так как это позволит проводить быстрые итерации в экспериментах и клинических испытаниях. Как только продолжительность жизни человека достигнет 150 лет, мы, возможно, сможем достичь «скорости убегания от смерти» (escape velocity), выиграв достаточно времени, чтобы большинство живущих сегодня смогли жить так долго, как они захотят, хотя, конечно, нет никаких гарантий, что это биологически возможно.

Стоит взглянуть на этот список и задуматься о том, насколько другим станет мир, если всё это будет достигнуто через 7–12 лет (что соответствовало бы агрессивным срокам появления ИИ). Само собой разумеется, это было бы невообразимым гуманитарным триумфом, единовременным уничтожением большинства бедствий, преследовавших человечество тысячелетиями. Многие мои друзья и коллеги сейчас воспитывают детей, и когда эти дети вырастут, я надеюсь, что любое упоминание о болезнях будет звучать для них так же, как цинга, оспа или бубонная чума звучат для нас. Это поколение также получит преимущества от возросшей биологической свободы и возможностей для самовыражения, и, если повезет, сможет жить так долго, как само пожелает.

Трудно переоценить, насколько удивительными станут эти изменения для всех, кроме небольшого сообщества людей, ожидавших появления мощного ИИ. Например, сегодня в США тысячи экономистов и экспертов по политике спорят о том, как спасти Социальное обеспечение (Social Security) и программу Medicare от банкротства, и, в более широком смысле, как сдержать рост расходов на здравоохранение (которые в основном приходятся на людей старше 70 лет и особенно на пациентов с неизлечимыми заболеваниями, такими как рак). Ситуация для этих программ, скорее всего, радикально улучшится, если всё описанное сбудется[20], поскольку соотношение работающего населения к пенсионерам резко изменится. Без сомнения, эти проблемы сменятся другими, такими как необходимость обеспечить повсеместный доступ к новым технологиям, но стоит задуматься о том, насколько изменится мир, даже если биология станет единственной областью, успешно ускоренной искусственным интеллектом.

2. Нейробиология и разум

В предыдущем разделе я сосредоточился на физических заболеваниях и биологии в целом, и не затронул нейробиологию или психическое здоровье. Но нейробиология — это субдисциплина биологии, а психическое здоровье так же важно, как и физическое. На самом деле, психическое здоровье влияет на благополучие человека даже более непосредственно, чем физическое. Сотни миллионов людей имеют очень низкое качество жизни из-за таких проблем, как зависимости, депрессия, шизофрения, низкофункциональный аутизм, ПТСР (PTSD), психопатия[21] или интеллектуальные нарушения. Еще миллиарды людей борются с повседневными проблемами, которые часто можно интерпретировать как гораздо более легкие версии одного из этих тяжелых клинических расстройств. И, как и в случае с биологией в целом, возможно, удастся выйти за рамки простого решения проблем и перейти к улучшению базового качества человеческого опыта.

Базовая концептуальная рамка, которую я изложил для биологии, в равной степени применима и к нейробиологии. Эту область двигает вперед небольшое число открытий, часто связанных с инструментами для измерений или точного вмешательства: в приведенном выше списке оптогенетика была открытием именно в нейробиологии, а из недавних — методы CLARITY и экспансионная микроскопия (expansion microscopy) являются достижениями в том же духе, в дополнение ко многим общим методам клеточной биологии, которые напрямую переносятся в нейробиологию. Я думаю, что скорость этих достижений будет аналогичным образом ускорена ИИ, и поэтому принцип «100 лет прогресса за 5–10 лет» применим к нейробиологии так же, как к биологии, и по тем же причинам. Как и в биологии, прогресс в нейробиологии 20-го века был колоссальным — например, до 1950-х годов мы даже не понимали, как или почему срабатывают нейроны. Таким образом, кажется разумным ожидать, что ускоренная ИИ нейробиология обеспечит стремительный прогресс в течение нескольких лет.

К этой базовой картине следует добавить еще одну вещь: кое-что из того, что мы узнали (или узнаем) о самом ИИ за последние несколько лет, вероятно, поможет продвинуть нейробиологию вперед, даже если ею продолжат заниматься исключительно люди. Интерпретируемость (Interpretability) — очевидный пример: хотя биологические нейроны внешне работают совершенно иначе, чем искусственные (они общаются с помощью спайков (spikes) и часто за счет частоты их генерации, так что здесь присутствует элемент времени, которого нет в искусственных нейронах, а куча деталей, связанных с физиологией клеток и нейромедиаторами, существенно меняет их работу), базовый вопрос о том, «как распределенные, обученные сети из простых блоков, выполняющих комбинированные линейные/нелинейные операции, работают вместе для выполнения важных вычислений», остается тем же. И я сильно подозреваю, что детали коммуникации отдельных нейронов будут абстрагированы в большинстве интересных вопросов о вычислениях и нейронных контурах[22]. В качестве лишь одного примера этого: вычислительный механизм, открытый исследователями интерпретируемости в системах ИИ, был недавно заново открыт в мозге мышей.

Гораздо проще проводить эксперименты на искусственных нейронных сетях, чем на настоящих (последнее часто требует вскрытия мозга животных), поэтому интерпретируемость вполне может стать инструментом для улучшения нашего понимания нейробиологии. Более того, мощные ИИ, вероятно, и сами смогут разрабатывать и применять этот инструмент лучше, чем это делают люди.

Однако помимо просто интерпретируемости, то, что мы узнали от ИИ о том, как обучаются интеллектуальные системы, должно произвести (хотя я не уверен, что уже произвело) революцию в нейробиологии. Когда я работал в нейробиологии, многие люди сосредотачивались на том, что я сейчас счел бы неправильными вопросами об обучении, потому что концепции гипотезы масштабирования (scaling hypothesis) / горького урока (bitter lesson) еще не существовало. Идея о том, что простая целевая функция (objective function) плюс большое количество данных могут привести к невероятно сложному поведению, делает более интересным понимание самих целевых функций и архитектурных смещений (architectural biases), и менее интересным — понимание деталей эмерджентных (emergent) вычислений. Я не следил пристально за этой областью в последние годы, но у меня есть смутное ощущение, что вычислительные нейробиологи до сих пор не усвоили этот урок до конца. Мое отношение к гипотезе масштабирования всегда было таким: «ага, это высокоуровневое объяснение того, как работает интеллект и как он так легко эволюционировал», но я не думаю, что таково мнение среднестатистического нейробиолога — отчасти потому, что гипотеза масштабирования как «секрет интеллекта» не до конца признана даже в сфере ИИ.

Я думаю, что нейробиологам следовало бы попытаться объединить это базовое озарение с особенностями человеческого мозга (биофизическими ограничениями, эволюционной историей, топологией, деталями моторных и сенсорных входов/выходов), чтобы попытаться разгадать некоторые из ключевых загадок нейробиологии. Некоторые, вероятно, так и делают, но я подозреваю, что этого все еще недостаточно, и что ИИ-нейробиологи смогут более эффективно использовать этот ракурс для ускорения прогресса.

Я ожидаю, что ИИ ускорит прогресс в нейробиологии по четырем различным направлениям, которые, хочется надеяться, смогут работать вместе для лечения психических заболеваний и улучшения функций мозга:

• Традиционная молекулярная биология, химия и генетика. По сути, это та же история, что и с биологией в целом в Разделе 1, и ИИ, вероятно, сможет ускорить её с помощью тех же механизмов. Существует множество препаратов, модулирующих нейромедиаторы для изменения работы мозга, влияния на бдительность или восприятие, изменения настроения и т. д., и ИИ может помочь нам изобрести еще больше подобных лекарств. ИИ, вероятно, также сможет ускорить исследования генетической основы психических заболеваний.
• Точные нейронные измерения и вмешательства (Fine-grained neural measurement and intervention). Это способность измерять то, что делает множество отдельных нейронов или нейронных цепей, и вмешиваться, чтобы изменить их поведение. Оптогенетика и нейронные зонды (neural probes) — это технологии, способные как на измерение, так и на вмешательство в живых организмах, и ряд весьма передовых методов (таких как молекулярные тикерные ленты для считывания паттернов активности большого числа отдельных нейронов) также были предложены и кажутся возможными в принципе.
• Продвинутая вычислительная нейробиология. Как отмечалось выше, как конкретные озарения, так и гештальт современного ИИ, вероятно, можно будет плодотворно применить к вопросам системной нейробиологии (systems neuroscience), включая, возможно, раскрытие истинных причин и динамики сложных заболеваний, таких как психоз или расстройства настроения.
• Поведенческие вмешательства (Behavioral interventions). Я мало упоминал об этом, учитывая акцент на биологической стороне нейробиологии, но психиатрия и психология, разумеется, разработали широкий репертуар поведенческих вмешательств за 20-й век; логично предположить, что ИИ мог бы ускорить и их — как разработку новых методов, так и помощь пациентам в соблюдении уже существующих. В более широком смысле, идея «ИИ-коуча», который всегда помогает вам быть лучшей версией самого себя, который изучает ваши взаимодействия и помогает вам научиться быть более эффективным, кажется весьма многообещающей.

Моя догадка заключается в том, что эти четыре направления прогресса, работая вместе, так же, как и в случае с физическими болезнями, привели бы к лечению или предотвращению большинства психических заболеваний в течение следующих 100 лет, даже если бы ИИ в этом не участвовал, — и, следовательно, вполне могут быть реализованы за 5–10 лет, ускоренных ИИ. Если говорить конкретно, вот мои догадки о том, что произойдет:

• Большинство психических заболеваний, вероятно, можно будет вылечить. Я не эксперт в области психиатрических заболеваний (мое время в нейробиологии было потрачено на создание зондов для изучения небольших групп нейронов), но я предполагаю, что такие заболевания, как ПТСР, депрессия, шизофрения, зависимости и т. д., можно будет понять и очень эффективно лечить с помощью той или иной комбинации четырех направлений, указанных выше. Ответ, скорее всего, будет крыться в некоей комбинации: «что-то пошло не так на биохимическом уровне» (хотя это может быть очень сложным) и «что-то пошло не так в нейронной сети на высоком уровне». То есть это вопрос системной нейробиологии — хотя это не отрицает значимости поведенческих вмешательств, обсуждавшихся выше. Инструменты для измерения и вмешательства, особенно на живых людях, по всей вероятности, приведут к быстрым итерациям и прогрессу.
• Состояния, которые являются сугубо «структурными», могут оказаться более сложными, но не невозможными для лечения. Существуют некоторые свидетельства того, что психопатия связана с явными нейроанатомическими отличиями — некоторые области мозга у психопатов просто меньше или менее развиты. Также считается, что психопатам с раннего возраста не хватает эмпатии; что бы ни отличало их мозг, вероятно, так было всегда. То же самое может быть справедливо и для некоторых интеллектуальных нарушений, а возможно, и других состояний. Реструктуризация мозга звучит как сложная задача, но она также кажется задачей с высокой отдачей от интеллекта. Возможно, существует какой-то способ «уговорить» мозг взрослого человека перейти в более раннее или более пластичное состояние, в котором его можно будет перестроить. Я очень не уверен, насколько это возможно, но интуиция подсказывает мне быть оптимистичным в отношении того, что здесь сможет изобрести ИИ.
• Эффективная генетическая профилактика психических заболеваний кажется возможной. Большинство психических заболеваний частично наследственны, и полногеномные исследования ассоциаций (GWAS) начинают набирать обороты в выявлении соответствующих факторов, которых часто бывает очень много. Вероятно, большинство из этих заболеваний можно будет предотвратить с помощью скрининга эмбрионов, подобно ситуации с физическими болезнями. Одно из отличий заключается в том, что психиатрические заболевания чаще бывают полигенными (вклад вносят множество генов), поэтому из-за сложности возрастает риск того, что при отборе мы неосознанно исключим положительные черты, коррелирующие с болезнью. Однако, как ни странно, в последние годы исследования GWAS, похоже, указывают на то, что эти корреляции, возможно, были преувеличены. В любом случае, нейробиология, ускоренная ИИ, может помочь нам разобраться в этих вещах. Конечно, скрининг эмбрионов на сложные признаки поднимает ряд социальных проблем и будет вызывать споры, хотя я бы предположил, что большинство людей поддержат скрининг на тяжелые или инвалидизирующие психические заболевания.
• Повседневные проблемы, которые мы не считаем клиническими заболеваниями, также будут решены. У большинства из нас есть повседневные психологические проблемы, которые обычно не считаются достигающими уровня клинического заболевания. Некоторые люди вспыльчивы, другим трудно сосредоточиться или они часто испытывают сонливость, кто-то пуглив или тревожен, а кто-то плохо реагирует на перемены. Сегодня уже существуют препараты, помогающие, например, с бодростью или концентрацией внимания (кофеин, модафинил, риталин), но, как и во многих других упомянутых областях, скорее всего, станет возможным гораздо большее. Вероятно, существует гораздо больше подобных препаратов, которые еще не открыты, и могут также появиться совершенно новые модальности вмешательства, такие как направленная световая стимуляция (см. оптогенетику выше) или магнитные поля. Учитывая, сколько препаратов, настраивающих когнитивные функции и эмоциональное состояние, мы разработали в 20-м веке, я с большим оптимизмом смотрю на «сжатый 21-й век», где каждый сможет заставить свой мозг работать чуточку лучше и получать более полноценный повседневный опыт.
• Базовый человеческий опыт может стать намного лучше. Делая еще один шаг вперед: многие люди переживали экстраординарные моменты озарения, творческого вдохновения, сострадания, самореализации, трансцендентности, любви, красоты или медитативного покоя. Характер и частота этих переживаний сильно различаются от человека к человеку, а также у одного и того же человека в разное время; иногда их можно также вызвать с помощью различных препаратов (хотя часто и с побочными эффектами). Все это говорит о том, что «пространство того, что возможно пережить», очень широко, и что бóльшая часть жизни людей могла бы состоять из этих экстраординарных моментов. Вероятно, также возможно повсеместно улучшить различные когнитивные функции. Возможно, это нейробиологическая версия «биологической свободы» или «увеличенной продолжительности жизни».

Одна тема, которая часто всплывает в научно-фантастических описаниях ИИ, но которую я намеренно не обсуждал здесь, — это «загрузка сознания» (mind uploading), идея захвата паттернов и динамики человеческого мозга и их реализации в программном обеспечении. Эта тема могла бы стать предметом целого отдельного эссе, но достаточно сказать: хотя я считаю, что загрузка сознания почти наверняка возможна в принципе, на практике она сталкивается со значительными технологическими и социальными проблемами, даже при наличии мощного ИИ, что, вероятно, выводит ее за рамки обсуждаемого нами 5–10-летнего окна.

Подводя итог: нейробиология, ускоренная ИИ, скорее всего, значительно улучшит лечение или даже позволит излечить большинство психических заболеваний, а также существенно расширит «когнитивную и ментальную свободу» и человеческие когнитивные и эмоциональные способности. Это будет ничуть не менее радикально, чем улучшения в физическом здоровье, описанные в предыдущем разделе. Возможно, внешне мир не будет сильно отличаться, но мир, каким его воспринимают люди, станет гораздо лучшим и более гуманным местом, а также местом, предлагающим большие возможности для самоактуализации. Я также подозреваю, что улучшение психического здоровья смягчит множество других социальных проблем, включая те, которые кажутся политическими или экономическими.

3. Экономическое развитие и бедность

Предыдущие два раздела были посвящены разработке новых технологий, которые лечат болезни и улучшают качество жизни людей. Однако с гуманитарной точки зрения возникает очевидный вопрос: «у всех ли будет доступ к этим технологиям?»

Одно дело — разработать лекарство от болезни, и совсем другое — искоренить эту болезнь во всем мире. В более широком смысле, многие существующие медицинские вмешательства еще не применяются повсеместно в мире, и, если уж на то пошло, то же самое касается и (немедицинских) технологических улучшений в целом. Иными словами, уровень жизни во многих частях света по-прежнему остается отчаянно низким: ВВП на душу населения составляет ~$2000 в странах Африки к югу от Сахары по сравнению с ~$75 000 в Соединенных Штатах. Если ИИ еще больше ускорит экономический рост и повысит качество жизни в развитом мире, но при этом мало чем поможет развивающемуся, мы должны расценивать это как ужасный моральный провал и пятно на подлинных гуманитарных победах из предыдущих двух разделов. В идеале, мощный ИИ должен помочь развивающемуся миру догнать развитый, даже в то время как он производит революцию в последнем.

Я не так уверен в том, что ИИ способен справиться с проблемами неравенства и экономического роста, как в его способности изобретать фундаментальные технологии, потому что технология имеет такую очевидно высокую отдачу от интеллекта (включая способность обходить сложности и нехватку данных), в то время как экономика сопряжена с множеством человеческих ограничений, а также с большой долей внутренней сложности. Я несколько скептически отношусь к тому, что ИИ смог бы решить знаменитую «проблему социалистического расчета» (socialist calculation problem)[23], и я не думаю, что правительства передадут (или должны передавать) свою экономическую политику в руки подобной сущности, даже если бы она могла с этим справиться. Существуют также такие проблемы, как, например, убеждение людей принимать методы лечения, которые эффективны, но могут вызывать у них подозрения.

Проблемы, стоящие перед развивающимся миром, еще больше усложняются повсеместной коррупцией как в частном, так и в государственном секторах. Коррупция создает порочный круг: она усугубляет бедность, а бедность, в свою очередь, порождает еще большую коррупцию. Планы экономического развития на базе ИИ должны учитывать коррупцию, слабые институты и другие чисто человеческие вызовы.

Тем не менее, я вижу веские причины для оптимизма. Болезни всё же были искоренены в прошлом, а многие страны прошли путь от бедных к богатым, и ясно, что решения, принимаемые для выполнения этих задач, демонстрируют высокую отдачу от интеллекта (несмотря на человеческие ограничения и сложность). Следовательно, ИИ, вероятно, сможет справляться с ними лучше, чем это делается сейчас. Могут существовать и точечные вмешательства, позволяющие обойти человеческие ограничения, на которых ИИ мог бы сосредоточиться. Но что еще важнее, мы обязаны попытаться. Как ИИ-компании, так и политики развитого мира должны будут внести свой вклад, чтобы гарантировать, что развивающийся мир не останется в стороне; моральный императив здесь слишком велик. Поэтому в этом разделе я продолжу отстаивать оптимистичный сценарий, но всегда держите в уме: успех не гарантирован и зависит от наших коллективных усилий.

Ниже я привожу некоторые догадки о том, как, по моему мнению, могут развиваться события в развивающемся мире в течение 5–10 лет после создания мощного ИИ:

• Распространение медицинских вмешательств. Область, где я, пожалуй, настроен наиболее оптимистично, — это распространение медицинских вмешательств по всему миру. В прошлом болезни действительно искоренялись с помощью кампаний «сверху вниз»: оспа была полностью ликвидирована в 1970-х годах, а полиомиелит и ришта (guinea worm) почти уничтожены — регистрируется менее 100 случаев в год. Математически сложное эпидемиологическое моделирование играет активную роль в кампаниях по искоренению болезней, и кажется весьма вероятным, что здесь есть место для систем ИИ, превосходящих человеческий разум, которые справятся с этим лучше людей. Логистика распространения, вероятно, также может быть значительно оптимизирована. Как один из первых доноров благотворительной организации GiveWell, я усвоил одну вещь: некоторые медицинские благотворительные фонды намного эффективнее других; и есть надежда, что инициативы, ускоренные ИИ, станут еще более эффективными. Кроме того, некоторые достижения биологии на самом деле сильно упрощают логистику распространения: например, малярию было трудно искоренить, потому что она требует лечения каждый раз при заражении; вакцина, которую нужно ввести только один раз, делает логистику гораздо проще (и такие вакцины от малярии фактически сейчас разрабатываются). Возможны и еще более простые механизмы распространения: некоторые болезни в принципе можно искоренить, нацелившись на животных-переносчиков, например, выпуская комаров, зараженных бактерией, которая блокирует их способность переносить болезнь (и которые затем заражают всех остальных комаров), или просто используя генный драйв (gene drives), чтобы полностью уничтожить популяцию таких комаров. Это требует одного или нескольких централизованных действий, а не скоординированной кампании, которая должна индивидуально лечить миллионы людей. В целом, я считаю, что 5–10 лет — разумный срок для того, чтобы значительная часть (возможно, 50%) медицинских благ, обеспеченных ИИ, распространилась даже в самые бедные страны мира. Хорошей целью могло бы стать то, чтобы развивающийся мир через 5–10 лет после появления мощного ИИ был как минимум значительно здоровее, чем развитый мир сегодня, даже если он продолжит отставать от развитого мира будущего. Достижение этой цели, конечно, потребует колоссальных усилий в сфере глобального здравоохранения, филантропии, политической адвокации и многих других областях, в чем должны помочь как разработчики ИИ, так и политики.
• Экономический рост. Сможет ли развивающийся мир быстро догнать развитый не только в сфере здоровья, но и в экономике в целом? Для этого есть некоторый прецедент: в последние десятилетия 20-го века несколько восточноазиатских экономик достигли устойчивого роста реального ВВП на уровне ~10% в год, что позволило им догнать развитый мир. Специалисты по экономическому планированию (люди) принимали решения, которые привели к этому успеху, не путем прямого контроля над целыми экономиками, а дергая за несколько ключевых рычагов (таких как промышленная политика экспортно-ориентированного роста и сопротивление соблазну полагаться на богатство природных ресурсов); вполне правдоподобно, что «ИИ – министры финансов и главы центробанков» смогли бы повторить или превзойти это 10-процентное достижение. Важный вопрос заключается в том, как заставить правительства развивающихся стран принять их, уважая при этом принцип самоопределения: некоторые могут быть полны энтузиазма на этот счет, но другие, скорее всего, отнесутся скептически. С оптимистичной точки зрения, многие медицинские вмешательства из предыдущего пункта, вероятно, органично ускорят экономический рост: искоренение СПИДа, малярии и паразитических червей окажет трансформационное влияние на производительность труда, не говоря уже об экономических выгодах, которые некоторые нейробиологические вмешательства (такие как улучшение настроения и концентрации внимания) принесли бы как в развитых, так и в развивающихся странах. Наконец, не связанные со здоровьем технологии, ускоренные ИИ (такие как энергетические технологии, транспортные дроны, улучшенные строительные материалы, лучшая логистика и дистрибуция и так далее), могут просто естественным образом проникнуть во все уголки мира; например, даже мобильные телефоны быстро распространились в странах Африки к югу от Сахары через рыночные механизмы, не нуждаясь в филантропических усилиях. С более негативной стороны, хотя ИИ и автоматизация имеют множество потенциальных преимуществ, они также создают проблемы для экономического развития, особенно для стран, которые еще не прошли индустриализацию. Поиск способов гарантировать, что эти страны все равно смогут развивать и улучшать свою экономику в эпоху растущей автоматизации, — это важный вызов, который предстоит решить экономистам и политикам. В целом, сценарием мечты — возможно, целью, к которой стоит стремиться — был бы 20-процентный годовой рост ВВП в развивающемся мире, где по 10% будут приходиться на экономические решения с использованием ИИ и на естественное распространение технологий, ускоренных ИИ (включая здравоохранение, но не ограничиваясь им). В случае достижения этого результата страны Африки к югу от Сахары за 5–10 лет достигли бы нынешнего уровня ВВП Китая на душу населения, а большая часть остального развивающегося мира поднялась бы до уровней, превышающих нынешний ВВП США. Опять же, это сценарий мечты, а не то, что произойдет по умолчанию: это то, над чем все мы должны работать вместе, чтобы повысить вероятность такого исхода.
• Продовольственная безопасность[24]. Достижения в технологиях выращивания сельскохозяйственных культур, такие как лучшие удобрения и пестициды, большая автоматизация и более эффективное землепользование, кардинально увеличили урожайность на протяжении всего 20-го века, спасая миллионы людей от голода. Генная инженерия в настоящее время улучшает многие сельскохозяйственные культуры еще больше. Поиск еще большего числа способов добиться этого, а также повышение эффективности сельскохозяйственных цепочек поставок, могут обеспечить нам вторую «Зеленую революцию», управляемую ИИ, которая поможет сократить разрыв между развивающимся и развитым миром.
• Смягчение последствий изменения климата. Изменение климата будет ощущаться в развивающемся мире гораздо сильнее, препятствуя его развитию. Мы можем ожидать, что ИИ приведет к улучшению технологий, замедляющих или предотвращающих изменение климата: от удаления углерода из атмосферы и технологий экологически чистой энергии до выращенного в лаборатории мяса, которое снизит нашу зависимость от углеродоемкого промышленного животноводства. Конечно, как обсуждалось выше, технологии — не единственное, что сдерживает прогресс в области борьбы с изменением климата: как и во всех остальных вопросах, затронутых в этом эссе, важны социальные факторы человеческого общества. Но есть веские основания полагать, что исследования, усиленные ИИ, дадут нам средства сделать смягчение последствий изменения климата гораздо менее дорогостоящим и разрушительным, сняв тем самым многие возражения и освободив развивающиеся страны для достижения большего экономического прогресса.
• Неравенство внутри стран. Я в основном говорил о неравенстве как о глобальном явлении (каковым, по моему мнению, и является его самое важное проявление), но, конечно, неравенство существует и внутри самих стран. С появлением передовых медицинских вмешательств, и особенно при радикальном увеличении продолжительности жизни или появлении препаратов для когнитивного улучшения, безусловно, возникнут обоснованные опасения, что эти технологии «только для богатых». Я смотрю на внутристрановое неравенство с большим оптимизмом, особенно в развитом мире, по двум причинам. Во-первых, в развитом мире лучше функционируют рынки, а рынки, как правило, хорошо справляются со снижением стоимости высокоценных технологий с течением времени[25]. Во-вторых, политические институты развитого мира более чутко реагируют на нужды своих граждан и обладают большим государственным потенциалом для реализации программ всеобщего доступа — и я ожидаю, что граждане будут требовать доступа к технологиям, которые столь радикально улучшают качество жизни. Конечно, не предопределено, что такие требования увенчаются успехом, — и это еще одна область, где мы все вместе должны сделать всё возможное для обеспечения справедливого общества. Существует отдельная проблема неравенства богатства (в отличие от неравенства доступа к технологиям, спасающим и улучшающим жизнь), которая кажется более сложной и которую я обсуждаю в Разделе 5.
• Проблема отказа (The opt-out problem). Одна из проблем как в развитом, так и в развивающемся мире заключается в том, что люди будут отказываться от благ, предоставляемых ИИ (подобно движению антипрививочников или луддитов в более широком смысле). Это может привести к плохим циклам обратной связи, когда, например, люди, наименее способные принимать правильные решения, отказываются от тех самых технологий, которые улучшают их способности к принятию решений, что ведет к постоянно растущему разрыву и даже созданию антиутопического низшего класса (некоторые исследователи утверждают, что это подорвет демократию, этот вопрос я подробнее рассмотрю в следующем разделе). Это, опять же, наложило бы моральное пятно на позитивные достижения ИИ. Эту проблему сложно решить, поскольку я не считаю этичным принуждать людей, но мы можем хотя бы попытаться повысить уровень их научного понимания — и, возможно, сам ИИ сможет нам в этом помочь. Один из обнадеживающих признаков заключается в том, что исторически антитехнологические движения больше лаяли, чем кусали: ругать современные технологии популярно, но в конечном итоге большинство людей их перенимают, по крайней мере, когда это вопрос индивидуального выбора. Люди, как правило, перенимают большинство медицинских и потребительских технологий, в то время как технологии, которые действительно тормозятся, вроде ядерной энергетики, как правило, становятся жертвами коллективных политических решений.

В целом, я с оптимизмом смотрю на перспективу быстрого донесения биологических достижений ИИ до людей в развивающемся мире. Я надеюсь, хотя и не уверен, что ИИ также сможет обеспечить беспрецедентные темпы экономического роста и позволит развивающемуся миру как минимум превзойти тот уровень, на котором развитый мир находится сейчас. Я обеспокоен проблемой «отказа» как в развитых, так и в развивающихся странах, но подозреваю, что со временем она сойдет на нет и что ИИ может помочь ускорить этот процесс. Это не будет идеальный мир, и те, кто отстает, не смогут полностью наверстать упущенное, по крайней мере, в первые несколько лет. Но приложив серьезные усилия с нашей стороны, мы, возможно, сможем направить развитие в правильное русло — и быстро. Если мы сделаем это, мы сможем внести хотя бы первоначальный взнос (down payment) в счет обещаний достоинства и равенства, которые мы в долгу перед каждым человеком на земле.

4. Мир и управление

Представим, что всё описанное в первых трех разделах идет хорошо: болезни, бедность и неравенство значительно сокращаются, а базовый уровень человеческого опыта существенно повышается. Из этого не следует, что решены все основные причины человеческих страданий. Люди по-прежнему представляют угрозу друг для друга*.* Хотя существует тенденция, при которой технологическое развитие и экономический рост ведут к демократии и миру, это очень нестабильный тренд с частыми (и недавними) откатами назад. На заре 20-го века люди думали, что оставили войны позади; затем последовали две мировые войны. Тридцать лет назад Фрэнсис Фукуяма писал о «Конце истории» и окончательном триумфе либеральной демократии; этого пока так и не произошло. Двадцать лет назад американские политики верили, что свободная торговля с Китаем приведет к его либерализации по мере роста богатства; этого совершенно не случилось, и теперь мы, кажется, направляемся ко второй холодной войне с возрождающимся авторитарным блоком. И есть правдоподобные теории, предполагающие, что интернет-технологии на самом деле могут давать преимущество авторитаризму, а не демократии, как считалось изначально (например, в период «Арабской весны»). Кажется важным попытаться понять, как мощный ИИ пересечется с этими вопросами мира, демократии и свободы.

К сожалению, я не вижу веских причин полагать, что ИИ будет предпочтительно или структурно продвигать демократию и мир — в отличие от того, как, по моему мнению, он будет структурно улучшать здоровье людей и бороться с бедностью. Человеческие конфликты носят состязательный характер, и ИИ в принципе может помогать как «хорошим парням», так и «плохим». Более того, некоторые структурные факторы вызывают тревогу: ИИ, по всей видимости, позволит создавать гораздо более совершенную пропаганду и системы слежки — а это главные инструменты в арсенале автократа. Поэтому именно от нас как от индивидуальных акторов зависит, сможем ли мы склонить чашу весов в правильном направлении: если мы хотим, чтобы ИИ способствовал развитию демократии и защите прав личности, нам придется бороться за такой исход. В этом я убежден даже больше, чем в вопросах международного неравенства: триумф либеральной демократии и политическая стабильность не гарантированы, возможно, даже маловероятны, и потребуют от всех нас огромных жертв и самоотдачи, как это часто бывало в прошлом.

Я рассматриваю эту проблему как состоящую из двух частей: международные конфликты и внутренняя структура государств. На международной арене кажется очень важным, чтобы демократии имели преимущество в момент создания мощного ИИ. Авторитаризм, усиленный ИИ, кажется слишком ужасным, чтобы даже думать о нем, поэтому демократии должны иметь возможность диктовать условия, на которых мощный ИИ придет в этот мир, как для того, чтобы избежать поражения от автократов, так и для предотвращения нарушений прав человека внутри авторитарных стран.

На мой взгляд, лучший способ сделать это — использовать «стратегию Антанты» (entente strategy)[26], при которой коалиция демократий стремится получить явное преимущество (пусть даже временное) в сфере мощного ИИ путем обеспечения безопасности своей цепочки поставок, быстрого масштабирования и блокирования или задержки доступа противников к ключевым ресурсам, таким как чипы и полупроводниковое оборудование. Эта коалиция, с одной стороны, использовала бы ИИ для достижения надежного военного превосходства («кнут»), а с другой — предлагала бы распространять блага мощного ИИ («пряник») на всё более широкую группу стран в обмен на поддержку стратегии коалиции по продвижению демократии (это было бы немного похоже на программу «Атом для мира» (Atoms for Peace)). Коалиция стремилась бы заручиться поддержкой всё большей части мира, изолируя наших худших противников и в конечном итоге ставя их в положение, когда им выгоднее принять ту же сделку, что и остальному миру: отказаться от конкуренции с демократиями, чтобы получить все блага и не воевать с превосходящим противником.

Если мы сможем всё это сделать, мы получим мир, в котором демократии лидируют на мировой арене и обладают экономической и военной мощью, позволяющей избежать подрыва, завоевания или саботажа со стороны автократий, и, возможно, смогут превратить свое превосходство в ИИ в долгосрочное преимущество. По оптимистичному сценарию, это могло бы привести к «вечному 1991 году» — миру, в котором демократии берут верх, а мечты Фукуямы становятся реальностью. Опять же, достичь этого будет очень сложно, и в частности потребуется тесное сотрудничество между частными ИИ-компаниями и демократическими правительствами, а также исключительно мудрые решения относительно баланса между кнутом и пряником.

Даже если всё это пройдет успешно, остается вопрос о борьбе между демократией и автократией внутри каждой отдельной страны. Очевидно, трудно предсказать, что здесь произойдет, но я испытываю некоторый оптимизм: если возникнет глобальная среда, в которой демократии контролируют самый мощный ИИ, то ИИ на самом деле может структурно способствовать демократии повсюду. В частности, в таких условиях демократические правительства могут использовать свой превосходящий ИИ для победы в информационной войне: они могут противодействовать операциям влияния и пропаганде со стороны автократий и даже смогут создать глобально свободную информационную среду, предоставляя каналы информации и сервисы ИИ таким образом, что у автократий просто не хватит технических возможностей для их блокировки или мониторинга. Вероятно, нет необходимости самим заниматься пропагандой — достаточно лишь противостоять злонамеренным атакам и разблокировать свободный поток информации. Хотя это произойдет не сразу, такие равные правила игры (level playing field) имеют хорошие шансы постепенно склонить глобальное управление в сторону демократии, и на то есть несколько причин.

Во-первых, повышение качества жизни, описанное в разделах 1–3, должно, при прочих равных условиях, способствовать демократии: исторически так и происходило, по крайней мере, в какой-то степени. В частности, я ожидаю, что улучшение психического здоровья, благополучия и образования будет способствовать демократии, так как все три фактора имеют отрицательную корреляцию с поддержкой авторитарных лидеров. В целом люди хотят большего самовыражения, когда их базовые потребности удовлетворены, а демократия — это, помимо прочего, форма самовыражения. Авторитаризм же, напротив, процветает на страхе и чувстве обиды (resentment).

Во-вторых, есть хорошая вероятность того, что свободная информация действительно подрывает авторитаризм — при условии, что автократы не могут ее подвергать цензуре. А нецензурируемый ИИ также может дать людям мощные инструменты для подрыва репрессивных режимов. Репрессивные правительства выживают за счет того, что лишают людей определенного рода общедоступных знаний, не давая им осознать, что «король-то голый». Например, Срджа Попович, который помог свергнуть правительство Милошевича в Сербии, много писал о методах психологического лишения автократов их власти, разрушения чар и сплочения людей против диктатора. Сверхчеловечески эффективная ИИ-версия Поповича (чья квалификация, похоже, имеет высокую отдачу от интеллекта) в кармане каждого человека, которую диктаторы бессильны заблокировать или подвергнуть цензуре, могла бы стать попутным ветром для диссидентов и реформаторов по всему миру. Повторюсь, это будет долгая и затяжная борьба, в которой победа не гарантирована, но если мы правильно спроектируем и создадим ИИ, это может стать по крайней мере борьбой, в которой сторонники свободы во всем мире будут иметь преимущество.

Как и в случае с нейробиологией и биологией, мы также можем задаться вопросом, как сделать вещи «лучше, чем нормально» — не только как избежать автократии, но и как сделать демократии лучше, чем они есть сегодня. Даже в условиях демократии несправедливость случается сплошь и рядом. Общества, основанные на верховенстве права, обещают своим гражданам, что все будут равны перед законом и каждый имеет право на основные права человека, но очевидно, что на практике люди не всегда получают эти права. Тот факт, что это обещание выполняется хотя бы частично, уже повод для гордости, но может ли ИИ помочь нам справиться лучше?

Например, мог бы ИИ улучшить нашу правовую и судебную систему, сделав решения и процессы более беспристрастными? Сегодня в правовом или судебном контексте люди в основном беспокоятся, что системы ИИ станут причиной дискриминации, и эти опасения важны, от них нужно защищаться. В то же время жизнеспособность демократии зависит от использования новых технологий для улучшения демократических институтов, а не только от реагирования на риски. По-настоящему зрелое и успешное внедрение ИИ способно уменьшить предвзятость и стать более справедливым для всех.

На протяжении столетий правовые системы сталкивались с дилеммой: закон стремится быть беспристрастным, но он по своей природе субъективен, а потому должен интерпретироваться предвзятыми людьми. Попытки сделать право полностью механическим не сработали, потому что реальный мир сложен и не всегда может быть описан математическими формулами. Вместо этого правовые системы полагаются на заведомо неточные критерии, такие как «жестокое и необычное наказание» или «не имеющее никакой оправдывающей общественной значимости», которые затем интерпретируются людьми — и часто таким образом, что это демонстрирует предвзятость, фаворитизм или произвол. «Смарт-контракты» в криптовалютах не произвели революцию в праве, потому что обычный код недостаточно умен для вынесения решений по большинству действительно интересных вопросов. Но ИИ может оказаться достаточно умным для этого: это первая технология, способная выносить широкие, нечеткие суждения повторяемым и механическим способом.

Я не предлагаю в буквальном смысле заменить судей системами ИИ, но сочетание беспристрастности со способностью понимать и обрабатывать запутанные ситуации реального мира выглядит так, будто оно должно найти серьезное позитивное применение в области закона и правосудия. По меньшей мере, такие системы могли бы работать бок о бок с людьми в качестве помощников при принятии решений. Прозрачность была бы важна в любой такой системе, и зрелая наука об ИИ вполне могла бы ее обеспечить: процесс обучения таких систем можно было бы всесторонне изучать, а передовые методы интерпретируемости можно было бы использовать, чтобы заглянуть внутрь финальной модели и оценить ее на предмет скрытых предвзятостей так, как это просто невозможно сделать с людьми. Подобные инструменты ИИ могли бы также использоваться для мониторинга нарушений фундаментальных прав в судебном или полицейском контексте, делая конституции более самоисполняемыми.

В том же ключе ИИ мог бы использоваться как для агрегирования мнений, так и для достижения консенсуса среди граждан, разрешения конфликтов, поиска точек соприкосновения и компромиссов. Некоторые ранние идеи в этом направлении уже реализуются в рамках проекта вычислительной демократии (computational democracy project), в том числе в сотрудничестве с Anthropic. Более информированные и мыслящие граждане, очевидно, укрепили бы демократические институты.

Существует также очевидная возможность использования ИИ для помощи в предоставлении государственных услуг — таких как медицинские льготы или социальные сервисы, — которые в принципе доступны каждому, но на практике их часто катастрофически не хватает, и где-то ситуация хуже, чем в других местах. Это включает здравоохранение, Департамент транспортных средств (DMV), налоги, социальное обеспечение, контроль за соблюдением строительных норм и так далее. Наличие очень вдумчивого и информированного ИИ, чья работа заключается в том, чтобы понятным языком предоставить вам всё, на что вы имеете законное право от государства — и который также помогает вам соблюдать часто запутанные правительственные правила — было бы огромным шагом вперед. Повышение потенциала государства одновременно помогает выполнить обещание равенства перед законом и укрепляет уважение к демократическому управлению. Плохо реализованные услуги в настоящее время являются одним из главных драйверов циничного отношения к правительству[27].

Всё это довольно размытые идеи, и, как я сказал в начале этого раздела, я далеко не так уверен в их осуществимости, как в достижениях биологии, нейробиологии и борьбы с бедностью. Возможно, они нереалистично утопичны. Но важно иметь амбициозное видение, быть готовым мечтать по-крупному и пробовать новое. Видение ИИ как гаранта свободы, прав личности и равенства перед законом — слишком мощное видение, чтобы за него не бороться. Государство 21-го века, опирающееся на ИИ, могло бы стать как более сильным защитником индивидуальной свободы, так и маяком надежды, который поможет сделать либеральную демократию той формой правления, которую захочет перенять весь мир.

5. Работа и смысл

Даже если всё в предыдущих четырех разделах пройдет хорошо — мы не только искореним болезни, бедность и неравенство, но либеральная демократия станет доминирующей формой правления, а существующие либеральные демократии станут лучшими версиями самих себя — остается по крайней мере один важный вопрос. «Здорово, что мы живем в таком технологически продвинутом мире, который к тому же справедлив и благополучен, — может возразить кто-то. — Но раз ИИ будет делать всё, в чем тогда люди будут находить смысл? И, если уж на то пошло, как они будут выживать экономически?»

Я думаю, что этот вопрос сложнее остальных. Я не имею в виду, что настроен по этому поводу более пессимистично, чем в отношении других вопросов (хотя я действительно вижу здесь трудности). Я имею в виду, что он более размыт и его труднее предсказать заранее, поскольку он связан с макроскопическими вопросами об устройстве общества, которые обычно разрешаются лишь со временем и децентрализованным образом. Например, исторические общества охотников и собирателей могли бы решить, что жизнь лишена смысла без охоты и различных связанных с ней религиозных ритуалов, и посчитали бы наше сытое технологическое общество лишенным цели. Они также могли бы не понять, как наша экономика способна обеспечить всех, или какую полезную функцию люди могут выполнять в механизированном обществе.

Тем не менее, стоит сказать хотя бы пару слов, держа в уме, что краткость этого раздела ни в коем случае не должна восприниматься как знак того, что я не отношусь к этим проблемам всерьез — напротив, это признак отсутствия четких ответов.

Что касается вопроса о смысле, я считаю крайне вероятной ошибкой полагать, что задачи, за которые вы беретесь, бессмысленны только потому, что ИИ мог бы выполнить их лучше. Большинство людей не являются лучшими в мире ни в чем, и это, похоже, их не особенно беспокоит. Конечно, сегодня они все еще могут вносить свой вклад благодаря сравнительному преимуществу (comparative advantage) и могут черпать смысл из производимой ими экономической ценности, но люди также получают огромное удовольствие от деятельности, которая не производит никакой экономической ценности. Я провожу много времени, играя в видеоигры, плавая, гуляя на улице и разговаривая с друзьями, и всё это не приносит никакой экономической ценности. Я могу потратить день на то, чтобы научиться лучше играть в видеоигру или быстрее заезжать на гору на велосипеде, и для меня совершенно не важно, что кто-то где-то справляется с этим гораздо лучше. В любом случае, я думаю, что смысл возникает в основном из человеческих отношений и связей, а не из экономического труда. Люди действительно хотят испытывать чувство достижения, даже чувство соперничества, и в пост-ИИ мире будет абсолютно возможно потратить годы на попытки решить какую-нибудь очень сложную задачу со сложной стратегией — подобно тому, как сегодня люди берутся за исследовательские проекты, пытаются стать голливудскими актерами или основывают компании[28]. Тот факт, что (а) ИИ где-то там в принципе мог бы выполнить эту задачу лучше, и (б) эта задача больше не является экономически вознаграждаемым элементом глобальной экономики, не кажется мне чем-то действительно важным.

Экономическая часть на самом деле кажется мне более сложной, чем часть, касающаяся смысла. Под «экономической» в этом разделе я подразумеваю возможную проблему того, что большинство или вообще все люди могут оказаться неспособны внести значимый вклад в достаточно развитую экономику, управляемую ИИ. Это проблема на более макроскопическом уровне, чем отдельная проблема неравенства, особенно неравенства в доступе к новым технологиям, которую я обсуждал в Разделе 3.

Во-первых, в краткосрочной перспективе я согласен с аргументами о том, что сравнительное преимущество по-прежнему будет оставлять людей востребованными и фактически повысит их производительность, а в некотором смысле может даже уравнять правила игры между людьми. До тех пор, пока ИИ справляется лучше лишь с 90% конкретной работы, остальные 10% приведут к тому, что люди получат мощный рычаг (highly leveraged), что увеличит их вознаграждение и, по сути, создаст кучу новых рабочих мест для людей, дополняющих и усиливающих то, в чем хорош ИИ, так что эти «10%» расширятся и продолжат обеспечивать занятость почти всех. На самом деле, даже если ИИ сможет делать 100% вещей лучше, чем люди, но останется неэффективным или дорогим в некоторых задачах, или если ресурсные затраты (inputs) для людей и ИИ будут существенно различаться, то логика сравнительного преимущества продолжит действовать. Одна из областей, где люди, вероятно, сохранят относительное (или даже абсолютное) преимущество в течение длительного времени, — это физический мир. Таким образом, я думаю, что человеческая экономика может продолжать иметь смысл даже немного после того момента, как мы достигнем стадии «страны гениев в дата-центре».

Однако я думаю, что в долгосрочной перспективе ИИ станет настолько широко эффективным и дешевым, что всё это перестанет работать. В этот момент наша нынешняя экономическая модель потеряет смысл, и возникнет необходимость в более широком общественном диалоге о том, как должна быть организована экономика.

Хотя это может звучать безумно, факт в том, что в прошлом цивилизация успешно преодолевала крупные экономические сдвиги: от охоты и собирательства к земледелию, от земледелия к феодализму, а от феодализма к индустриализму. Я подозреваю, что потребуется нечто новое и более странное, и это то, что сегодня еще никто не смог хорошо себе представить. Это может быть так же просто, как крупный безусловный базовый доход (universal basic income) для каждого, хотя я подозреваю, что это станет лишь небольшой частью решения. Это может быть капиталистическая экономика ИИ-систем, которые затем будут раздавать ресурсы (в огромных количествах, поскольку общий экономический пирог станет гигантским) людям на основе некой вторичной экономики того, что, по мнению ИИ-систем, имеет смысл вознаграждать в людях (на основе суждений, в конечном итоге вытекающих из человеческих ценностей). Возможно, экономика будет работать на «очках Уаффи» (Whuffie points). Или, возможно, люди всё-таки продолжат представлять экономическую ценность каким-то образом, не предусмотренным обычными экономическими моделями. У всех этих решений есть масса потенциальных проблем, и невозможно понять, будут ли они иметь смысл, без множества итераций и экспериментов. И, как и с некоторыми другими вызовами, нам, вероятно, придется бороться за хороший результат и здесь: эксплуататорские или антиутопические направления развития явно тоже возможны, и их необходимо предотвратить. Об этих вопросах можно было бы написать гораздо больше, и я надеюсь сделать это когда-нибудь позже.

Подведение итогов

В различных темах, поднятых выше, я попытался изложить видение мира, которое одновременно и правдоподобно, если с ИИ все пойдет как надо, и намного лучше, чем мир сегодняшний. Я не знаю, реалистичен ли этот мир, и даже если да, он не будет достигнут без огромных усилий и борьбы множества смелых и преданных своему делу людей. Каждому (включая ИИ-компании!) придется внести свой вклад как в предотвращение рисков, так и в полную реализацию преимуществ.

Но это мир, за который стоит бороться. Если всё это действительно произойдет за 5–10 лет — победа над большинством болезней, рост биологической и когнитивной свободы, избавление миллиардов людей от бедности, чтобы они могли приобщиться к новым технологиям, ренессанс либеральной демократии и прав человека — я подозреваю, что каждый, кто будет за этим наблюдать, будет удивлен тем, какое влияние это на него окажет. Я не имею в виду опыт получения личной выгоды от всех новых технологий, хотя это, безусловно, будет потрясающе. Я имею в виду опыт наблюдения за тем, как долго вынашиваемые идеалы материализуются прямо у нас на глазах, все и сразу. Я думаю, многие будут буквально тронуты этим до слез.

На протяжении написания этого эссе я замечал интересное противоречие. В каком-то смысле изложенное здесь видение крайне радикально: это не то, чего хоть кто-то ожидает в ближайшее десятилетие, и многим оно, вероятно, покажется абсурдной фантазией. Кто-то может даже не счесть его желательным; оно воплощает ценности и политические выборы, с которыми согласятся не все. Но в то же время в этом есть что-то ослепительно очевидное — что-то сверхобусловленное (overdetermined), как если бы множество разных попыток представить себе хороший мир неизбежно вели примерно сюда.

В книге Иэна М. Бэнкса «Игрок»[29] главный герой — член общества под названием Культура (Culture), основанного на принципах, похожих на те, что я здесь изложил, — отправляется в репрессивную милитаристскую империю, в которой лидерство определяется результатами состязаний в сложной боевой игре. Однако игра настолько сложна, что стратегия игрока в ней, как правило, отражает его собственные политические и философские взгляды. Главному герою удается победить императора в игре, доказав, что его ценности (ценности Культуры) представляют собой выигрышную стратегию даже в игре, созданной обществом, основанным на безжалостной конкуренции и выживании сильнейшего. Известный пост Скотта Александра выдвигает тот же тезис — что конкуренция обречена на саморазрушение (self-defeating) и имеет тенденцию приводить к обществу, основанному на сострадании и сотрудничестве. «Дуга моральной вселенной» — еще одна похожая концепция.

Я думаю, что ценности Культуры — это выигрышная стратегия, потому что они представляют собой сумму миллиона маленьких решений, обладающих ясной моральной силой и стремящихся объединить всех на одной стороне. С базовыми человеческими интуитивными представлениями о справедливости, сотрудничестве, любознательности и автономии трудно спорить, и они обладают кумулятивным эффектом в том смысле, в каком наши более разрушительные импульсы часто им не обладают. Легко утверждать, что дети не должны умирать от болезней, если мы можем это предотвратить, и отсюда так же легко прийти к выводу, что дети всех людей в равной степени заслуживают этого права. Отталкиваясь от этого, нетрудно доказать, что мы все должны объединиться и приложить свой интеллект для достижения этого результата. Мало кто не согласится с тем, что люди должны нести наказание за нападение или причинение вреда другим без необходимости, а отсюда недалеко до идеи о том, что наказания должны быть последовательными и систематичными для всех людей. Точно так же интуитивно понятно, что люди должны обладать автономией и нести ответственность за свою собственную жизнь и выбор. Эти простые интуиции, если довести их до логического завершения, в конечном итоге ведут к верховенству права, демократии и ценностям Просвещения. Если не неизбежно, то по крайней мере в качестве статистической тенденции — это то, к чему человечество и так уже шло. ИИ просто предлагает возможность добраться туда быстрее — сделать логику более строгой, а пункт назначения более ясным.

Тем не менее, в этом есть трансцендентная красота. У нас есть возможность сыграть небольшую роль в том, чтобы сделать ее реальностью.

⁂

Спасибо Кевину Эсвелту, Парагу Маллику, Стюарту Ричи, Мэтту Иглесиасу, Эрику Бринйолфссону, Джиму Макклейву, Аллану Дафо и многим сотрудникам Anthropic за рецензирование черновиков этого эссе.

Лауреатам Нобелевской премии по химии 2024 года — за то, что указали всем нам путь.

[1]: https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace

[2]: Я предвижу, что реакцией меньшинства людей будет «это довольно скромно». Я думаю, что этим людям нужно, говоря языком Twitter, «потрогать траву» (touch grass). Но что еще важнее, «скромно» — это хорошо с социальной точки зрения. Я думаю, что люди способны переварить лишь определенный объем изменений за один раз, и темп, который я описываю, вероятно, близок к пределу того, что общество может усвоить без экстремальной турбулентности.

[3]: Я считаю AGI неточным термином, который оброс большим научно-фантастическим багажом и хайпом. Я предпочитаю термины «мощный ИИ» (powerful AI) или «Наука и инженерия экспертного уровня» (Expert-Level Science and Engineering), которые отражают то, что я имею в виду, без хайпа.

[4]: В этом эссе я использую термин «интеллект» для обозначения общей способности решения проблем, которая может применяться в различных областях. Сюда входят такие способности, как рассуждение (reasoning), обучение, планирование и креативность. Хотя я использую «интеллект» как сокращение на протяжении всего эссе, я признаю, что природа интеллекта — сложная и дискуссионная тема в когнитивной науке и исследованиях ИИ. Некоторые исследователи утверждают, что интеллект — это не единая, унифицированная концепция, а скорее набор отдельных когнитивных способностей. Другие настаивают, что существует общий фактор интеллекта (g factor), лежащий в основе различных когнитивных навыков. Но это тема для другой дискуссии.

[5]: Это примерно текущая скорость систем ИИ — например, они могут прочитать страницу текста за пару секунд и написать страницу текста, возможно, за 20 секунд, что в 10–100 раз превышает скорость, с которой это делают люди. Со временем более крупные модели имеют тенденцию замедлять этот процесс, но более мощные чипы ускоряют его; на сегодняшний день эти два эффекта примерно уравновешивают друг друга.

[6]: Это может показаться позицией «соломенного чучела» (strawman position), но такие вдумчивые мыслители, как Тайлер Коуэн и Мэтт Иглесиас, поднимали этот вопрос как серьезную проблему (хотя я не думаю, что они полностью придерживаются этой точки зрения), и я не считаю ее безумной.

[7]: Ближайшие экономические работы, затрагивающие этот вопрос, о которых мне известно, — это работы о «технологиях общего назначения» (general purpose technologies) и «нематериальных инвестициях» (intangible investments), которые служат дополнением к технологиям общего назначения.

[8]: Это обучение может включать временное, контекстное обучение (in-context learning) или традиционное обучение (training); и то и другое будет ограничено скоростью физического мира.

[9]: В хаотической системе небольшие ошибки экспоненциально накапливаются с течением времени, поэтому даже колоссальное увеличение вычислительной мощности приводит лишь к незначительному улучшению того, насколько далеко вперед можно сделать предсказание, а на практике ошибка измерения может еще больше ухудшить этот показатель.

[10]: Другой фактор, конечно, заключается в том, что сам мощный ИИ потенциально может быть использован для создания еще более мощного ИИ. Мое предположение состоит в том, что это может произойти (и, скорее всего, произойдет), но этот эффект будет меньше, чем вы могли бы представить, именно из-за обсуждаемой здесь «убывающей предельной доходности интеллекта» (decreasing marginal returns to intelligence). Иными словами, ИИ продолжит быстро умнеть, но в конечном итоге его эффект будет ограничен факторами, не связанными с интеллектом, и анализ этих факторов — это то, что имеет наибольшее значение для скорости научного прогресса за пределами самого ИИ.

[11]: Эти достижения стали для меня вдохновением и, пожалуй, самым ярким из существующих примеров того, как ИИ используется для трансформации биологии.

[12]: «Прогресс в науке зависит от новых методов, новых открытий и новых идей, вероятно, именно в таком порядке». — Сидней Бреннер (Sydney Brenner)

[13]: Спасибо Парагу Маллику (Parag Mallick) за предложение этого пункта.

[14]: Я не хотел загромождать текст спекуляциями о том, какие конкретно будущие открытия могла бы совершить наука с помощью ИИ, но вот несколько возможных направлений (брейншторм): — Создание лучших вычислительных инструментов вроде AlphaFold и AlphaProteo — то есть общей системы ИИ, ускоряющей нашу способность создавать специализированные вычислительные биологические ИИ-инструменты. — Более эффективный и селективный CRISPR. — Более продвинутая клеточная терапия. — Прорывы в материаловедении и миниатюризации, ведущие к созданию лучших имплантируемых устройств. — Лучший контроль над стволовыми клетками, клеточной дифференцировкой и дедифференцировкой, и, как следствие, способность выращивать или изменять формы тканей. — Лучший контроль над иммунной системой: выборочное ее включение для борьбы с раком и инфекционными заболеваниями, а также выборочное отключение для лечения аутоиммунных заболеваний.

[15]: ИИ, конечно, может также помочь с более разумным выбором экспериментов: улучшить дизайн эксперимента, извлечь больше информации из первого раунда исследований, чтобы во втором раунде сузить круг ключевых вопросов, и так далее.

[16]: Спасибо Мэттью Иглесиасу за то, что предложил этот пункт.

[17]: Быстро мутирующие заболевания, такие как штаммы с множественной лекарственной устойчивостью, которые по сути используют больницы как эволюционную лабораторию для постоянного повышения своей устойчивости к лечению, могут оказаться особенно труднопреодолимыми, и это как раз то, что может помешать нам достичь 100%.

[18]: Заметьте, что может быть сложно понять, что мы удвоили продолжительность жизни человека, в течение этих 5–10 лет. Хотя мы, возможно, этого уже и добьемся, в рамках этого временного окна мы можем об этом еще не знать.

[19]: Это тот случай, когда я готов, несмотря на очевидные биологические различия между лечением болезней и замедлением самого процесса старения, посмотреть с более широкой дистанции на статистический тренд и сказать: «Даже если детали отличаются, я думаю, человеческая наука, вероятно, нашла бы способ продолжить этот тренд; в конце концов, плавные тренды в любой сложной системе по определению формируются путем сложения очень гетерогенных компонентов».

[20]: Например, мне говорят, что рост производительности труда на 1% или даже на 0,5% в год имел бы трансформационное значение для прогнозов, связанных с этими программами. Если идеи, обсуждаемые в этом эссе, воплотятся в жизнь, рост производительности может оказаться значительно выше.

[21]: Медиа любят изображать высокостатусных психопатов, но среднестатистический психопат — это, вероятно, человек с плохими экономическими перспективами и слабым контролем импульсов, который в итоге проводит значительную часть времени в тюрьме.

[22]: Я думаю, что это в чем-то аналогично тому факту, что многие, хотя, вероятно, и не все результаты, которые мы получаем благодаря интерпретируемости, останутся актуальными, даже если некоторые архитектурные детали наших текущих искусственных нейронных сетей, такие как механизм внимания (attention mechanism), будут изменены или каким-либо образом заменены.

[23]: Я подозреваю, что это немного похоже на классическую хаотическую систему — отягощенную неснижаемой сложностью, которой нужно управлять в основном децентрализованно. Хотя, как я скажу позже в этом разделе, могут быть возможны и более скромные вмешательства. Контраргумент, приведенный мне экономистом Эриком Бринйолфссоном (Erik Brynjolfsson), заключается в том, что крупные компании (такие как Walmart или Uber) начинают обладать достаточными централизованными знаниями, чтобы понимать потребителей лучше, чем любой децентрализованный процесс, что, возможно, заставит нас пересмотреть идеи Хайека о том, кто обладает лучшими локальными знаниями.

[24]: Спасибо Кевину Эсвелту (Kevin Esvelt) за предложение этого пункта.

[25]: Например, мобильные телефоны изначально были технологией для богатых, но быстро стали очень дешевыми благодаря ежегодным улучшениям, происходящим так быстро, что это свело на нет любые преимущества покупки «люксового» телефона, и сегодня у большинства людей есть телефоны схожего качества.

[26]: Это название готовящейся к выходу статьи корпорации RAND, в которой примерно излагается описанная мной стратегия.

[27]: Когда среднестатистический человек думает о государственных институтах, он, вероятно, вспоминает свой опыт общения с DMV (Департаментом транспортных средств), Налоговым управлением (IRS), Medicare или аналогичными структурами. Сделать этот опыт более позитивным, чем он есть сейчас, кажется мощным способом борьбы с неоправданным цинизмом.

[28]: Действительно, в мире, управляемом ИИ, спектр таких возможных вызовов и проектов будет гораздо шире, чем сегодня.

[29]: Я нарушаю свое собственное правило не сводить всё к научной фантастике, но мне было трудно не сослаться на нее хотя бы немного. Правда в том, что научная фантастика — один из наших единственных источников масштабных мысленных экспериментов о будущем; я думаю, это плохо, что она так сильно переплетена с конкретной узкой субкультурой.