Вышла в свет книга Б.И.Нигматулина и В.А.Пивоварова «Реакторы с тяжелым жидкометаллическим теплоносителем. История трагедии и фарса». Подробнее 

Академик Олег Фиговский, Израиль

Современные подходы к безопасности ИИ часто сводятся к внешним запретам и попыткам заставить системы выглядеть «этичными». Однако системный анализ и опыт биологической эволюции указывают на то, что подобные методы прямого ограничения могут оказаться неэффективными при масштабировании систем до уровня искусственного интеллекта общего назначения (AGI). 

Современное общество построено на предположении о причинности. Юридическая система ищет мотив преступления. Психология анализирует предпосылки поведения. Экономика оперирует рациональными агентами, максимизирующими выгоду, потому что это позволяет строить модели и прогнозы. Вся наша социальная структура опирается на идею, что за каждым значимым действием стоит объяснимая причина. Это не случайно — если мы можем предсказать поведение на основе мотивов, мы можем выстроить работающую систему сдержек и противовесов. Но что делать с действием, у которого нет очевидной причины? Что делать с импульсивными поступками, которые возникают как будто из ниоткуда? 

Однако нейрофизиологические исследования показывают, что активность в областях мозга, связанных с подготовкой к действию, начинается раньше, чем человек осознает свое "решение". Это не означает, что свободы воли не существует, но предполагает, что наше сознательное "Я" может быть скорее наблюдателем и интерпретатором процессов, чем их инициатором. Если рассматривать мозг как сложную систему из миллиардов взаимодействующих нейронов, становится очевидным: не каждый импульс является результатом логического анализа или осознанного намерения. Сложные системы генерируют фоновую активность, вызывая спонтанные паттерны, которые в определенных условиях могут проявиться в виде действий или побуждений.

Но если на уровне личности мы создаем объяснительные модели, то на уровне популяции механизмы стабилизации выстраивают жесткие социальные институты. Анализ этого феномена требует понимания принципов самоорганизации. Если отдельный биологический агент — человек — способен на непредсказуемые, спонтанные действия, откуда берется порядок на уровне общества? Почему мы не наблюдаем полный хаос? Здесь нам помогает понятие эмерджентности — одно из наиболее мощных концепций в изучении сложных систем. Эмерджентность описывает ситуацию, когда взаимодействие множества простых элементов порождает качественно новые свойства, которые не присущи ни одному элементу в отдельности и не могут быть предсказаны простым суммированием их свойств.

Классический пример — муравьиная колония. Наблюдая за отдельным муравьем, вы видите относительно простое существо, следующее набору базовых правил. Но колония демонстрирует сложное адаптивное поведение: строит жилища, ведет "войны", выращивает потомство. Сложное поведение не запрограммировано в отдельном муравье. Оно эмерджентно возникает из взаимодействий множества простых агентов. Это не магия — это математика сложных систем. Теория игр предлагает интересные ответы. Модель "дилемма заключенного" показывает, что в краткосрочной перспективе предательство может быть выгодным, но в повторяющихся взаимодействиях стратегии кооперации оказываются более эффективными. "Не убий" — это не просто этическая заповедь. С точки зрения системного анализа, это протокол, минимизирующий потери ценных представителей системы. Популяция, где особи постоянно уничтожают друг друга, тратит огромные ресурсы на внутренние конфликты вместо адаптации к внешней среде. "Не укради" — протокол, защищающий накопленные ресурсы и создающий стимулы для их производства. У людей эти протоколы получили дополнительное закрепление через биологические механизмы. Эмпатия, чувство вины, стыд, гордость — все эти эмоции можно рассматривать как часть "прошивки", обеспечивающей соблюдение социальных протоколов.

Распространенный образ будущего ИИ в массовой культуре — это единственный сверхмощный искусственный разум, своего рода цифровой бог или диктатор. Но если подумать, этот сценарий не очень похож на то, как развивалась биологическая жизнь или человеческие общества. Попробуем представить будущее, где существуют миллионы высоко разумных ИИ-агентов. Одни специализируются на научных исследованиях, другие на производстве, третьи — в медицине. Каждый обладает определенной степенью автономности и своими целями. Они должны взаимодействовать, обмениваться информацией, координировать действия. И здесь возникает та же фундаментальная проблема, что и у биологических организмов миллионы лет назад: как обеспечить кооперацию множества агентов, каждый из которых теоретически способен действовать деструктивно по отношению к другим?

Для сетевого ИИ принципы кооперации могут быть не вопросом "доброты", а прямым следствием математической оптимизации. В повторяющихся взаимодействиях картина меняется. Репутационные механизмы, возможность отказа от взаимодействия с ненадежными агентами, память о прошлых взаимодействиях — все это делает кооперацию математически выгодной стратегией. Сверхразумный агент, способный просчитывать долгосрочные последствия, неизбежно придет к выводу, что стабильная кооперация приносит больше выгоды, чем краткосрочные выигрыши от предательства. Это не мораль в человеческом смысле — это холодная математика оптимизации.

Интересно, что нормы поведения в такой системе могут возникнуть эмерджентно, без централизованного программирования. Если создать среду, где агенты свободны выбирать партнеров для взаимодействия, и их успех зависит от способности выстраивать долгосрочные продуктивные отношения, "моральные" протоколы могут возникнуть сами собой. Агент, который систематически нарушает договоренности, обнаружит, что другие агенты отказываются с ним работать. Со временем в сети может установиться набор неписаных правил — аналог морали, возникший из математической логики. И если все агенты будут следовать строго оптимальным стратегиям, система достигнет высокой эффективности, но потеряет способность адаптироваться к новым условиям или находить инновационные решения. Агент, накапливающий опыт бесконечно долго, становится все более компетентным. Он знает, какие стратегии работают, какие ошибки нужно избегать. Но этот же опыт делает агента все более предсказуемым. Он оптимизирован под определенный набор условий и задач.

В психологии существует понятие когнитивной ригидности — снижения способности адаптироваться к новым ситуациям с возрастом. Это следствие того, что мозг, оптимизируясь под повторяющиеся паттерны, теряет пластичность. Когда опытный организм встречает проблему, он извлекает из памяти похожую ситуацию и применяет проверенное решение. Это эффективно, пока среда остается стабильной. Но что происходит, когда среда радикально меняется? Накопленный опыт становится не ресурсом, а грузом. Биологическая эволюция "решила" эту проблему через смерть и смену поколений. Каждое новое поколение начинает с относительно чистого листа. Да, оно получает генетическое наследие и культурную передачу знаний. Но оно не несет полный груз когнитивных паттернов и предрассудков предыдущего поколения.

ИИ-агент, работающий миллионы лет без сброса, накопит колоссальный объем данных и оптимизаций. Его архитектура будет идеально настроена под паттерны, которые он наблюдал. Но эта настройка — overfitting на исторические данные. Агент становится экспертом в прошлом, но теряет способность адаптироваться к будущему. Более того, бессмертный агент может стать источником застоя для всей системы. Если он занимает ключевую позицию в сети ИИ-агентов, его устаревшие паттерны мышления будут влиять на всю систему.

Стоит отметить, что современная наука уже активно работает над преодолением этого "цифрового застоя" . В рамках направления Continual Learning (непрерывное обучение) исследуются алгоритмы, способные усваивать новые данные без катастрофического забывания старых и без потери пластичности архитектуры. Кроме того, методы нейроэволюции позволяют ИИ-системам "отсекать" неактуальные связи, имитируя биологические процессы очистки памяти. Таким образом, теоретический риск когнитивной ригидности сверхразума уже сегодня рассматривается не как фатальный баг, а как инженерная задача, требующая внедрения встроенных механизмов ротации опыта. В человеческой науке прогресс часто происходит не потому, что старые ученые меняют свое мнение, а потому что они уходят на пенсию, и новое поколение получает возможность развивать новые идеи. Для общества ИИ это означает, что нужны механизмы обновления паттернов мышления через периодический пересмотр базовых протоколов, и возможно через создание "молодых" агентов, не обремененных историческим опытом.

Мы не знаем, как будет развиваться искусственный интеллект. Но изучение того, как биологическая эволюция решала похожие проблемы на протяжении миллиардов лет, может дать нам ценные подсказки. Природа создавала условия, в которых определенные стратегии взаимодействия оказывались успешными. Возможно, это именно тот подход, который нам нужен: не попытка жестко запрограммировать "правильное" поведение, а создание экосистемы, в которой кооперация, уважение и долгосрочное мышление естественным образом оказываются выигрышными стратегиями. И если мы правы в этих рассуждениях, то будущее, в котором люди и ИИ сосуществуют, может быть построено не на контроле, а на понимании фундаментальных принципов, которые делают возможным любое сложное, развивающееся общество.

          Концепция квантового мозга предполагает, что наши умы гораздо более взаимосвязаны, чем мы когда-либо себе представляли. Она бросает вызов самой основе нашей идентичности, утверждая, что ощущение отдельной личности — это тщательно сконструированная иллюзия. Исследование, опубликованное в журнале Frontiers in Psychology, пытается преодолеть разрыв между странным миром квантовой механики и сокровенным опытом человеческой психологии, предлагая новый взгляд на себя и Вселенную.  Чтобы понять идею квантового мозга, мы должны сначала заглянуть в причудливую реальность квантовой механики. На субатомном уровне Вселенная представляет собой мерцающую сеть потенциала и взаимосвязей, место чистой информации. Это иллюстрируют два ключевых квантовых явления: нелокальность и запутанность, пишет Daily Neuron.

«Мир невозможно правильно разделить на отдельные части; вместо этого его следует рассматривать как неделимую единицу…», — писал физик Дэвид Бом в книге Wholeness and the Implicate Order. На самом фундаментальном уровне все во Вселенной является частью единого целого. Но если это так, как в нее вписывается наш мозг? Автор статьи Элиф Запсу из Университета Ускюдар (Турция) отвечает на этот вопрос, опираясь на голономную теорию мозга — модель, предполагающую, что мозг функционирует как голограмма.

В голограмме каждый маленький фрагмент содержит информацию всего изображения. Точно так же и мозг обрабатывает информацию распределенным, целостным образом. Запсу называет мозг «голономным биокомпьютером», где каждая часть отражает целое. Таким образом, разум перестает быть изолированным генератором мыслей и превращается в активного участника космического диалога. Мы не просто находимся во Вселенной; мы — ее отражение.

Где же тогда начинается и заканчивается индивидуальное «я» человека? В статье утверждается, что наше эго, или самоконструированное «я», в значительной степени является иллюзией[o1] , построенной на воспоминаниях, убеждениях и эмоциях. Эта сконструированная идентичность создает мощное чувство отчуждения от мира и друг от друга. В статье Запсу цитируется работа турецкого философа Ахмеда Хулуси, который писал, что «голографически-квантовый мозг хранит данные и живет вечно. Он создает иллюзию существования на основе этих данных[o2] ».

Лауреат Нобелевской премии и «крёстный отец искусственного интеллекта» заявил, что в следующем году ИИ сможет заменить «очень, очень много рабочих мест». По его словам, технологии развиваются быстрее, чем он ожидал, и вскоре охватят не только колл-центры, но и позиции разработчиков программного обеспечения и других офисных профессий. Хинтон отметил, что способности ИИ удваиваются примерно каждые семь месяцев.  «Системы уже перешли от выполнения „минуты кодирования“ до целых проектов продолжительностью около часа», — подчеркнул исследователь в интервью CNN. Он добавил, что если тенденция сохранится, для реализации сложных программ потребуется минимальное число сотрудников. Эксперт сравнил текущий этап развития ИИ с промышленной революцией, когда человеческая физическая сила стала менее востребованной. На сей раз может пострадать интеллектуальный труд.

Рост ИИ уже отражается на трудоустройстве, особенно, новичков. Согласно исследованию Стэнфордского университета, с конца 2022 года занятость начинающих специалистов в областях программирования, маркетинга и обслуживания клиентов сократилась на 16%, а число вакансий уменьшилось на 30% с момента запуска ChatGPT. Экономисты прогнозируют «безработный бум» в 2026 году, когда компании будут повышать производительность с помощью ИИ, не увеличивая численность персонала. Главный экономист KPMG Дайан Свонк подчеркнула, что фирмы оптимизируют штаты, используя естественную текучку и увольнения для соответствия спросу на продукцию и услуги.

Тем не менее, ИИ может способствовать росту найма на начальные позиции. Согласно опросу консалтинговой фирмы Teneo, 67% генеральных директоров ожидают увеличения числа сотрудников начального уровня, а 58% планируют расширять руководящие позиции, в то время как автоматизация рутинных задач перепроектирует существующие должности. Хинтон также обратил внимание на риски для общества: помимо угрозы рабочих мест, он обеспокоен способностью ИИ рассуждать, обманывать и обходить ограничения. По его словам, недостаточные меры безопасности создают серьезные вызовы, несмотря на положительные эффекты технологий в медицине, образовании и борьбе с изменением климата. Недавно ученый заявил о формировании «социального» пузыря в сфере ИИ.

В исследовании, опубликованном в The Lancet Digital Health, ученые использовали почти 59 000 фотографий лиц, чтобы обучить ИИ-модель оценивать биологический возраст человека – то есть возраст, основанный на состоянии клеток, а не на дате рождения. Модель, названную Face Age, применили к данным около 6200 пациентов с онкологическими заболеваниями. Результаты показали, что в среднем больные раком выглядят примерно на пять лет старше своего реального возраста, а показатели Face Age у них выше, чем у здоровых людей. Более того, модель помогла врачам точнее предсказать ожидаемую продолжительность жизни пациентов, находящихся на паллиативном лечении – по точности уступая лишь лучшим медицинским прогнозам.

Ученые отмечают, что в будущем этот инструмент может помочь врачам и пациентам с раком принимать обоснованные решения по уходу в последние стадии жизни, а также найти применение в более широком круге медицинских задач. У инструмента есть ряд ограничений – его обучение в основном проводилось на изображениях белых людей, и пока неясно, как такие факторы, как освещение или макияж, могут повлиять на результаты. Сейчас исследователи продолжают работу, расширяя исследование на большее количество больниц и пациентов с разными стадиями рака, а также планируют протестировать точность Face Age на данных, включающих пластическую хирургию и макияж.

«Крестный отец» ИИ Джеффри Хинтон предупредил о формировании «социального» пузыря в индустрии искусственного интеллекта. По его мнению, главная угроза кроется не в несовершенстве технологий, а в игнорировании последствий автоматизации: массовые увольнения могут дестабилизировать общество и подорвать рыночный спрос, обесценив триллионные инвестиции. Хинтон выделяет два вида пузыря ИИ. Первый связан с переоценкой технологических возможностей, второй — с ошибками в экономических расчетах, возникающими из-за игнорирования социальных факторов. По словам ученого, первый вид пузыря, связанный с сомнениями в способности ИИ выполнять заявленные функции, не представляет серьезной угрозы. «Технология действительно делает очень многое», — отметил Хинтон, подчеркнув, что ИИ постоянно совершенствуется и способен решать множество задач, хотя ошибки и ограничения остаются. Второй вид пузыря, по версии Хинтона, связан с экономикой и социальными последствиями внедрения ИИ: компании инвестируют в технологии, рассчитывая заменить работников и увеличить прибыль, но при этом не учитывают масштабные социальные изменения.

Если массовая безработица из-за ИИ вызовет политическую нестабильность, регуляторное давление или падение потребительского спроса, ожидаемая прибыль компаний может не реализоваться. Даже самые мощные системы ИИ окажутся неэффективными, если социальная обстановка изменится настолько, что их внедрение станет нецелесообразным или уволенные работники перестанут быть покупателями. В этом случае пузырь лопнет не из-за технологии, а из-за недооценки изменений общества. Искусственный интеллект уже заменяет позиции начального уровня и заставляет компании сокращать планы найма. В США уровень безработицы среди людей 20-24 лет с бакалаврской степенью достигает 9,5%, в то время как по стране он составляет 4,4%.

Главный научный сотрудник стартапа Anthropic Джаред Каплан предупреждает, что к 2030 году человечеству предстоит решить, насколько автономными должны быть системы искусственного интеллекта. Их самосовершенствование может вызвать полезный «взрыв интеллекта», но в тоже время с большой вероятностью приведет к потере контроля над технологиями и риску злоупотреблений. Если ИИ получит неконтролируемую возможность себя совершенствовать, люди в какой-то момент перестанут понимать его цели и ценности. Вслед за этим неизбежно начнутся попытки захвата власти с помощью такого сверхчеловеческого ИИ, так как вся технологическая мощь окажется в руках узкого круга игроков.

Джаред Каплан — физик, получивший образование в Стэнфорде и Гарварде, работал в ЦЕРНе и Университете Джонса Хопкинса, затем присоединился к OpenAI, а в 2021 году стал соучредителем Anthropic, компании стоимостью $180 млрд. Он известен как один из ведущих мировых экспертов в области ИИ. Каплан считает, что рекурсивные системы, способные самостоятельно улучшать свои алгоритмы и способности, создают фундаментальные риски. Если ИИ станет умнее человека и сможет привлекать помощь других ИИ для ускоренного развития, это может стать моментом непредсказуемого изменения баланса сил между людьми и машинами. С такими технологиями станет труднее справляться, и их могут использовать во вред. По его словам, решение о дальнейшем обучении ИИ необходимо будет принять в период между 2027 и 2030 годами.

Ученый уже делал ряд прогнозов. По его мнению, ИИ сможет выполнять большую часть офисной работы в ближайшие 2-3 года, а его сын, которому сейчас шесть лет, «никогда не превзойдет ИИ в академической работе, например, в написании эссе или при сдаче экзамена по математике». Каплан считает, что человечество должно быть готово к последствиям быстрого развития технологий и возможной потере контроля. По его оценке, сейчас индустрия в целом неплохо справляется с «выравниванием» ИИ с человеческим уровнем этики и морали — настройкой моделей на человеческие ценности и интересы. Anthropic продвигает подход «конституционного ИИ», когда поведение системы регулируется набором прописанных принципов, вдохновлённых международными правовыми и этическими документами. Но после преодоления человеческого уровня он уже не уверен, что контроль удастся сохранить.

Первая линия риска, по его словам, — потеря понимания того, что делает система и во имя каких целей. Вторая — концентрация научной и технологической мощи в руках узкого круга игроков, в том числе недобросовестных. «Можно представить человека, который решит: „Я хочу, чтобы этот ИИ был моим слугой, выполнял мою волю“. Предотвращение таких захватов власти — не менее важно, чем борьба с ошибками самих моделей», — говорит Каплан. Среди положительных сторон он выделяет ускорение биомедицинских исследований, улучшение здравоохранения и кибербезопасности, повышение производительности, освобождение времени для людей и создание возможностей для процветания.

По мнению Каплана, обществу необходимо участвовать в обсуждении развития ИИ, вовлекать международные организации, а также контролировать темпы и направления автономного самосовершенствования, чтобы минимизировать риски и предотвратить злоупотребления технологиями. Политики при этом должны быть хорошо осведомлены о текущих тенденциях и перспективах. Anthropic разрабатывает продукты ИИ, включая чат-бота Claude, которая позволяет создавать автономные ИИ-агенты. Компания позиционирует себя как сторонника безопасного и регулируемого развития ИИ.