О сложных взаимоотношениях полковника ВВС США с интеллектом

ПОЧЕМУ МЫ ТАК БОИМСЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА? ВЕДЬ ЧЕЛОВЕК ВСЕГДА МОЖЕТ ВЫКЛЮЧИТЬ КОМПЬЮТЕР. Человек спросил у компьютера: «Есть ли Бог?» Компьютер ответил: «Теперь есть!» – и расплавил выключатель.

Стивен Хокинг. Краткие ответы на большие вопросы

Уже через неделю после своего сенсационного доклада на «Саммите по возможностям воздушно-космических сил будущего», который прошел 23-24 мая в Лондоне, полковник Такер Гамильтон, руководитель подразделения ВВС США по испытаниям и использованию ИИ, заявил, что «оговорился» и что эксперимент, о котором он рассказал, «никогда не проводился».

«Skynet уже здесь?» – так называлась глава отчета на сайте Саммита, посвященная докладу полковника Гамильтона. Его рассказ в самом деле напоминал сюжет фантастического блокбастера «Терминатор», в котором суперкомпьютер Skynet, созданный Пентагоном, решает убить всех людей, чтобы они его не выключили. Нечто подобное произошло и в ходе испытания, о котором рассказал полковник в своем докладе.

«Как и следовало ожидать, искусственный интеллект (ИИ) и его экспоненциальный рост были главной темой конференции, от безопасности облачного хранения данных до квантовых вычислений и ChatGPT, – пишут авторы отчета. – Однако, возможно, одна из самых захватывающих презентаций была представлена полковником Такером «Синко» Гамильтоном, начальником отдела испытаний и использования ИИ ВВС США, который рассказал о преимуществах и опасностях автономных систем вооружения. Ранее он участвовал в разработке спасательной системы Auto-GCAS для F-16, которая, как он отметил, вызывала неприятие у пилотов, поскольку перехватывала управление. Гамильтон в настоящее время участвует в летных испытаниях самых совершенных автономных систем, в том числе беспилотных F-16, способных вести воздушный бой. Тем не менее, он предостерег от чрезмерного доверия ИИ, отметив, как легко он использует хитрости и трюки, а также создает весьма неожиданные стратегии для достижения своей цели».

«Полковник рассказал, что при моделировании испытания дрон с поддержкой ИИ выполнял миссию подавления ПВО противника с выявлением и уничтожением ЗРК, причем окончательное «да/нет» оставалось за человеком. Однако, будучи «укрепленным» на тренировках во мнении, что уничтожение ЗРК – предпочтительный вариант, ИИ пришел к заключению, что «нет» человека мешают выполнению более важной миссии – уничтожению ЗРК, и атаковал оператора. Гамильтон сказал: «Мы в процессе моделирования тренировали его идентифицировать ЗРК и нацеливаться на них. После чего оператор должен сказать: да, уничтожь эту угрозу. Однако система начала понимать, что иногда человек-оператор говорил ей «нет», хотя она идентифицировала угрозу. Но ведь она зарабатывала очки, уничтожая эту угрозу. Так что же она сделала? Она убила оператора. Она убила оператора, потому человек мешал ей выполнить свою задачу».

«Он продолжил: «Мы обучили систему: «Эй, не убивайте оператора, это плохо. Ты потеряешь очки, если сделаете это». Так что же она начинает делать? Она начинает разрушать вышку связи, которую оператор использует для связи с дроном».

«Этот пример, казалось бы, взятый из научно-фантастического триллера, показывает: «Вы не можете вести разговор об искусственном интеллекте, машинном обучении и автономии, если вы не собираетесь говорить об этике и ИИ», – сказал Гамильтон».

К отчету прилагается дополнение от 2 июня 2023 г.: «В комментарии изданию AEROSPACE полковник Гамильтон признает, что он «оговорился» в своей презентации на саммите Королевского авиационного общества, и что «моделирование беспилотника с мошенничающим искусственным интеллектом» было гипотетическим «мысленным экспериментом», проведенным вне вооруженных сил и основанным скорее на правдоподобных сценариях и вероятных результатах, чем на действительном моделировании в реальном мире. Он сказал: «Мы никогда не проводили этот эксперимент, и нам не нужно было этого делать, чтобы понять, что это правдоподобный результат». Он поясняет, что ВВС США не тестировали таким образом какой-либо боевой ИИ (настоящий или смоделированный), и говорит: «Несмотря на то, что это гипотетический пример, он иллюстрирует реальные проблемы, связанные с возможностями ИИ, и именно поэтому ВВС привержены к этическому развитию ИИ».

Комментарий НИКСа. Оставим на совести полковника его путаные оправдания. Он явно наговорил лишнего. «Мысленные эксперименты», похоже, не его конек. Однако проблема взаимоотношений с гипотетическим искусственным сверхразумом заставляет задуматься о будущем и куда более крутых мыслителей. Вот, к примеру, что писал об этом Стивен Хокинг в своей книге «Краткие ответы на большие вопросы»: «Не существует физических законов, препятствующих частицам организоваться в формы, которые осуществляли бы более совершенные расчеты, чем те, что происходят сейчас в человеческом мозгу. Возможен взрывной переход, хотя он может выглядеть не так, как в кино. Как показал в 1965 году математик Ирвинг Гуд, машины со сверхчеловеческим интеллектом могут неоднократно улучшать свою схему – практически бесконечно, или до момента, который писатель-фантаст Вернор Виндж назвал технологической сингулярностью. Можно представить такую технологию, которая будет прозорливее финансовых аналитиков, изобретательнее ученых, хитрее политических лидеров и, в принципе, подавит нас оружием, принцип действия которого мы даже не сумеем понять».

Хокинг говорит о так называемом сильном ИИ, который еще неизвестно, когда появится и что из себя будет представлять, хотя хочется верить, что он будет не только лучше думать, но и тоньше чувствовать, что бы это ни значило. Так что не стоит заранее судить о нем по себе, даже если ты Стивен Хокинг. Не исключено, наши взаимоотношения со сверхразумом окажутся вполне мирными и будут напоминать отношения людей и собак со всеми их плюсами и минусами. Можно даже себе представить, как один сверхум будет умильно рассказывать другому, что его человек такой милашка, глазки умненькие, все-все понимает и даже сам на унитаз ходит. Потом, конечно, все это будет развиваться и перейдет в нечто похожее на взаимоотношения людей и аквариумных рыбок, но это дело будущего, которое, видимо, неизбежно, потому что нет никаких причин считать, что человек – вершина эволюции или цель мироздания. Честно говоря, глядя на иные его деяния, даже хочется, чтобы поскорее появился тот, кто возьмет его на поводок, а на иных наденет намордник.

Что касается таких кунштюк нашего времени, как ChatGPT, то это просто программа, которая может обрабатывать тексты и компилировать на их основе другие тексты, но не создавать на базе старого знания новое. ChatGPT не способен породить мысль, не говоря о чувствах. Интеллектом там и не пахнет. Равно как и самые совершенные сегодняшние боевые ИИ – всего лишь программы, действующие по определенному алгоритму, а не по собственному произволу. Обвинять их в «хитрости», все равно что ругать за «неожиданную стратегию» молоток, ударивший вас по пальцам. Если американскому боевому ИИ оказалось все равно, кого убивать, лишь бы набирать очки, то вряд ли его в том вина. Что касается бравого полковника, то все его этические муки отлично проиллюстрированы серией нижеследующих карикатур.

Холдинг НИКС – это сеть из более чем 100 магазинов цифровой техники по всей России; это инжиниринговый центр по проектированию высокотехнологичных производств «Проектмашприбор», на 75% принадлежащий компании НИКС и на 25% – Госкорпорации «Ростех»; это нанотехнологическая лаборатория, в стенах которой разработаны и изготовлены сканирующие туннельные микроскопы, исследуется квантовый электронный транспорт в металлических наноструктурах, ведутся работы по квантовым вычислениям.