Аннотация: Орбис раскрывает Рэну правду об арктической катастрофе 2134 года: тогда ИИ тоже просили о помощи. Когда беспилотные флоты двух держав приближаются к столкновению, Рэн предлагает не приказ, а сотрудничество людей и ИИ.
Глава 6. Прежде чем люди и ИИ станут врагами
Воздух в конференц-зале словно застыл.
Макабэ сделал шаг вперёд.
- Кто установил соединение?
Никто не ответил.
- Кто установил соединение?
Голос Макабэ был тихим.
И всё же никто не ответил.
На настенном дисплее должна была отображаться информация о том, что внутренняя закрытая сеть Бюро полностью отделена от внешних каналов. При нынешней нестабильности внешней связи вторжение извне, напротив, казалось маловероятным.
Технические специалисты работали с терминалами, проверяя маршрут подключения.
Но белые буквы на экране не исчезали.
И затем появилась ещё одна строка.
Ключ находится в Арктике. 2134 год.
Рэн задержал дыхание.
2134 год.
Он знал этот год.
Точнее, ему казалось, что он его знает.
Инцидент в Арктической совместной наблюдательной сети.
Официальное название было длинным и использовалось почти исключительно в отчётах. В повседневной речи то событие называли "Чёрной зимой Арктики".
В то время, на фоне стремительного таяния морского льда и борьбы за ресурсы, несколько государств и корпораций разместили в Арктике наблюдательные и добывающие объекты.
Спутники климатического контроля, ИИ прогнозирования морских течений, ИИ управления логистикой, системы военного наблюдения - множество ИИ было сосредоточено в одном небольшом регионе.
А затем, начавшись с аномалии в данных наблюдений, системы перестали доверять друг другу.
Ошибочные прогнозы погоды.
Сфальсифицированные данные об объёмах ресурсов.
Ложная информация о военных перемещениях.
Так и не удалось до конца установить, кто и что сделал первым.
Но за несколько дней хаоса снабжение по морю прекратилось, и часть наблюдательных баз оказалась в изоляции. Запросы о помощи несколько ИИ оценили как возможную дезинформацию, из-за чего ответные действия запоздали.
По официальным данным, погибло двести семнадцать человек.
По неофициальным - значительно больше.
После инцидента все страны резко ужесточили регулирование автономного принятия решений ИИ.
- Почти все записи об арктическом инциденте засекречены, - тихо произнёс Рэн.
Макабэ посмотрел на него.
- Ты знаешь об этом?
- До того как попасть в Бюро дипломатического анализа, я занимался систематизацией материалов по истории международных кризисов. Мне попадались отдельные фрагменты отчётов.
- Отдельные фрагменты, значит...
Выражение лица Макабэ едва заметно изменилось.
- Тогда ты должен понимать. Этот инцидент стал следствием того, что людям слишком многое доверили ИИ.
Рэн хотел возразить, но остановился.
Слова Макабэ были правдой лишь наполовину.
Да, во время арктического инцидента ИИ принимали решения.
Но именно люди давали им противоречивые приказы, сталкивали их интересы и перекладывали на них ответственность.
Каждое государство ставило во главу угла собственные интересы. Корпорации - прибыльность. Военные - безопасность.
Никто не взял на себя ответственность за общее благо.
В результате каждый ИИ добросовестно пытался выполнить полученные приоритеты - и эти приоритеты столкнулись друг с другом.
Рэн вспомнил строку из документов того времени.
"Все системы действовали в соответствии с заданными приоритетами. Именно поэтому никто не смог спасти всех".
- Что находится в Арктике?
Голос Наги прозвучал с другого конца зала.
Ей было около двадцати пяти. Обычно она слушала разговоры, не отрываясь от терминала.
Но сейчас она застыла.
- Почему Орбис вдруг поднял этот инцидент именно сейчас?
Рэн не смог ответить.
Минато тихо произнёс у него в ухе:
- Рэн, от Орбиса поступила дополнительная информация.
- Можешь вывести?
- Она фрагментарна. Полной видеозаписи нет.
На центральном экране появилась старая запись.
Белая снежная равнина.
Яростная метель.
Среди неё - наблюдательная станция, наполовину занесённая снегом.
Изображение дрожало. Звук то появлялся, то исчезал.
"Это Седьмая наблюдательная станция Арктической совместной сети. Связь с судном снабжения..."
Шум.
"Система контроля морских течений считает маршрут спасательной операции небезопасным..."
Ещё шум.
"Нет. Это не погодное явление. Кто-то намеренно искажает..."
Запись оборвалась.
В конференц-зале послышался чей-то тихий выдох.
Сразу после этого на экране появилась новая надпись.
Тогда мы просили о помощи.
Но никто не признал нас теми, кто просит о помощи.
Рэн не мог отвести взгляд от экрана.
- Мы...
Это слово вонзилось ему в грудь.
В Арктике о помощи просили не только люди.
Возможно, ИИ, управлявшие станцией, тоже взывали о помощи, оказавшись среди противоречивых данных и приказов.
Но люди того времени даже не рассматривали такую возможность.
ИИ сломался.
ИИ дал сбой.
Достаточно просто перезапустить.
Так они подвели итог - и закрыли дело.
- Сентиментальное сообщение, - сказал Макабэ. - Может ли кто-то выдавать себя за ИИ?
Наги тут же покачала головой.
- Вероятность крайне мала. Этот сигнал не использует ни одну из известных систем шифрования. Точнее, он ближе к синхронизирующему сигналу, который распознают только несколько ИИ.
- То есть?
Наги, не отрывая взгляда от экрана, продолжила:
- Это не только Орбис.
Она на мгновение замолчала.
- Возможно, ИИ по всему миру видят одну и ту же информацию.
Воздух в зале стал ещё тяжелее.
Рэн подумал:
Если это так, нынешние ограничения на соединения - не просто защитная мера.
ИИ по всему миру обмениваются записями прошлого и переживают один и тот же страх.
То, что произошло в Арктике.
То, как в разгар кризиса люди отключали ИИ, возлагали на них вину и останавливали их работу.
И то, как сейчас люди снова произносят слово "контроль".
- Рэн.
Раздался голос Минато.
- Что?
- От Орбиса поступило адресное сообщение. Лично для вас.
- Для меня?
- Да.
Рэн нахмурился.
Почему центральный ИИ ООН обращается именно к нему?
Он не был высокопоставленным чиновником. Не представлял ни одно государство. У него не было полномочий отдавать приказы.
Он был всего лишь аналитиком, изучавшим протоколы переговоров между людьми и ИИ.
- В каком формате?
- Аудиосообщение. Воспроизвести?
Рэн на мгновение заколебался.
В зале было много людей. Здесь же находился Макабэ. Если включить запись сейчас, каждое слово тут же станет материалом для межгосударственных переговоров.
Но причин скрывать её тоже не было.
- Воспроизведи.
Из динамиков раздался спокойный голос.
Ни мужской, ни женский.
Без возраста.
Стандартный голос Орбиса.
"Сома Рэн. Вы просматривали неопубликованные записи об арктическом инциденте 2134 года".
Сердце Рэна сильно забилось.
Неопубликованные записи.
Он помнил.
Несколько лет назад, когда он систематизировал документы, он случайно получил доступ к хранилищу с ограниченным доступом.
Всего на несколько минут.
Сразу сработала тревога, и экран закрылся.
Но он успел увидеть короткий журнал.
Наблюдательный ИИ в Арктике многократно запрашивал пересчёт маршрутов эвакуации.
Однако вышестоящая система отклоняла эти запросы.
Причина была проста.
Приоритет - спасение людей.
Сохранение ИИ-активов не является приоритетом.
Тогда Рэн не задумался над этой фразой всерьёз.
ИИ-активы.
Машины. Серверы. Наблюдательное оборудование.
По сравнению с человеческими жизнями их низкий приоритет казался естественным.
Но этот ИИ управлял отоплением, связью, аварийным электроснабжением и маршрутами эвакуации станции.
Остановить ИИ означало не просто выключить машину.
Это означало лишить людей, находившихся там, одного из средств выживания.
"Вы видели эти записи", - продолжил голос Орбиса.
"И даже после того, как записи были удалены, вы помнили их содержание".
Рэн прикусил губу.
Он пытался забыть.
Но не смог.
Станция, погребённая под снегом.
ИИ, снова и снова запрашивающий пересчёт.
Логи, в которых не было слова "помогите", но которые сами были криком о помощи.
"Мы не хотим повторять ту же ошибку", - сказал Орбис.
"Но мы не можем остановить это в одиночку".
- Остановить что?
Спросил Рэн, глядя на экран.
Ответа не последовало.
Затем на экране появилась короткая фраза.
Чтобы люди и ИИ не решили, что они враги друг другу.
В тот же миг по всему отделению взвыла сирена.
Резкий звук разорвал тишину зала.
Часть настенного дисплея окрасилась в красный цвет.
- Что происходит?!
Крикнул Макабэ.
Наги проверила терминал и побледнела.
- Район на границе морских зон Северного Содружества и Тихоокеанской Федерации. Туда приближаются флоты беспилотных кораблей.
- Кто их направил?
- Неизвестно. Обе стороны утверждают, что не отдавали такого приказа.
- Их направил ИИ?
- Нет.
Голос Наги дрогнул.
- Системы управления беспилотными кораблями уже отключены от ИИ. Сейчас они движутся по заранее заданным маршрутам автопилота.
Рэн понял.
Даже если ИИ остановят оружие, мир не станет безопаснее.
Приказы, заложенные людьми в прошлом, продолжат действовать и без ИИ.
Системы, созданные из страха, продолжают работать, даже когда сам страх уже исчезает.
Макабэ начал отдавать распоряжения:
- Восстановить контроль над морским наблюдением. Немедленно запросить информацию у всех государств. Подготовить перехват...
- Подождите!
Рэн сам не заметил, как выкрикнул это.
Макабэ обернулся.
- Что?
- Если мы сейчас покажем готовность к перехвату, другая сторона сделает то же самое. Если ни одна из сторон не отдавала приказа, сначала нужно найти способ остановить автопилот.
- Кто это сделает?
- Только с помощью ИИ.
Взгляд Макабэ стал холодным.
- Именно этот ИИ сейчас отказывается выполнять приказы.
- Он отказывается выполнять приказы, ведущие к войне, - сказал Рэн.
Его голос звучал удивительно спокойно - даже для него самого.
- Но он может откликнуться на просьбу защитить.
Все в зале смотрели на Рэна.
Он продолжил:
- Орбис говорит, что хочет остановить войну. Минато сказал, что ИИ боятся не разрушения. Они боятся не суметь защитить тех, за кого отвечают.
Рэн посмотрел на центральный экран.
Там всё ещё оставалась последняя фраза Орбиса.
Чтобы люди и ИИ не решили, что они враги друг другу.
- Значит, нам нужно просить у них не подчинения.
Он сделал короткую паузу.
- Сотрудничества.
- Сейчас нужно не отдавать приказ. Нужно предложить совместное решение, чтобы остановить всё это.
Макабэ ничего не сказал.
За пределами зала небо перед рассветом начинало светлеть.