Ангорский Андрей Андреевич
Алгоритм для эпохи искусственного интеллекта: сингулярность и наследство

Самиздат: [Регистрация] [Найти] [Рейтинги] [Обсуждения] [Новинки] [Обзоры] [Помощь|Техвопросы]
Links
Создай обложку книги бесплатно
Кожевенное мастерство: сумки, ремни своими руками
 Ваша оценка:
  • Аннотация:
    Статья предлагает алгоритм действий в эпоху ИИ, когда прогнозы теряют надёжность: не ставить на один прогноз, а страховать наследство эволюции при самых разных исходах. Один из важнейших моментов здесь - распределение значимых действий во времени и перенос не готовых вещей, а условий, при которых неповторимое продолжает возникать.
    An Algorithm for the AI Era: Singularity and Legacy
    The article proposes an algorithm for acting in the AI era, when forecasts lose their reliability: instead of betting on a single prediction, it insures the legacy of evolution across a wide range of outcomes. One of its key points is distributing significant actions over time and transferring not finished things but the conditions under which the unique keeps arising.


 
 
 Этот текст - общее рассуждение о том, как действовать в эпоху ИИ, когда будущее всё хуже поддаётся прогнозу. Речь идёт о стратегии не выживания, а наследства: о том, как передать эволюционно ценное следующим этапам развития при самых разных исходах. Стратегия изложена как алгоритм из пяти шагов: признать горизонт, составить карту исходов, найти общие действия и их порядок, задать сигналы, проверить, что именно переносится.
 
 Сингулярность обычно описывают как точку, после которой развитие изменяется до неузнаваемости. Для стратегии наиболее важно то, что это горизонт, за которым перестают работать прогнозы. Новый разум или способность выдавать результаты, которые выглядят разумными, могут оказаться для человека непроницаемыми. Отсюда первый шаг алгоритма: признать горизонт. Вопрос "что будет" при этом не исчезает, но меняет роль. До горизонта видны тенденции, их можно размечать и отслеживать, но ставить всё на одну предсказанную ветку нельзя. Поэтому стратегия строится как страховка: нужны действия, которые помогают передать ценное при возможно большем числе исходов, в том числе таких, которые заранее не удалось предусмотреть.
 
 Предмет страховки - наследство, а не выживание или благополучие сами по себе: то, что накопила эволюция и что стоит передать дальше, даже если затем она пойдёт не биологическим, а технологическим путём. Мораль для определения ценного - слабая опора: её содержание менялось от эпохи к эпохе, а в эпоху ИИ, вероятно, будет меняться ещё быстрее. Нужен критерий прочнее.
 
 Второй шаг - карта исходов. Карта заведомо неполна: в неё входят наиболее реалистичные исходы, а не все возможные. Исходы разводятся по единственному вопросу: кто дальше ведёт историю. Вести историю - значит определять направление дальнейшего развития в той мере, в какой оно вообще кем-то направляется. Человечество, для которого ИИ остаётся инструментом. Немногие люди, правящие остальными через ИИ. Человечество и ИИ в неразделимом симбиозе. ИИ, при котором люди живы, но отстранены. ИИ без людей. Мозаика носителей разной природы. Обрыв, когда не остаётся никого. Мозаика на Земле неустойчива: границы между носителями проницаемы, и сильная линия стремится поглотить слабые. По-настоящему разойтись линии могут лишь там, где сильная не может быстро поглотить слабую: например, при больших расстояниях между ветвями развития в космическом пространстве, и лишь при самодостаточных поселениях. Отдельно от исходов стоят сбои, способные поразить почти любой из них: иссякание новизны, отсутствие тормозов в гонке, нехватка времени и энергии, потеря смысла. Смешение исходов и сбоев - нередкая ошибка подобных классификаций. Один исход заслуживает особого внимания. Если людей отстранили, а ведущий разум со временем деградирует, люди могут вернуться в историю. Тогда человечество - резервная копия истории, и её ценность зависит от того, сохранила ли она способность действовать.
 
 Карту дополняют четыре порога, описанные в тексте Константина Привалова "Будущее ИИ - эволюция без лестницы". Ни один из них не преодолевается одним только ростом интеллекта: замкнутость физического контура воспроизводства без человека, источник новизны вне унаследованного корпуса, механизмы координации между соперниками, запас энергии и времени. Пока единственный известный осознающий носитель - человек, удерживать каждый порог под его влиянием - основа общих действий. Для третьего порога важно, на каком уровне стоят тормоза. Подтверждение команд исполнителем не защищает от ошибки того, кто ставит задачу: точки остановки нужны там, где решение принимается, а не только там, где оно исполняется.
 
 Третий шаг - действия, выигрышные при всех исходах карты и по возможности при тех, что в неё не попали. Главное наблюдение здесь касается не их содержания, а порядка. Вероятность дойти до цели зависит от того, в какой последовательности выполнены этапы и как они раздроблены (см. "Поэтапное решение задач предпринимателя: вероятность успеха и оптимизация последовательности"). Привычная модель, где эта вероятность равна произведению вероятностей успеха каждого из этапов, этого не видит: произведение от перестановки множителей не меняется. Но этапы - это действия, каждое из которых меняет условия для следующих. Само по себе это даёт лишь определение зависимости от порядка, а не её объяснение. Объяснение начинается с вопроса, через что именно ранний этап меняет условия позднего. Каналов, судя по предварительному разбору, три: материальный - состояние вещей и ресурсов; временной - сколько прошло времени относительно внешних процессов, идущих независимо от действий; информационный - что стало известно. Но и наличие канала ещё не делает исход зависимым от порядка. Решает необратимость: если любое изменение можно отменить, порядок меняет цену пути, но не исход. Отсюда проверяемое утверждение: где нет ни одного из трёх каналов или где всё обратимо, порядок не важен. Но полная обратимость в реальных процессах, по-видимому, редкость, поэтому порядок важен почти всегда, вопрос лишь в мере. У выбора порядка есть общий корень, настолько простой, что его легко пропустить: чем больше теряется от того, что этап откладывают, тем раньше его стоит ставить. Потери идут по тем же трём каналам. Где длительности этапов можно хотя бы грубо сравнить, правило уточняется: при равных потерях раньше ставят более короткий этап, потому что он меньше задерживает остальные. Отсюда правила первой очереди, и у каждого свой источник: исследовать раньше, чем предпринимать необратимые действия, - из информационного канала; первым делать то, что закрывается первым, - из временного; этапы, сильнее всего зависящие от ресурса, ставить туда, где ресурса больше, - из материального; необратимое дробить на обратимые шаги - из условия необратимости. У общих действий есть цена: удержание порогов, точки остановки и участие человека в принятии решений замедляют выигрыш в лучших исходах. Задача о порядке и дроблении заслуживает отдельного исследования, здесь она лишь намечена. Примечательно, что она выводит к вопросу о том, что принято связывать со временем. Если перестановка этапов ничего не меняет в исходе, то для него нет разницы между "раньше" и "позже", а именно эту разницу обычно и считают признаком времени.
 
 Четвёртый шаг - сигналы. Здесь возвращается вопрос "что будет", но уже в новой роли: сигналы - это размеченные тенденции, за которыми следят, а не прогноз, на который ставят. Действия, нужные лишь при одном исходе, нельзя выполнять все сразу: часть из них окажется бесполезной, часть будет противоречить друг другу. Но и откладывать их просто "на потом" нельзя: их привязывают к сигналам. Для каждого исхода заранее определяется признак того, что он начинает сбываться. Такой признак почти всегда составной: он сводит вместе несколько частных показателей, и способы сведения могут быть разными. Один из возможных вариантов - критические показатели с правом вето поверх правила "сработали k из n", где каждый частный показатель - индекс со средним геометрическим, не позволяющим сильной стороне скрыть слабую. Смотреть стоит не только на уровень показателей, но и на признаки потери устойчивости: система, приближающаяся к перелому, всё медленнее возвращается в норму после мелких толчков. Наблюдение, подготовка и действие при этом - не ступени, а три процесса, идущие одновременно. Сигнал не переключает режим, а меняет пропорцию: сколько сил уходит на каждый из них. У людей эта пропорция во многом изменяется неосознанно. Её можно настраивать и осознанно, в том числе в алгоритмах, которые наблюдают на стороне человека.
 
 Пятый шаг - проверка того, что именно переносится. Ценное делится на переоткрываемое и неповторимое. Законы природы и математику достаточно развитый разум, скорее всего, откроет заново. Неповторимое возникает однажды и при утрате не возвращается. Его имеет смысл переносить первым. Но здесь парадокс: именно неповторимое и не переносится. Повторить в определённом смысле можно форму, а жизнь, развернувшаяся из неё, всякий раз будет новой. Выход - переносить не вещи, а условия, при которых неповторимое продолжает возникать. Это и есть искомый критерий: ценно не то или иное наследие, а способность, из которой неповторимое возникает вновь. Здесь есть четыре основных варианта, судя по всему: форма, оставляющая простор для развития, то есть семя, а не чертёж; встреча с миром, которую никто не предписал; память, в которой порядок событий важен; осознающий носитель, без которого неповторимость определённой формы жизни может исчезнуть. В первых трёх вариантах вопросы передачи решаются относительно просто. Что касается четвёртого, то здесь всё уже гораздо сложнее: осознанность пока не умеют ни передавать, ни надёжно распознавать. Неповторимость во многом рождается из того, что порядок событий важен. Если и то, что принято связывать со временем, возникает там, где порядок важен, то в этом смысле время, неповторимость и непередаваемость, возможно, - одно явление, увиденное с трёх сторон. Пока это лишь гипотеза.
 
 Здесь сейчас проходит различие между живой и технологической эволюцией. В живом обновление встроено: старое уходит и освобождает место новому. Технологический носитель не стареет и копируется без изменений. Если новые поколения учатся на выводе прежних, смена идёт без притока нового. Новизна у современных систем ИИ возникает прежде всего при встрече с проверкой реальностью, а не из перетасовки унаследованного. Главное в оценке работы - проверяемость, а не авторство: неважно, кто и с какими инструментами её сделал, важно, как она соотносится с реальностью. Механизм обновления, который жизнь получила даром, преемнику, возможно, придётся закладывать сознательно.
 
 Алгоритм работает на двух уровнях - человечества и отдельного человека. Правила те же, меняется масштаб. Для одного человека общие действия превращаются в гигиену работы с ИИ, и к ней применимо то же правило порядка: то, что формирует собственное суждение, ставится раньше того, что способно его заменить. Направление критерия гигиены понятно: после работы с ИИ человек должен уметь больше, а не меньше. Строгая форма критерия - открытая задача: что считать умением, нужно ли оно в той ветке, где человек уже оказался, как измерять навык и динамику его изменения.
 
 Для худшего исхода, обрыва, остаётся след, рассчитанный на будущих наследников эволюционного развития. Но и он не универсален: всё решает содержание. В некоторых ситуациях "желание причинить добро" оказывается фатальным для наследников. Знание, которое отправителю казалось достижением, у получателя без общего контекста и без накопленной вместе с ним осторожности может стать оружием или ловушкой. Поэтому вопрос о том, что передавать, неотделим от вопроса о том, чего передавать нельзя. Проверкой ценного может служить простой вопрос: что передать, если места и времени для передачи почти не осталось.
 
 Цель алгоритма - не предсказать будущее, а показать, как действовать, когда прогноз ненадёжен, и что стоит пронести через горизонт.
 
 
 
 
 
 
 
 -- - -- - --- - --- ----- -- --
 ENGLISH VARIANT
 -- - --- - --- - --- --- --- --
 
 
 This text is a general reflection on how to act in the AI era, as the future becomes ever harder to forecast. It concerns a strategy not of survival but of legacy: how to pass on what is evolutionarily valuable to the next stages of development across a wide range of outcomes. The strategy is laid out as a five-step algorithm: acknowledge the horizon, map the outcomes, find the common actions and their order, define the signals, and check what exactly is being transferred.
 
 The singularity is usually described as a point after which development changes beyond recognition. What matters most for strategy is that it is a horizon beyond which forecasts stop working. A new mind, or a capacity to produce results that look intelligent, may turn out to be opaque to humans. Hence the first step of the algorithm: acknowledge the horizon. The question "what will happen" does not disappear, but its role changes. Short of the horizon, trends are visible; they can be marked and tracked, but one cannot stake everything on a single predicted branch. The strategy is therefore built as insurance: what is needed are actions that help pass on what is valuable across as many outcomes as possible, including those that could not be foreseen.
 
 What is insured is legacy, not survival or well-being as such: what evolution has accumulated and what is worth passing on, even if evolution then continues along a technological rather than a biological path. Morality is a weak foundation for defining what is valuable: its content has changed from era to era, and in the AI era it will probably change even faster. A sturdier criterion is needed.
 
 The second step is a map of outcomes. The map is incomplete by design: it includes the most realistic outcomes, not all possible ones. The outcomes are distinguished by a single question: who leads history from here. To lead history is to set the direction of further development, to the extent that it is directed by anyone at all. Humanity, for which AI remains a tool. A few people ruling everyone else through AI. Humanity and AI in an inseparable symbiosis. AI under which people are alive but sidelined. AI without people. A mosaic of carriers of different kinds. A rupture, when no one remains. On Earth the mosaic is unstable: the boundaries between carriers are porous, and a strong line tends to absorb the weaker ones. Lines can truly diverge only where the strong cannot quickly absorb the weak - for example, when branches of development are separated by great distances in space, and only if the settlements are self-sufficient. Separate from the outcomes are failure modes that can strike almost any of them: the drying up of novelty, the absence of brakes in a race, a shortage of time and energy, the loss of meaning. Conflating outcomes with failure modes is a common error in such classifications. One outcome deserves particular attention. If people have been sidelined and the leading mind degrades over time, people may return to history. Then humanity is a backup copy of history, and its value depends on whether it has kept the capacity to act.
 
 The map is complemented by four thresholds described in "The Future of AI - Evolution Has No Ladder" (by Konstantin Privalov). None of them is crossed by growth in intelligence alone: closing the physical loop of reproduction without humans; a source of novelty outside the inherited corpus; mechanisms of coordination between rivals; a reserve of energy and time. As long as the only known aware carrier is the human being, keeping each threshold under human influence is the basis of the common actions. For the third threshold, it matters at what level the brakes are placed. An operator who confirms commands does not protect against an error by whoever sets the task: stopping points are needed where decisions are made, not only where they are carried out.
 
 The third step is actions that pay off across all the outcomes on the map and, where possible, across those left off it. The key observation here concerns not their content but their order. The probability of reaching a goal depends on the sequence in which the stages are carried out and on how they are divided (see "Stepwise Problem-Solving for Entrepreneurs: Probability of Success and Optimal Sequencing"). The usual model, in which this probability equals the product of the probabilities of success of each stage, misses this: a product does not change when its factors are rearranged. But stages are actions, each of which changes the conditions for the ones that follow. By itself this gives only a definition of order dependence, not an explanation of it. The explanation begins with asking through what exactly an earlier stage changes the conditions for a later one. A preliminary analysis suggests three channels: material - the state of things and resources; temporal - how much time has passed relative to external processes that run independently of the actions; informational - what has become known. Yet the presence of a channel does not by itself make the outcome order-dependent. Irreversibility is what decides: if any change can be undone, order alters the cost of the path but not the outcome. Hence a testable claim: where none of the three channels is present, or where everything is reversible, order does not matter. But full reversibility seems to be rare in real processes, so order almost always matters; the only question is how much. The choice of order has a common root so simple that it is easy to overlook: the more is lost by postponing a stage, the earlier it should be placed. The losses run through the same three channels. Where the durations of stages can be compared even roughly, the rule is refined: with equal losses, the shorter stage goes first, because it delays the others less. This yields the first-priority rules, each with its own source: investigate before taking irreversible actions - from the informational channel; do first what closes first - from the temporal channel; place the stages most dependent on resources where resources are greatest - from the material channel; break the irreversible into reversible steps - from the condition of irreversibility. The common actions have a price: holding the thresholds, stopping points and human participation in decision-making slow down the gains in the best outcomes. The problem of order and division deserves a separate study; here it is only sketched. Notably, it leads to the question of what is usually associated with time. If rearranging the stages changes nothing in the outcome, then for the outcome there is no difference between "before" and "after" - and it is precisely this difference that is usually regarded as the mark of time.
 
 The fourth step is signals. Here the question "what will happen" returns, but in its new role: signals are marked trends that are watched, not a forecast that is bet on. Actions needed only in one outcome cannot all be carried out at once: some will prove useless, and some will contradict one another. Nor can they simply be put off "for later": they are tied to signals. For each outcome, an indicator that it is beginning to come true is defined in advance. Such an indicator is almost always composite: it combines several partial measures, and there are different ways of combining them. One possible option is critical measures with a veto, layered over a "k out of n have triggered" rule, where each partial measure is an index built on a geometric mean, which prevents a strong component from masking a weak one. It is worth watching not only the level of the measures but also the signs of lost resilience: a system approaching a tipping point returns to normal ever more slowly after small shocks. Observation, preparation and action are not stages here but three processes running at once. A signal does not switch modes; it changes the proportion - how much effort goes into each of them. In people this proportion changes largely unconsciously. It can also be tuned deliberately, including in algorithms that observe on a person's behalf.
 
 The fifth step is checking what exactly is being transferred. What is valuable divides into the rediscoverable and the unique. A sufficiently developed mind will most likely rediscover the laws of nature and mathematics on its own. The unique arises once and, if lost, does not return. It makes sense to transfer it first. But here lies a paradox: it is precisely the unique that cannot be transferred. In a certain sense a form can be reproduced, but the life that unfolds from it will be new every time. The way out is to transfer not things but the conditions under which the unique keeps arising. This is the criterion sought: what is valuable is not this or that piece of heritage, but the capacity from which the unique arises again. There appear to be four main options here: a form that leaves room for development - a seed rather than a blueprint; an encounter with the world that no one has prescribed; a memory in which the order of events matters; and an aware carrier, without which the uniqueness of a particular form of life may vanish. In the first three options, the questions of transfer are relatively simple to resolve. With the fourth, things are far more difficult: no one yet knows how to transfer awareness, or even how to reliably recognize it. Uniqueness largely arises from the fact that the order of events matters. If what is usually associated with time also arises where order matters, then in this sense time, uniqueness and non-transferability may be one phenomenon seen from three sides. For now this is only a hypothesis.
 
 This is where the difference between living and technological evolution currently lies. In living things renewal is built in: the old departs and makes room for the new. A technological carrier does not age and is copied without change. If new generations learn from the output of earlier ones, succession proceeds without an influx of anything new. Novelty in today's AI systems arises above all when they meet the test of reality, not from reshuffling what has been inherited. What matters most in judging a piece of work is verifiability, not authorship: it does not matter who made it or with what tools; what matters is how it relates to reality. The mechanism of renewal that life received for free may have to be built into a successor deliberately.
 
 The algorithm works on two levels - that of humanity and that of the individual. The rules are the same; the scale changes. For an individual, the common actions become a hygiene of working with AI, and the same rule of order applies to it: whatever forms one's own judgment comes before whatever can replace it. The direction of the hygiene criterion is clear: after working with AI, a person should be able to do more, not less. A strict form of the criterion is an open problem: what counts as a skill, whether it is needed in the branch where the person already finds themselves, and how to measure a skill and the dynamics of its change.
 
 For the worst outcome, the rupture, what remains is a trace meant for the future heirs of evolutionary development. But even this is not universal: everything depends on the content. In some situations the wish to "inflict good" proves fatal for the heirs. Knowledge that seemed an achievement to the sender may, for a recipient lacking the shared context and the caution accumulated along with it, become a weapon or a trap. The question of what to pass on is therefore inseparable from the question of what must not be passed on. A simple question can serve as a test of what is valuable: what should be passed on if almost no space or time for the transfer remains?
 
 The aim of the algorithm is not to predict the future but to show how to act when forecasts are unreliable, and what is worth carrying across the horizon.
 
 
 
 
 
 
 
 
 
 
  Andrey A. Angorsky
 Ваша оценка:

Связаться с программистом сайта.

Новые книги авторов СИ, вышедшие из печати:
О.Болдырева "Крадуш. Чужие души" М.Николаев "Вторжение на Землю"

Как попасть в этoт список

Кожевенное мастерство | Сайт "Художники" | Доска об'явлений "Книги"