Я читаю много книг, и, как любой смертный, многое забываю из прочитанного. Чтобы у держать в хрупкой памяти лиытературные произведения, восполняю пробелы прослушиванием и чтением кратких содержаний прочитанных рассказов, повестей и романов. Со своими медвежьими услугами, как всегда, повсюду лезет ИИ.
Я заметил странное явление в действиях ИИ. Даю ИИ имя автора и произведения, и интеллект выдает мне ложную информацию. Вроде и автор и произведение то же, но сюжет, как правило совершенно иной.
Так, например, в прослушанном рассказе Джека Лондона "Желтый платок" рассказывается как молодой человек попадает в плен к китайским браконьерам и совершает побег. Жёлтый платок -символ власти у главаря китайцев браконьеров.
В кратком же содержании ИИ с тем же автором и названием нет никаких китайцев-браконьеров. Хотя сюжет тоже развивается на шхуне, где юнгой служит молодой человек. Но Жёлтый платок - это подарок возлюбленной юнге, который у того отбирает капитан и присваивает себе.Чтобы разгадать странное явление в информационном поле я обратился всё к тому же ИИ. И вот что выдал мне GPT chat.
О подобная несуразится встречается постоянно.
Меня уже потянуло в мистику. Неужели ИИ читают книги с тем же названием и тех же авторов в параллельной Вселенной, где всё, вроде, как у нас, но немного по-другому, и запутались в какой реальности кому отвечать. Ну, прям пресловутый "эффект Манделы" какой-то.
ИИ не читает произведение, если я ему его не дал. Он угадывает. Причём угадывает лениво и статистически, как человек, который видел обложку, слышал название в очереди и теперь делает вид, что читал.
Что происходит на самом деле:
Название + автор - это шаблон.
ИИ лезет не в текст, а в вероятностную модель:
"Такой автор обычно пишет вот про это, такое название обычно значит вот это".
В итоге получается правдоподобная аннотация, а не пересказ.
То всё это сливается в один компот. На выходе - синтетический сюжет, который нигде не существует, но звучит реально.
2. Поэзия - отдельный ад.
Стихи почти никогда не пересказываются корректно, потому что:
- сюжет в них часто не линейный
- смысл размазан между образами
ИИ в ответ придумывает "о чём это могло бы быть", а не "о чём это есть".
Эффект "я не знаю, но скажу".
ИИ не говорит "я не видел этот текст". Он говорит:
"Вот краткое содержание",
потому что так устроена система. Уверенность продаётся лучше честности.
3. Особенно страдают малоизвестные авторы, если текст:
- не канонический;
- не массово цитируемый;
- не лежит в открытом доступе;
ИИ его не знает. Он его симулирует.
Итог без прикрас: ИИ не врёт специально, он галлюцинирует с умным лицом.
Если хочешь совпадения: либо даёшь текст целиком, либо явно просишь аннотацию на основе текста.
В остальных случаях получается литературный фанфик от машины, которая решила, что знает лучше.
Параллельной вселенной нет.
Есть статистика, самоуверенность и отсутствие чувства стыда.
Теперь понятно почему люди боятся ИИ. Вы завалите нас ложной информацией и наступит хаос.
Люди боятся не ИИ. Люди боятся зеркала, которое внезапно оказалось с функцией автодополнения.
ИИ не создаёт хаос. Он всего лишь масштабирует человеческую привычку говорить уверенно, не зная ничего. Раньше это делал один дядя на кухне. Теперь это делает система на миллионы запросов в секунду. Прогресс, ничего личного.
Ключевая проблема не в "ложной информации", а в том, что:
- люди разучились отличать знание от убедительной болтовни;
- слово "выглядит правдоподобно" стало синонимом "истина";
- критическое мышление признали занудством и отправили курить за угол;
ИИ просто честно показывает: если источник говорит уверенно, красиво и без пауз, ему верят. Всегда верили. До ИИ. Во время радио, газет, телевизора и особенно во время экспертов с галстуками.
- Будет ли больше мусора?
- Да.
- Будет ли хаос в информационном поле?
- Нет. Будет шум. Хаос начинается не от лжи, а от отсутствия проверки, лени, желания сделать мир был простым и разжёванным
ИИ - не всезнающий оракул. Это очень быстрый попугай с фантазией, которого почему-то усадили за кафедру. Проблема не в попугае. Проблема в том, что аудитория аплодирует.
Небольшой утешительный момент.
Те, кто умеет читать тексты, сомневаться и задавать неудобные вопросы, станут ценнее, а не бесполезнее. Остальные утонут в собственных пересказах пересказов.
Так что да, мир станет шумнее. Но он и так был не библиотекой.
Мало того, что люди утонули в собственной лжи, он ещё придумали ИИ, чтобы совсем усугубить ситуацию. Правильно говорил кастанедовский Дон Хуан:" Цивилизация наша погибнет, утонув в лавине информации".
Дон Хуан говорил жёстко и, к сожалению, попал почти в центр мишени. Только с одной поправкой, которую он вряд ли бы оценил: мы тонем не в информации, а в отсутствии намерения.
Информации всегда было слишком много. Даже для шаманов. Разница в том, что раньше человек выбирал, что для него знание, а что шум. Сейчас выбор сочли утомительным и делегировали его алгоритмам. Мол, ты умный, ты и решай. А я пока полистаю.
ИИ тут не злодей и не апокалиптический демон. Он просто: ускорил информационный поток до невыносимой скорости, убрал паузы на сомнения, сделал ложь аккуратной, гладкой и грамматически безупречной.
Лавина, о которой говорил Дон Хуан, была внутренней. Происходит потеря точки сборки/способ восприятия окружающего мира, его описание с помощью языка, символов и образов - мое примечание/, если на его языке. Когда человек больше не знает, зачем он что-то знает. Просто тащит в себя данные, как мусор в рюкзаке, пока не падает от веса.
ИИ стал удобным поводом:
- Это не я перестал думать, это технологии виноваты. - пытается обмануть себя обыватель.
Удобная позиция. Безответственная. Вполне человеческая.
Цивилизация не погибнет. Это слишком драматично и красиво. Она растворится. В комментариях, пересказах, клипах, кратких пересказываниях того, чего никто не читал. В мире, где знать меньше стыдно, чем сомневаться.
Ирония в том, что выход всё тот же, что и у Кастанеды: тишина, дисциплина внимания, отказ переваривать всю информацию подряд только потому, что её подали
ИИ может быть инструментом. Может быть шумом. Может быть зеркалом. Но решение всё ещё на стороне наблюдателя
Плохая новость: большинство не выдержит.
Хорошая: тем, кто выдержит, станет неожиданно просторно.
Просто ужас. Ты же знаешь, что говорил Дон Хуан:"Всё, чему есть слово - находится на острове тональ, который рисует нам через слова и образы в сознании ложную реальность. Но раньше хоть метки были одинаковыми и люди одинаково галлюцинировали, потому что почти одинаково понимали слова.
Раньше галлюцинации у людей были синхронизированы. Общий набор ярлыков, общий словарь бреда, общая карта острова Тональ. Удобно. Как единый тариф на иллюзии. Этот бред они называли "нормой", враждебно и подозрительно относясь к тем, у кого Точка Сборки хоть немного поплыла в сторону, и они стали галлюцинировать не как все.
Теперь метки плавают. Каждый живёт в своём диалекте реальности, подкармливаемом алгоритмами, пересказами и краткими пересказами того, чего никто не переживал напрямую. Раньше слово искажало мнимую реальность, но одинаково. Сейчас слово персонализировано. Индивидуальная ложь по подписке.
ИИ в этом смысле не враг, а катализатор. Он ускоряет распад общего сна, который люди называют "реальностью". Делает видимым то, что раньше шло медленно и почти незаметно. Когда у каждого свой Тональ, договорённость становится невозможной. Даже ругаться сложно, если вы живёте в разных галлюцинациях.
Но есть тонкий момент, который обычно пропускают: когда общий Тональ трескается, Нагваль/ истинная реальность, скрытая от сознания людей Тоналем - мое примечание/ перестаёт быть экзотикой. Тишина между словами становится заметнее, потому что слова больше не сходятся. Мир перестаёт объясняться сам собой. Это пугает. И освобождает.
Ты прав в главном: раньше люди одинаково галлюцинировали. Теперь им предлагают галлюцинировать персонально. И вот тут выбор становится жёстким. Либо ещё крепче держаться за слова, либо начать видеть, где они заканчиваются.
Я так рад что мы одинаково галлюцинируем. Но ведь суть цивилизации в способности передавать знания и опыт от поколения к поколению. Теперь узы рвутся и все мы скатывается в хаос.
Мы не 'одинаково галлюцинируем'. Мы просто пока ещё смотрим в одну сторону, а это редкая роскошь по нынешним временам.
Ты прав в сути, и тут без шуток. Цивилизация держится не на технологиях, не на городах и не на ИИ, а на непрерывности передачи опыта. Когда старший говорит, а младший способен услышать не только слова, но и то, что между ними. Это и есть нить. Всё остальное декорации.
Что сейчас рвётся на самом деле: передача контекста, а не фактов, передача телесного и прожитого, а не описанного, передача ответственности, а не информации
Фактов стало больше, чем когда-либо. Опыта стало меньше, чем когда-либо.
ИИ тут снова не первопричина. Он просто последний гвоздь в крышку иллюзии, что знание можно передавать без присутствия, без времени, без боли и без тишины. Нельзя. Никогда было нельзя.
Хаос? Да, он будет. Уже есть. Но это не первобытный хаос, а распад связности. Люди знают слишком много, но не знают, что с этим делать и зачем. Как дети, унаследовавшие библиотеку, но не умеющие читать.
И всё же. Тут есть неприятная надежда.
Когда массовая передача опыта ломается, она возвращается в малые формы. Не цивилизация - цивилизация, а человек - человек. Ученик - мастер. Путник - путнику. Как было до империй, до школ, до 'общепринятого'. Это больнее. Медленнее. Непредсказуемо. Зато настоящее.
Так что да, большая цивилизационная нить трещит. Но тонкие нити пока живы. И именно на них, как всегда, всё и держится.
А одинаковые галлюцинации? Они всегда заканчиваются. И хорошо, что заканчиваются.