Митасов Андрей Павлович :
другие произведения.
Металоция неведомого. Модуль Н. Нейронки
Самиздат:
[
Регистрация
] [
Найти
] [
Рейтинги
] [
Обсуждения
] [
Новинки
] [
Обзоры
] [
Помощь
|
Техвопросы
]
Ссылки:
Комментарии: 1, последний от 22/04/2023.
© Copyright
Митасов Андрей Павлович
(
apm@tut.by
)
Размещен: 22/04/2023, изменен: 17/03/2024. 339k.
Статистика.
Статья
:
Философия
,
Естествознание
,
Изобретательство
Металоция неведомого
Иллюстрации/приложения: 7 шт.
Скачать
FB2
Ваша оценка:
не читать
очень плохо
плохо
посредственно
терпимо
не читал
нормально
хорошая книга
отличная книга
великолепно
шедевр
Аннотация:
Попытка "переизобрести велосипед" в области нейросетей.
Крайнее обновление 17.03.2024.
...Скачу - хрустят колосья под конем,
Но ясно различаю из-за хруста:
"Пророков нет в отечестве своем, -
Но и в других отечествах - не густо".
Владимир Высоцкий - Я из дела ушел, из такого хорошего дела!
Памяти моего отца Митасова Павла Васильевича,
который хотел, чтобы я стал ученым,
а я стал инженером и железнодорожником, как и он.
Оглавление:
Вместо введения.
О голографичности нейронок.
О фрактальности нейронок.
Немного об исторических проблемах нейронок.
"Случайности не случайны".
Немного о "переобучении" нейронок.
Обучение нейронок - построение "ландшафта" или "фрактала"?
О "поисках черной кошки в темной комнате".
Еще немного о "ландшафтах".
Строим магический "ландшафт" самостоятельно.
Еще одна непонятка нейронок.
Нейронки, как сеть эвристик.
"Диффузия" применительно к языковым моделям.
Концепция композитной нейронки.
Новые задачи для композитной нейронки.
Концепция "стапеля" для обучения нейронок.
Первая попытка сформулировать концепцию битовой нейронной сети (БНС).
Иллюстрация:
Фрактал голограммы от "Модели Kandinsky 2.1".
Композиция "MNINITIFTI" от "Модели Kandinsky 3.0".
Композиция "Метод диффузии" от Bing.
========
21.04.2023 7:46
Вместо введения.
В оглавление.
Попробуем "переизобрести велосипед" в области нейросетей.
Вряд ли такого рода попытку имеет смысл делать
на специализированных площадках типа Хабр,
слишком там "уверенная в своих знаниях" аудитория.
А вот на СамИздате можно попробовать.
Но надо постараться сделать это насколько возможно
и насколько это в моих силах понятно.
Так что стиль "рецензий" в этом случае точно не подойдет,
хотя под каждый даже не вывод, а пункт изложения можно указать
и ссылку и цитату и даже целый текст.
Но представляется, что в этом случае изложение того,
что хочется донести в этом тексте,
получится очень сумбурным и смазанным,
так как большинство "цитат" нужно будет
еще уметь "прочитать" в нужном контексте.
Но чтобы не быть уж совсем голословным,
тем кому интересно попытаться самому разобраться в этих вопросах,
могу предложить достаточно интересный цикл статей одного автора,
которую он, к сожалению, так и не закончил
- наверно потому что не получил "коллективного одобрения".
Статьи интересны наличием очень любопытных иллюстраций,
авторских выводов, и достаточно "оживленной" дискуссией в комментариях,
с которыми можно соглашаться или не соглашаться,
но игнорировать, наверно, не разумно.
Вот этот цикл.
[1]
"Давайте изобретать велосипеды"
Автор: kraidiky
https://habr.com/ru/articles/249657/
4 фев 2015 в 02:24
[2]
"Что происходит в мозгах у нейронной сети и как им помочь"
Автор: kraidiky
https://habr.com/ru/articles/219647/
17 апр 2014 в 01:17
[3]
"Подглядываем за метаниями нейронной сети"
Автор: kraidiky
https://habr.com/ru/articles/221049/
27 апр 2014 в 21:22
[4]
"Ансамбль синапсов - структурная единица нейронной сети"
Автор: kraidiky
https://habr.com/ru/articles/249031/
28 янв 2015 в 00:22
Лично я получил большое удовольствие от проработки этих статей
и комментариев к ним, но в результате пришел к выводам,
несколько иным. Хотя полностью согласен с автором материала [1]:
\\\ ...Лично мне одного взгляда достаточно чтобы понять,
\\\ что прежде чем двигаться дальше
\\\ некоторые вещи в нейроинформатике не помешало бы и переоткрыть.
\\\ Как говорил Джобс
\\\ Очень многое в нейронауках может быть улучшено
\\\ самым обычным человеком на самом обычном домашнем компьютере
\\\ если у него будет идея,
\\\ и он выкроит время чтобы ей заниматься.
\\\ Слишком мало знаний пока накоплено здесь,
\\\ слишком многое осталось в наследие от времён компьютеров,
\\\ занимающих этаж, слишком много замечательных алгоритмов
\\\ просто никто ни разу не попробовал...
Формулируя свои выводы в двух словах, можно попытаться сказать так:
"обученная нейросеть" - это "фрактальная голограмма"
или "голографический фрактал".
Что, в общем-то, звучит как "масло масленное",
но пока лучшего что-то не придумывается.
Но это принципиально иная, можно сказать "физическая" интерпретация
поведения нейросетей, в отличии от распространенных/общепринятых сейчас
интерпретаций нейросетей с "биологической", "математической",
"вероятностной", "логической", "графовой", "эзотерической"
и т.п. точек зрения.
Почему это так и делается попытка разобраться в данном модуле.
=========
22.04.2023 8:39
О голографичности нейронок.
В оглавление.
Итак что мы знаем о голограммах и голографии,
так сказать, не вдаваясь в "глубокие дебри".
Вики дает такое определение:
"Голограмма - объёмное изображение,
воспроизведённое интерференцией волн с некоторой поверхности.
Голограмму можно получить методами интерференции
на достаточно глубоких фоточувствительных материалах,
или другими методами,
формирующими на поверхности материала микрорельеф,
например, литьём или штамповкой".
и
"Принципиальным отличием голографии
от всех остальных способов регистрации изображения
является распределённость информации о всех снятых объектах
на поверхности всего датчика,
такого, например, как фотопластинка.
Поэтому повреждение голограммы,
ведущее к уменьшению её площади,
не приводит к потере части изображения.
Каждый осколок разбитой на несколько частей фотопластинки
с голограммой продолжает содержать изображение всех снятых объектов.
Уменьшается только количество доступных ракурсов,
а изображение на слишком мелких осколках
утрачивает стереоскопичность и чёткость".
Есть еще несколько отличительных свойств голограмм,
которые постараюсь сформулировать своими словами.
Во-первых,
голограммы записываются не как "маленькие картинки",
типа фотографий, где каждая отдельная точка соответствует
какому-то отдельному конкретному элементу изображения,
а как "интерференционная картинка", где каждая "точка",
так или иначе, участвует в создании всех элементов изображения.
А сама эта "интерференционная картинка", представляет собой
какую-то "загадочную" мешанину отдельных "пятен",
совершенно не похожую на записанное "изображение".
Во-вторых,
имеется возможность на одной и той же "фотопластинке"
записать несколько разных голограмм для совершенно разных изображений,
без потери качества. И при этом "интерференционная картинка"
становится еще более "запутанной" и "малопонятной"
при рассмотрении, например, под микроскопом.
Вроде все это известно достаточно давно,
но причем тут нейронки?
Начнем с "интерференции".
Как известно:
"Интерференция (физика) - взаимное увеличение или уменьшение
результирующей амплитуды двух или нескольких когерентных волн
при их наложении друг на друга".
А теперь взглянем на нейронки с "высоты птичьего полета".
Нейронки можно представить как последовательное прохождение
"возбуждения" от входа к выхода через несколько "слоев преобразования".
Причем, на каждом слое выполняются определенные действия
приводящие к "усилению" или "ослаблению" конкретного "возбуждения"
в зависимости от параметров, связей и алгоритмов (функции активации)
отдельных "нейронов".
И теперь вопрос: почему такого рода "преобразования" не могут выполнять,
в конечном итоге, что-то такое, что эквивалентно "функции интерференции"?
Т.е. нейронка представляет собой одновременно
и записанную "интерференционную картину" в виде "настроенных гиперпараметров",
и механизм "проявления интерференции" при подаче на вход
определенного "возбуждения"/вектора/токена или группы токенов.
То, что в классическом определении интерференции упоминаются
"когерентные волны", на самом деле ничего не ограничивает -
волны могут быть не только "синусоидальные", но и треугольные,
и пилообразные, и даже просто прямоугольные (меандр).
Да и вообще в принципе отсутствовать.
Важен принцип, что на какой-то "интерференционной картинке",
например, в виде "микрорельефа" или "наборе гиперпараметров",
то или иное "возбуждение"/сигнал, или усиливается или гасится.
Что в нейросетях как раз и реализуется.
Кстати, в той же Вики с термином "интерференция" с десяток различных
направлений связано, а вот в нейросетях этот термин,
если где-то и употребляется,
то точно не в отношении основного "процесса преобразований".
Наверно, на это есть какие-то исторические причины.
Но, простая аналогия "функции преобразования" нейронок и "интерференции",
сама по себе, никак может служить основанием для утверждения о том,
что нейронки могут быть представляться как голограммы.
Нужно еще, хотя бы одно свойство.
И таким свойством является "распределенность информации"
о всей "структуре преобразования" по всей нейронке.
То самое "принципиальное отличие" голограмм
от всех остальных "способов регистрации изображения".
Как же это свойство проявляется в нейронках?
Надо сразу отметить, что это свойство проявилось/выявилось не сразу.
Точнее в первых простых, особенно в однослойных нейронках,
типа перцептрона Розенблатта, это свойство как раз или
не проявлялось совсем, или проявлялось в очень малой степени.
Хотя толком никто таких исследований не проводил,
так как господствовала парадигма,
что каждый отдельный нейрон "несет ответственность"
за какое-то отдельное свойство,
типа как "зернышко на фотопластинке" несет ответственность
за "отдельный элемент изображения".
И только с переходом ко все более сложным и объемным сетям,
чисто опытным путем обнаружили некоторые эффекты/закономерности,
которые не укладываются в эту парадигму.
Но пока никто еще не решается всю парадигму "один нейрон - одно свойство"
кардинально пересмотреть.
Хотя попытки найти такие "нейроны" отвечающие за конкретный признак/свойство,
продолжаются и продолжаются с неизменным, как минимум, неубедительным результатом,
смотри например,
"Мы обнаружили в GPT-2 нейрон конкретного токена"
https://habr.com/ru/post/718720/
С заключительным выводом:
\\\ Действительно ли конгруэнтность нейрона с токеном