Прогнозирующие связи
В самом мягком варианте, прогнозирующие сигналы распространяются по уже рассмотренным цепочкам памяти, а также вверх по обобщающим связям. Но тянет на порядок повысить возможности. Например, хочется иметь возможность:
1) Создавать прямые прогнозирующие связи между нейронами, не дожидаясь выделения соответствующей высокоуровневой цепочки. Кроме создания самой связи, это дает возможность прогнозировать на много циклов вперед сразу, не дожидаясь прохождения подпорогового сигнала по всей цепочке.
2) Кроме возможности прогнозирования далеко вперед по времени, сделать такое прогнозирование как можно более точным
Рассмотрим пункт 1. Как обычно, все важные события запоминаются и заносятся в цепочку памяти. Дополнение к ранее описанным режимам работы: от всех признаков, которые встретились не далее, чем N циклов назад, создать прогнозирующие связи на все признаки, которые встретились в данном цикле. (N для начала возьмем небольшое, порядка 15, а затем покажем, как его увеличить без значительной деградации производительности).
Такой алгоритм по возможной топологии связей между кластерами сразу на порядок увеличивает возможности ИНС. (Пока рассматривается только топология, без анализа влияния таких связей на активацию нейронов). Такие ИНС приближаются по возможностям к ИНС с постоянной пластичностью нейронов. Почему? Потому, что в ИНС с постоянной пластичностью нейронов все равно будут усиливаться только те связи, которые попали в некоторый интервал N – те же, что и тут. Но в ИНС с пластичностью связей будет много таких связей, которые никогда не будут активированы – а тут создаются связи, которые в уже правильно «сработали» и «закрепились». Второе преимущество – в ИНС с пластичностью связей много полезных связей может быть пропущено, а тут они создаются гарантировано.
Видно, что таким алгоритмом будет создаваться очень много связей, большинство из которых малополезны. Их можно и нужно будет удалять после переоценки их важности через некоторый период времени. Формула оценки необходимости удаления будет включать в себя количество правильных срабатываний связи (удачное прогнозирование), возраст связи (молодой связи с небольшим количеством срабатываний надо дать шанс проявить свои полезные качества), параметры нейронов отправки и назначения и важность связи в их контексте, эмоциональный фон значимости. Кроме того, вспомните про среднее значение в несколько тысяч связей у нейрона – есть куда расти.
Но между двумя произвольными признаками уже может быть связь – тогда надо использовать уже существовавшую. Причем, она могла создаваться для работы на других временных задержках. Как повысить точность? Так как имеем дело с ИНС, то возможен любой беспредел. Пусть связь будет содержать информацию о N циклах. Эта информация будет хранить данные о вероятности срабатывания нейрона назначения за данный цикл, отстоящий на некоторое количество шагов от цикла возникновения сигнала. Очень похоже на ТРФ.
Коэффициенты необходимости и достаточности уже рассматривались. Пусть iє[0; N] и А[i] – вероятность Активации нейрона назначения за цикл, отстоящий на i+1 шагов после активации нейрона отправки (плюс один цикл – смысл в том, что в текущем цикле, который может отстоять на 0 шагов от цикла активации, вычисляется вероятность, а вычисленное значение переходит для обработки в следующий цикл). Так как за i шагов нейрон отправки может сработать не один раз, то говорится не «отстоящий на i шагов от _последней_ активации» – а просто активации.
Соответственно, значения коэффициентов массива А[i] должно вычисляться так:
* при активации нейрона-отправителя, сигнал пускается по внутренней цепочке массива коэффициентов прогнозирования. Тут одна связь похожа на целую нейронную цепочку в ИНС, которые рассматривались ранее. В ЕНС, это могут быть различные механизмы отложенного запуска химических реакций.
* при активации нейрона назначения, пересчитываются вероятности для всего массива: если сигнал отправки дошел до некоторого элемента массива – то для этого элемента вероятность увеличивается, для всех остальных – уменьшается.
Что, если хочется не ждать все i циклов, а получить значение прогноза сразу?
Пусть iє[0; N], а Н[i]=1-А[i] – статистическая вероятность того, что нейрон назначения НЕ сработает в цикл, отстоящий на i шагов от активации нейрона отправки.
Пусть j циклов назад, jє[0; N], нейрон отправки был активирован, и других активаций не было. Вероятность того, что за оставшиеся циклы от j до N нейрон назначения также НЕ будет активирован будет П = Произведение( Н[i] ), iє[j; N]. Тогда вероятность того, что сработает хоть раз – (1-П). Ожидаемое количество активаций нейрона назначения С = Сумма( А[i] ), iє[j; N].
Если за время, меньшее N, нейрон отправки был активирован несколько раз, то произведение П следует считать для каждого из сигналов, а потом их перемножить. Сумма всех А[i], iє[j; N], для всех j, даст прогнозируемое количество активаций нейрона назначения. Кто учил теорвер, подскажите точнее :).
Величина N – небольшая. Для больших интервалов прогнозирования, нужно использовать признаки, образы и цепочки памяти, которые работают с большим масштабом времени. Например, полученные в результате обобщения, или в результате выборки по некоторым признакам.
Но можно рассмотреть вариант увеличения интервала прогнозирования без увеличения длины массива коэффициентов прогнозирования. Для этого нужно, чтобы элементы массива отвечали за интервалы времени большие, чем один цикл. Для того, чтобы сохранить баланс точности и длины прогнозирования, предлагается первым элементам массива ставить в соответствие по одному циклу, и лишь после достижения некоторого количества циклов увеличивать соотношение «циклов на элемент массива».
Filed under: записи с метками Теги/метки: нейронные сети No Comments »
« Перенос сознания на внешние носители | Home | Сериализация ИНС »
Leave a Reply
You must be logged in to post a comment.
