Под нечеткостью здесь подразумевается: для нисходящих цепочек – возможность продолжить распространение активации/прогнозирования в немного отличающемся порядке, или при поступлении помех (в еще не рассмотренном виде комбинированной нисходяще-восходящей цепочки). Для восходящих цепочек – возможность производить распознавание при пропусках небольшого количества элементов, при небольших изменениях порядка следования элементов.
Способы привнесения нечеткости сильно зависят от конкретной модели нейрона, способов обработки и угасания сигнала, под тем, какую смысловую нагрузку имеет факт появления отдельного сигнала. В данной записи рассмотрим общие концепции внесения нечеткости.
Пусть на очередном элементе распознающей цепочки не появилось достаточное количество активации вследствие пропуска распознаваемого сигнала. Допустим, что через один шаг, следующий по порядку элемент цепочки получает активацию от распознаваемого сигнала. Но разрешающего сигнала от предыдущего элемента распознающей цепочки нету. Как активировать этот нейрокластер, с учетом предыдущей активности цепочки, для продолжения распознавания? Нужно послать разрешающий сигнал с еще более раннего элемента распознающей цепочки.
Основных способов – два. На основе дополнительных связей, и на основе прохождения недостаточного сигнала.
Решение на основе дополнительных связей: сигнал будет послан с еще более раннего сработавшего элемента распознающей цепочки, так как этот элемент содержит дополнительные связи на элементы, находящиеся после него. Количество этих связей, которые шлют сигнал на опережение, может быть разным. В простейшем случае, несколько опережающих связей идут на элементы, непосредственно следующие за данным элементом, без пропусков, сплошным блоком: n->{n+1, n+2, n+3, …}. В более сложном случае, связи могут идти с разрывами, позволяя давать значительное опережение меньшим количеством связей: n->{n+1, n+2, n+3, n+5, n+8, …}.
Второе решение – не создавать дополнительные связи. Слабый сигнал без подкрепления на одном из шагов должен иметь возможность все равно пройти через барьер. Если обратиться к ранее рассмотренной аналогии с концепцией Емельянова-Ярославского, то при активации псевдонейрона, большей порога, нейрон переходит в режим высокочастотной активации. Посылка сигнала при активации, меньшей порога, будет означать единичный спайк, без переключения в режим высокочастотной генерации. Но если посылать любую активацию, большую нуля, такая схема может сильно увеличить ресурсоемкость вычислений НС. В качестве компромисса, можно ввести некоторый дополнительный порог «порог для посылки одиночного спайка». Например, он может быть равен половине «полного» порога, или равен некоторой константе, выбираемой в зависимости от назначения нейрона.
Кроме того, что придет сигнал, нужно обеспечить срабатывание цепочки в случае разрыва, и нормальную работу в случае без разрыва. Один из возможных механизмов: не полностью активированные цепочки имеют меньший приоритет обработки быстрой памятью и вниманием, чем полностью активированные, и их анализ запускается при особых обстоятельствах. Еще вариант: реакция на появление частичного сигнала происходит с некоторой задержкой, давая возможность успеть сработать распознаванию в обычном режиме. Распознавание в обычном режиме может подавлять проявления упреждения в своей цепочке, и даже в любых других цепочках (механизм торможения доминанты).
Перед разработчиком ИНС предстает выбор, какую схему выбрать. С одной стороны, схема на «подпороговом» прохождении сигнала потребляет меньше памяти – не нужны опережающие связи. С другой стороны, схема со связями быстрее посылает сигналы вперед, делая возможным распознавание более искаженных цепочек, которые иначе просто не успеют распознаться. Чтобы добиться таких же возможностей при распространении слабых сигналов, нужно увеличить скорость их распространения. Например, можно провести несколько дополнительных, «внутренних» тактов нейросети. Можно программным способом пройтись по цепочке, распространяя активацию по ней. Но этот способ плохо поддается распараллеливанию, в сравнении с решением на связях.
В биологических нейросетях свою роль играют оба способа. Причем, связи в биологических цепочках организованы по схеме с размытыми характеристиками – связи идут не сплошным блоком на N шагов вперед, а с плавным уменьшением количества связей при отдалении по времени от исходного элемента. А также, сигналы распространяются и одиночными спайками. Эта особенность мышления используется в некоторых грязных методах дистанционного съема информации с подсознания, а также записи информации в подсознание, что является темой для отдельного обсуждения.
