Копия с aicommunity.org
Форум на aicommunity.org умер уже более полугода назад. Нашел кусок текста, который писал на тот форум в процессе обсуждения (кажется, http://forum.aicommunity.org/viewtopic.php?p=50498):
Выработана достаточно необычная модель ИНС. Краткое описание:
1) Квазинейроны.
Нейроны в модели соответствуют группам биологических нейронов.
2) Сложная структура нейронного кластера
Нейроны в модели объединяются в кластеры. В отличии от других моделей, разные части кластера имеют специализацию. Например, пусть есть нейронный кластер, распознающий набор признаков {П}. Одна часть кластера (отдельный квазинейрон) содержит связи с нейронов {П}. Такой (квази)нейрон можно назвать «входом кластера». Другой нейрон – «спуск к низкоуровневым признакам» – шлет сигналы к нейронам из {П} (а не принимает их). Отдельный нейрон служит «выходом» кластера – шлет сигналы вверх по иерархии признаков (иерархия условная). Другие части кластера занимаются проведением сигнала с учетом временной последовательности срабатывания, управлением режимами работы кластера, и т. д.
Такое разделение делает нейросеть более понятной для разработчика, по аналогии с фреймовыми моделями, но в то же время сохраняет гибкость и решает проблему внутренней активности.
3) Соединение кластеров в универсальные цепочки памяти.
Так как у кластеров сложная структура, то цепочка из кластеров может работать в различных режимах – и распознавания, и прогнозирования, и воспоминания. При запоминании, создается цепочка из кластеров, каждый кластер содержит входящие связи от (нейронов) признаков, которые были активны в тот некоторый момент. При поступлении похожей последовательности признаков, такая цепочка активируется (распознавание). В другом режиме работы, та же цепочка последовательно активирует входящие в нее кластера и запомненные ими признаки.
4) Управление условиями срабатывания отдельных подсистем ИНС
Это что нужно для управления режимами работы универсальных нейронных цепочек. Среди всех нейронных кластеров, нейроны одного функционального назначения группируются. Например, группируются все нейроны распознавания признаков (всех кластеров), или все нейроны посылки сигналов к признакам, входы/выходы/нейроны управления режимами работы. Каждую такую группу для краткости я называю «нейронный контур (работы)». В результате такого условного разделения, управлять нейросетью становится значительно легче. Обработку нейронов одного типа можно производить без учета других групп. Например, пусть в отдельном цикле происходит проход по всем нейронам из группы «выход кластера». Все активные нейроны признаков (например, активные кластеры зрительной коры) пошлют сигналы на своих выходы. Пока ничего нового в сравнении с другими моделями нет, но будет позже. Далее – проход по всем нейронам типа «вход кластера», обработка изменений, произошедших на предыдущих шагах. На этих нейронах как раз появилась активация, посланная на предыдущем шаге с нейронов «выход признака». Имеем ситуацию – распознаны более высокоуровневые признаки. Теперь можно в отдельном цикле обработать нейроны «посылка сигналов прогнозирования развития ситуации». Такое разделение позволяет работать с нейросетью, не беспокоясь о синхронизации отдельных подсетей. Например, так как нейроны признаков никто не трогает, активация на них не меняется, и не важно, что нейросеть будет делать – слать прогнозирование, или задействовать какие-то другие нейронные контуры, и сколько подобных шагов и в какой последовательности были произведены.
* не важна последовательность срабатывания других нейронных контуров
* можно варьировать скорости угасания сигналов в разных нейронных контурах
* можно игнорировать накопившийся потенциал на нейронах некоторого контура до того времени, пока они не понадобятся – сигналы будут слаться вовремя
* можно управлять семантикой операций – раздельно слать сигналы вверх/вниз по иерархии, и т. д.
5) Пример высокоуровневых нейронных операций, которые можно производить при помощи таких особенностей ИНС
Пересечение признаков. Активны два нейронных кластера. Нужно найти общие признаки. Достаточно пройтись по контуру «посылка сигналов вниз к признакам». Неактивные кластеры сигналы не пошлют. Признаки, входящие в оба активных кластера (имеющие связи от активных кластеров к себе), получат двойное превышение активации над порогом. Для объединения достаточно выделить кластеры с любой активацией, превышающей порог.
Найти разницу: один активный кластер шлет тормозящие сигналы, другой – активирующие. Полученные активные нейроны входят только во второй кластер.
6) Пример еще более высокоуровневого режима работы
Активны по одному кластеру у двух цепочек памяти.
Активные кластеры шлют сигналы к своим признакам.
Признаки, входящие в оба кластера, выделяются.
Выделенные признаки заносятся в отдельный, новый кластер – пусть Н0.
Исходные кластеры активируют нейронный контур «перейти вперед по цепочке памяти».
Активируются два следующих нейрокластера тех же нейронных цепочек, соответствующие развитию исходной ситуации во времени. Два предыдущих активных нейрокластера тормозятся. Повторение шагов, выделение общих признаков, занесение их в новый отдельный нейрокластер Н1 – и присоединение этого Н1 к Н0 в качестве роста новой нейронной цепочки.
Такой алгоритм выделяет устойчивую последовательность активации признаков, производит обобщение памяти.
Теперь должно быть понятно, что при разнообразии высокоуровневых нейтронных алгоритмов важно, чтобы было легко управлять скоростью угасания сигнала на отдельных нейронных контурах, следить за тем, чтобы сигналы с различным назначением и разных циклов не накладывались друг на друга.
7) Виртуализация внутрикластерных межнейронных связей. Упрощение управления режимами работы ИНС.
Изначально, взаимодействие между различными нейронными контурами внутри одного нейронного кластера происходило по обычным межнейронным связям. Например, нейрон признаков некоторого кластера распознал свои признаки, активировался, и шлет сигнал на нейрон выхода того же кластера, и на нейрон прогнозирования. А если нужно, чтобы сработал только один из них – прогнозирования или выхода, а не оба? При раздельной обработке нейронных контуров, можно было просто не обрабатывать нейроны некоторого типа несмотря на то, что на них есть сигнал. Но есть лучшее решение: один из нейронов – прогнозирования или выхода – затормозить. Или вовсе не слать на него сигналы. Но программирование таких эффектов утомительно. Решение – виртуализация внутрикластерных связей. Примерный код: «для всех нейронных кластеров, если активен нейрон признаков, активировать нейрон прогнозирования соответствующего кластера». Не нужно создавать тормозящие связи внутри кластера; активация появляется только на тех нейронах, где она нужна. Соответственно, алгоритм из пункта 6 будет теперь содержать пункты: «активный кластер активируют нейроны посылки сигналов к признакам», «активные кластеры активируют нейроны посылки сигналов к кластерам, следующим в цепочке памяти», «нейроны контура Х обнуляют активацию»
8) Гиппокамп, быстрая память – концепция
Принята следующая концептуальная модель. При активации некоторого нейронного кластера, гиппокамп быстро запоминает данный факт через, наверное, сложные нейросети коммутации. Ночью, гиппокамп может активировать признаки в той же последовательности. Повторная активация признаков в той же последовательности, но позже, повышает вероятность образования связей механизмами, рассмотренными Емельяновым-Ярославским (или Бощенко), так как проходит время на образования дополнительных комбинаций межнейронных связей (нейронная пластичность), а уже обнаруженные связи дополнительно закрепляются. Дополнительная активация некоторых других нейронов может способствовать нахождению дополнительных вставных нейронов, благодаря которым образуется связь (1000 связей на нейрон – 1000 потенциальных целей, один промежуточный нейрон – миллион потенциально достижимых целей, еще один – миллиард).
9) Благодаря концепции в п. 8, в искусственной нейросети можно принять: так как известно, что гиппокамп поможет созданию цепочки нейронов, при поступлении признаков (активации нейрокластеров) можно сразу же создавать нейронные цепочки, соответствующие идеальному случаю: абсолютно точное восстановление исходных признаков. Можно не ждать кучу времени, пока образуются такие цепочки.
10) Медленный сон.
Пункт 8 объясняет возможное назначение медленного сна. Дополнительная работа, которую производят мои модели ИНС во время медленного сна – выделение обобщающих нейронных цепочек по типу пункта 6. Тут же происходит очищение гиппокампа и удаление малоприоритетных нейронных цепочек
11) Производительность
В целях повышения просотты разработки, не только группы нейронов и связей объединяются в «квазинейроны» и «квазисвязи», но также и спайки моделируются одним квазиспайком. Вместо посылки множества спайков, берутся абстрактные «послать сигнал до полной активации». Все это значительно экономит ресурсы.
12) «Двойная активация» из пункта 5 и 6 (цитирую сообщение из своего блога на http://neurocod.net/ )
Но у этого подхода есть концептуальные недостатки. Как известно, потенциал действия биологических нейронов при разрядке всегда один и тот же. Накопление на мембране «двойного заряда» не подходит. Повышение порога гуморальными механизмами – слишком медленно (а люди просыпаются достаточно быстро). Можно рассмотреть изменение потенциала на мембранах вспомогательной нейросетью. Можно в режиме выделения тормозить ею нейроны, так что активироваться смогут только нейроны с двойной порцией активации. Или можно во время обычной работы дополнительно активировать нейроны, а в режиме выделения – прекращать поставлять помощь. Можно комбинировать активацию и торможение. Но мне более вероятным кажется использование времени активации в качестве варьируемого параметра. Так как посылка активации в природных нейросетях в режиме высокочастотного возбуждения происходит не единовременно, а множеством спайков, то нейрон, получающий двойную порцию активации (от двух цепочек), будет активирован примерно вдвое быстрее, чем в нормальных условиях. Вариантов реализации механизма выделения нейронов с двойной активацией тогда остается два. В одном варианте, нейроны цепочек шлют вдвое меньше спайков, чем обычно, и активируются только нейроны, входящие в обе цепочки. Мне более вероятным представляется случай, при котором отдельная нейросеть детектирует нейроны, активировавшиеся вдвое быстрее, чем обычно. Вдвое быстрее, конечно, после предыдущего такта нейросети «посылка к признакам». Тот же Бужаки говорил, что есть нейроны, очень точно реагирующие на время активации.
13) Ритмы мозга, электроэнцефалограммы
Различные высокоуровневые алгоритмы работы ИНС содержат различные последовательности активации нейронных контуров. Эти потворяющиеся последовательности в разных режимах – разной длинны. Во время активации некоторого нейронного контура, количество активных нейронов отличается от предыдущего шага. Все это вместе напоминает картину, возникающую при анализе электроэнцефалограмм, различные ритмы мозга. Наличие одновременно нескольких ритмов в мозге человека наводит на мысли о том, что мозг обычно одновременно решает несколько задач – например, прогнозирование и обобщение, поиск аналогий и запоминание.
Filed under: записи с метками Теги/метки: нейронные сети No Comments »
« Автоматизация морских грузовых перевозок | Home | Русские сказки »
Leave a Reply
You must be logged in to post a comment.
