Нейрокодирование

«Крысы вспоминают обучение задом наперёд» (далее…)

http://elementy.ru/news?newsid=431138
Американские биологи экспериментально показали, что в ходе развития человеческого мозга в клетках — предшественниках нейронов происходит активизация мобильных генетических элементов — ретротранспозонов L1. Ретротранспозоны размножаются и встраиваются в различные участки генома будущих нейронов. В результате клетки мозга одного и того же человека оказываются генетически разнородными. (далее…)

Ух как стараются, изо всех своих интернациональных сил )) http://code.google.com/p/edlut/ The EDLUT (Event-Driven simulator based on Look-Up-Tables) is an advanced tool that allows splitting neural network simulations.

Пол года не читал http://www.kurzweilai.net/ , пришло время наверстывать упущенное. Самые интересные куски будут собираться здесь. (далее…)

Цитата из «Возвращение АВМ (АВМ – Аналоговая Вычислительная Машина)» ( http://ko-online.com.ua/node/42013 ):

Теперь наконец можно сказать, и о каких именно масштабах идет речь. Микросхемы, моделирующие нейронные сети, на самом деле не новинка и не экзотика. Но «size is matter», и одно дело – чип с десятком искусственных нейронов, и совсем другое – текущая разработка FACETS, аппаратный фрагмент нейросети, содержащей 200 тыс. (!) нейронов и 50 млн (!) синапсов-коммутаторов, позволяющих динамически изменять структуру сети. И это не фантастика – это техника сегодняшнего дня. Да, на фоне масштабов человеческого мозга эти цифры кажутся скромными (10–20 млрд против 200 тыс.), но… Скачок на четыре порядка всего за четыре года (от пары десятков нейронов до 200 тыс.) – очень впечатляющий показатель. И если результаты этого этапа проекта FACETS окажутся удовлетворительными, вполне возможно, что мы застанем появление совершенно иных машин. Биологический уровень сложности и электронное быстродействие не могут не привести к проявлению каких-то дополнительных, синергетических эффектов, о которых еще слишком рано говорить. Эти эффекты тем более возможны, если учесть порядки цифр – аналогово-цифровые нейронные сети FACETS «скорострельнее» своих биологических прототипов в сто тысяч, а классических сугубо цифровых искусственных нейронных сетей – в десятки миллионов раз.

На самом деле масштаб нейровычислителей современного поколения уже никак нельзя назвать игрушечным. Особенно если учесть факты, что современные теории строения мозга выделяют в его коре весьма специфические структуры, содержащие порядка сотен сильносвязанных между собой однотипных нейронов (так называемые модули коры), объединения сотен таких структур (гипермодули) и что удаленные на расстояние свыше долей миллиметра (от двух десятых до пяти десятых) нейроны практически не способны получать одни и те же возбуждающие сигналы. Иными словами, нынешний нейровычислитель проекта FACETS в каком-то смысле эквивалентен (не будем вдаваться в сложности понятия «эквивалентость») биологическому гипермодулю коры головного мозга. Это уже очень далеко от первых простейших программных моделей примитивных нейронов.

Можно проследить некоторые аналогии: так, в терминологии статьи, модули – это тутешние кластеры (или колонки), гипермодули – это цепочки памяти. Конечно, биологические цепочки памяти могут иметь очень круто отличающуюся архитектуру, от того, что будет описано в следующих сообщениях на этом сайте…

http://nauka21vek.ru/archives/3142 :

«На самом деле наш процессор воспроизводит структуру мозга условно, но благодаря физическим особенностям работы он значительно более быстр и более масштабируем. Процессор способен работать в 100 000 раз быстрее мозга, мы можем симулировать суточную мозговую активность за одну секунду», — говорит исследователь.

Прошло всего 6 минут – а система в мыслях прожила год )). Десять лет в час.

Дополнение к предыдущей записи в этом блоге: часто написанная статья редактируется в течении первого часа после публикации. Например, к прошлой записи добавлена цитата по теме облачных вычислений.

Набрел на ссылку на сайте Дмитрия Шуклина: http://www.sciam.ru/2008/10/interview.shtml
«МОЗГ – ЭТО ГИПЕРСЛОЖНЫЙ ПРОСТРАНСТВЕННО-ВРЕМЕННОЙ ТРАНСЛЯТОР, ИЛИ ПАРИЖСКИЙ РАЗГОВОР С ЮРИЕМ БУЖАКИ»

— Как же в мозге формируется логичная, строго адекватная картина мира, когда ему приходится оперировать таким колоссальным объемом информации, поступающей практически постоянно от пяти различных органов чувств?

— Это действительно очень интересно! Чем больше я занимаюсь изучением мозга, тем больше восхищаюсь гениальностью «конструкции» этого устройства. Осцилляторная активность в мозге образуется за счет протекающих одновременно ингибирующих и возбуждающих процессов, которые имеют разную силу в каждый момент времени. Если некий нейрональный ансамбль в гиппокампе кодирует некую энную характеристику пространства, то его суммарная активность постоянно флюктуирует в промежутке одного theta-цикла в 100 мс, на конце которого все нейроны неожиданно становятся молчащими или почти умолкнувшими, и так с каждым theta-колебанием. Это прекрасные старт- или стоп-сигналы для мозга в процессе «упаковывания» информации и «нарезания» ее на отдельные сегменты. Как в языке гласные и согласные звуки формируют слова, которые складываются в речь, так эти периоды молчания в каждом theta-цикле нейрональных ансамблей — в удобочитаемые для мозга единицы информации. Одна траектория пути животного по коридору кодируется последовательностью нейронов A, B, C, D, другая, после стоп-сигнала, — нейронами E, F, G, H и т.д., и все это за момент времени всего в 200 мс; без theta-осцилляций разделить эти два нейрональных ансамбля было бы невозможным, и соответственно, два разных пути следования по коридору перестали бы существовать в мозге животного. Такая интеграция и сегрегация за счет осцилляций происходят в мозге очень эффективно и почти без энергетических затрат.

Хорошая иллюстрация разделения НС на «контуры» (в терминологии данного сайта).

В дополнение к вопросу о силе торможения нейронов при распознавании, можно рядом поставить и вопрос о силе сигнала при прогнозировании.
Может появиться желание использовать некоторые наработки из теории вероятностей при осуществлении прогнозирования. Пусть нейрон А за всю свою жизнь активировался К(А) количество раз, а нейрон Б – К(Б). Между нейронами А и Б, с самого начала их существования, была создана прогнозирующая связь, в направлении от А к Б. Как учитывать успешность срабатывания связи, уместность прогноза? Для медленной памяти и быстрых условных рефлексов, прогноз можно считать успешным, если после посыла активации нейроном А, через некоторое время также активировался и нейрон Б (стандартная парадигма в биологии). У нейронов А и Б может быть множество связей, поэтому правильность срабатывания относится не к отдельному нейрону, а к парам нейронов. Тогда успешность срабатывания в целом можно приписывать к отдельной связи. Так и поступим. Пусть К(А, Б) – количество правильных срабатываний связи с нейрона А к Б. Очевидно, что К(А, Б)<=К(А).
Рассмотрим величину Д = К(А, Б)/К(А). Не будет ли тут деления на ноль, при отсутствии срабатывания нейрона А? При работе быстрой памяти, связь между нейронами создается только тогда, когда они активировались один за другим. Тогда количество срабатываний уже будет равно минимум единице. В медленной памяти, величина Д связи еще при создании связи может быть проинициализирована некоторым значением. Перерасчет выполнится только при увеличении количества срабатываний К(А) или К(А, Б). Так как К(А, Б) не может измениться до увеличения К(А) по определению, то волноваться не о чем.
Величина Д = К(А, Б)/К(А) может принимать значения от нуля до единицы. Ее смысл – «какова, по статистике, вероятность активации нейрона Б при активации А». При помощи этой величины можно производить вероятностное прогнозирование.
Для связей нисходящих цепочек, этот коэффициент всегда будет равен единице. Ведь нисходящие цепочки изначально создаются так, чтобы при посылке активации гарантированно полностью активировать нейрон назначения. Поэтому, для некоторых типов связей, этот коэффициент можно не пересчитывать. Проверка одного бита дешевле, чем арифметические действия – сначала К(А, Б)/К(А), затем – перемножение оставшихся коэффициентов для получения результирующего коэффициента ускорения пересылок.
Также этот коэффициент можно назвать мерой достаточности активации нейрона А для активации нейрона Б. Слово «достаточность» тут выбрано достаточно вольно. Но достаточность можно также определить по соотношению (исходящий порог нейрона источника)*(результирующая сила связи)/(входящий порог нейрона приемника). Если эта величина меньше единицы, то нейрон сам не сможет активировать нейрон назначения. Для такого случая, «вероятность правильного срабатывания связи» означает: вероятность того, что данный нейрон активируется вместе с другими условиями, способными следом активировать нейрон назначения. Эти условия могут задаваться сенсорной информацией и другими нейронами.

Можно также подумать, не усиливать ли при правильном срабатывании одной связи сразу же все синапсы, как это может происходить в биологических нейронах. ( http://www.sciam.ru/2005/5/neyrobiology.shtml «Как сохранить воспоминания», «В мире науки» №5 май 2005). С одной стороны, биологические нейроны могут играть более низкоуровневую роль при обработке информации. Нейронов в одном кластере – множество, отдельный нейрон может служить в качестве отдельной связи для кластера. С другой стороны, такое поведение может иметь плюсы, но это отдельная тема.

При осуществлении прогнозирования можно перейти от формулы линейной зависимости силы активации нейрона от вероятности правильности срабатывания к какой-либо другой формуле. Например, повысить силу активации в нижнем диапазоне. Я пока не занимался этими вопросами подробно, так как сконцентрирован на семантике. А математики такие вопросы как раз любят – предоставим эту задачу им.

Для гностических/распознающих нейронов и восходящих цепочек коэффициент Д следует сделать неизменяемым и положить равным единице. Хотя прогнозирование и тесно связано с распознаванием, но основная роль нейронов – точное выделение признака, а не прогнозирование. Вот для прогнозирующих связей с гностических нейронов на другие нейроны, коэффициент Д имеет смысл вычислять.