Приступим – запись №2
Итак, приступим. Начнем изучение сравнительно нераспространенных (необычных) нейронных сетей. Требование – копирование человеческого мышления. Как вы понимаете, убогие персептроны или всякие сети Хопфилда с жалкими сотнями нейронов не годятся для моделирования миллиардов нейронов человеческого мозга. Не годятся как с точки зрения семантики, так и с точки зрения правил работы отдельных нейронов.
Из застолбленных названий, наиболее близко подходит термин «ассоциативные нейросети», либо «семантические нейросети».
С ходу в галоп. Задача: разработать архитектуру нейросети, способной хранить цепочки событий. Эта задача решалась мною в течении двух лет. Основная сложность – комбинаторный взрыв различных решений, при попытке учета многих требований, таких, как выделение обобщений по цепочке. Так как решения должны были удовлетворять большому количеству условий. Попытка даже выработать эти условия заняла много времени.
Вот стандартное решение, вокруг которого строятся все остальные рассуждения. За отдельное «событие», которое нужно запомнить, либо признак, и т. д., берется появление активации на некотором нейроне. В любой момент времени может быть активно от нуля до большого количества нейронов. Настолько большого количества, чтобы, например, запоминать аудиовизуальную информацию. То есть до многих тысяч, и даже миллионов нейронов.
(Нейрон будем считать активированным, если его возбуждение=активация=уровень активации превышают или равны порогу. Условие равенства выбирается для удобства программирования).
После активации нейронов, как долго нейрон должен быть активен? Для простейшей ИНС, для начала, рассмотрим ситуацию, когда «нейрон после активации активен в течении одного такта ИНС». Если нейрон активен значительно дольше, в цепочку памяти можно внедрять информацию как об активации нейрона, так и о прекращении режима активации. Или же можно создавать ссылки каждый такт, пока соответствующий нейрон активен. Одно из возможных решений – не обращать внимания на прекращение активации нейрона: ведь чаще всего главное – зафиксировать начало события. Дальнейшая активация может быть остаточной активацией нейрона, которая угасает. Для запоминания информации о прекращении активации (например, прекращение звука) можно использовать трюк, когда запоминается активация, но сдвоенного нейрона – «моя активация значит, что обслуживаемый сдвоенный нейрон деактивирован».
Вот, для примера, уже есть несколько вариантов, которые составляют комбинаторный взрыв при разработке архитектуры НС. Что и делало разработку такой сложной.
Filed under: записи с метками Теги/метки: нейронные сети No Comments »
« Открываем эру ИИ | Home | №3 О создании нейронов »
Leave a Reply
You must be logged in to post a comment.
