Сравнительный анализ методов обучения и архитектур Echo State Network

Сравнительный анализ методов обучения и архитектур Echo State Network

Андросов И.А. (АО «НПК «Криптонит», Москва, Россия)

Аннотация

В работе рассматриваются сети эхо-состояний (Echo State Network, ESN), которые являются одними из самых распространенных способов реализации резервуарных вычислений. Они состоят из рекуррентной нейронной сети, веса которой выбираются один раз и не обучаются, и выходного, обычно линейного, обучаемого слоя. Такой подход позволяет создавать энергоэффективные и быстрые нейронные сети, способные обучаться в режиме реального времени. Но так как веса ESN не обучаются, их выбор становится отдельной задачей, требующей анализа. Работа представляет собой сравнительных анализ и обзор различных архитектур ESN и методов обучения выходного слоя. Анализ построен на практическом опыте использования и теоретических основах, которые включают в себя исследование зависимости динамики резервуара от топологии графа связей и спектра матрицы связей. Для анализа структуры резервуара применяются такие инструменты, как конденсация графа связей, линеаризация динамики и вводится новое понятие графовой памяти. Кроме известных архитектур ESN, в обзор входят менее популярные или ранее не используемые в контексте резервуарных вычислений модели, такие как система реакции-диффузии, один нейрон с запаздыванием с FORCE обучением и нейронные поля. Эффективность подходов проверяется в ходе всесторонних экспериментов по прогнозированию хаотического временного ряда Макки-Гласса. Работа не только служит практическим руководством по выбору архитектуры ESN и метода обучения выходного слоя, но и обосновывает перспективные направления для дальнейших исследований.

Ключевые слова

резервуарные вычисления; рекуррентные нейронные сети; сети эхо-состояний; дифференциальные уравнения; нейронные поля; системы реакции-диффузии; графовая память.

Издание

Труды Института системного программирования РАН, том 38, вып. 3, часть 1, 2026, стр. 87-114.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2026-38(3)-5

Для цитирования

Андросов И.А. Сравнительный анализ методов обучения и архитектур Echo State Network. Труды Института системного программирования РАН, том 38, вып. 3, часть 1, 2026, стр. 87-114. DOI: 10.15514/ISPRAS-2026-38(3)-5.

Полный текст статьи в формате pdf Вернуться к содержанию тома