О разработке функций активации для повышения эффективной ёмкости и устойчивости нейронных сетей

О разработке функций активации для повышения эффективной ёмкости и устойчивости нейронных сетей

Сентюрев М.А. (ИСП РАН, Москва, Россия)
Макаров И.А. (ИСП РАН, Москва, Россия)

Аннотация

Функции активации играют критически важную роль в формировании как устойчивости, так и эффективной ёмкости нейронных сетей, однако их влияние может существенно различаться в зависимости от архитектурных условий. В данной работе исследуется, как дизайн функций активации и простые стратегии обучения влияют на поведение модели при фиксированном числе параметров, реализованные в рамках собственного экспериментального C++ фреймворка. Рассматриваются два взаимодополняющих подхода. Во-первых, изучаются немонотонные функции активации с сохранением градиента, объединённые с эвристикой обучения Equivalent Exchange (EqEx) для полносвязных сетей. Во-вторых, предлагается немонотонный вариант функции активации с сохранением градиента, направленный на улучшение динамики обучения в сверточных архитектурах. Эмпирическая оценка на наборе MNIST показывает, что EqEx в сочетании с немонотонными активациями снижает успешность процедур целевого синтеза входов на величину до 37% для Carlini-Wagner L2 и до 29% для Basic Iterative Method при сохранении сопоставимой или слегка улучшенной точности (до +0.6–0.8% в зависимости от конфигурации) при одинаковом бюджете параметров. На CIFAR-10 предложенная активация демонстрирует улучшенную динамику оптимизации, обеспечивая более высокую точность (70.8%) по сравнению с Leaky-ReLU (68.7%) и симметричными/зеркальными вариантами активаций (68.0%), приближаясь к результатам моделей с вдвое большим числом каналов (71.8%). Полученные результаты указывают, что различные принципы проектирования функций активации эффективны в разных режимах: немонотонность в сочетании со структурированным обучением улучшает устойчивость к исследованным атакам в полносвязных сетях, тогда как сохранение градиентного потока оказывается более важным для сверточных архитектур. В целом, дизайн функций активации представляет собой «лёгкий» механизм снижения успешности целевого синтеза входов и повышения эффективной ёмкости без увеличения вычислительных затрат на этапе инференса.

Ключевые слова

функции активации; немонотонные активации; обмен с эквивалентом; Бессмертный ReLU; устойчивость; устойчивость к синтезу входов; градиентный поток; сверточные нейронные сети

Издание

Труды Института системного программирования РАН, том 38, вып. 6, часть 2, 2026, стр. 147-162.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2026-38(6)-30

Для цитирования

Сентюрев М.А., Макаров И.А. О разработке функций активации для повышения эффективной ёмкости и устойчивости нейронных сетей. Труды Института системного программирования РАН, том 38, вып. 6, часть 2, 2026, стр. 147-162. DOI: 10.15514/ISPRAS-2026-38(6)-30.

Полный текст статьи в формате pdf (на английском) Вернуться к содержанию тома