Подробное описание документа

Мельников К. С., Белов Ю. С.
   Модификации базовой архитектуры рекуррентных нейронных сетей для решения проблемы затухающего градиента / Мельников К. С., Белов Ю. С. // Наукоёмкие технологии в приборо- и машиностроении и развитие инновационной деятельности в вузе : материалы Региональной научно-технической конференции (Калуга, 23 - 25 апреля 2024 года) : в 2 т. / МГТУ им. Н. Э. Баумана (национальный исследовательский университет). - 2025. - Т. 2. - С. 176-178.

Рассмотрены и проанализированы модификации базовой архитектуры рекуррентных нейронных сетей, позволяющие решит проблему затухающих градиентов. Описаны следующие модификации: сети долгой краткосрочной памяти, рекуррентные блоки с шлюзами. Цель доклада — рассмотреть основные модификации рекуррентных нейронных сетей, выделить их особенности, преимущества и недостатки. Результаты работы могут быть применены при выборе оптимального метода для решения проблемы затухающего градиента, а также для повышения производительности нейронных сетей.
Ключевые слова: рекуррентные нейронные сети, сети долгой краткосрочной памяти, рекуррентные блоки с шлюзами, проблема затухающего градиента