Подробное описание документа

Линь Ю.
   Дистилляции знаний в распознавании речи (обзор) = Knowledge Distillation Knowledge in Speech Recognition (Review) / Линь Ю. // Наука, технологии и бизнес : материалы 6-ой Межвузовской конференции аспирантов, соискателей и молодых учёных, Москва, 16-18 апреля 2024 года / МГТУ им. Н. Э. Баумана (национальный исследовательский университет). - М., 2024. - С. 260-265.

Быстрый прогресс в области глубокого обучения значительно улучшил производительность систем автоматического распознавания речи (ASR). Однако развертывание этих современных моделей на устройствах с ограниченными ресурсами создает проблемы из-за высоких требований к вычислительным ресурсам и хранению данных. Дистилляция знаний (KD) становится ключевым решением для смягчения этих ограничений путем переноса знаний из громоздкой модели (учитель) в компактную модель (ученик) без существенного ущерба для производительности. В этом обзоре обобщены результаты недавних исследований по применению знаний в ASR, разъясняются методологии, достижения и проблемы.
Ключевые слова: глубокое обучение, распознавание речи, дистилляция знаний, акустическая модель, искусственный интеллект
Rapid progress in deep learning has greatly improved the performance of automatic speech recognition (ASR) systems. However, deploying these state-of-the-art models on resourceconstrained devices poses challenges due to high compute and storage requirements. Knowledge distillation (KD) emerges as a key solution to mitigate these limitations by transferring knowledge from a bulky model (teacher) to a compact model (student) without significantly compromising performance. This review summarizes recent research on knowledge translation in ASR, explaining methodologies, advances, and challenges.
Keywords: deep learning, speech recognition, knowledge distillation, acoustic model, artificial intelligence