Подробное описание документа

   Анализ подходов к обучению языковых моделей BERT с целью классификации текстов на различных языках / Алия Мухаммад, Мартынюк П. А., Берёзкин Д. В., Козлов И. А. // Управление качеством инженерного образования: перспективы искусственного интеллекта : материалы 3-ей Международной конференции, посвящённой 70-летию кафедры ИУ6, Москва, 30 октября-2 ноября 2023 года / МГТУ им. Н. Э. Баумана (национальный исследовательский университет). - М., 2024. - С. 91-94.

В данной статье рассмотрены разные подходы к обучению многоязычных моделей BERT и проанализировано качество их работы при решении задачи бинарной классификации. Многоязычная модель для бинарной классификации на основе XLM-RoBERTa была обучена на двух наборах данных — одноязычном наборе данных на английском языке и наборе данных, содержащем примеры на английском, арабском и русском языках. Качество работы модели в обоих случаях было оценено на многоязычном тестовом наборе данных, который содержит примеры на 15 разных языках. Результаты экспериментов показали, что использование для обучения много-язычных данных позволяет добиться более высокого качества классификации.
Ключевые слова: классификация, многоязычная языковая модель, обучающий набор данных, обработка естественного языка, BERT