Подробное описание документа

Чикишев А. Д., Белов Ю. С.
   Повышение эффективности больших языковых моделей с использованием fine-tuning на примере GPT-3 / Чикишев А. Д., Белов Ю. С. // Наукоемкие технологии в приборо- и машиностроении и развитие инновационной деятельности в вузе. : материалы Всероссийской научно-технической конференции, Калуга, 14-16 ноября 2023 года : в 2 т. / МГТУ им. Н. Э. Баумана (национальный исследовательский ун-т). Калужский филиал. - 2024. - Т. 1 : Секции 1-11. - С. 370-373.

Рассмотрен метод “fine-tuning” для совершенствования большой языковой модели GPT (Generative Pre-trained Transformer). GPT-3, как заранее предобученная модель, имеет огромный объем обучающих данных и может выполнять широкий спектр задач, связанных с естественным языком. Однако, чтобы достичь оптимальной производительности в конкретных задачах, требуется адаптация модели под эти задачи. Процесс fine-tuning включает в себя инициализацию заранее предобученной модели и последующее обучение на небольшом, специфическом для задачи, наборе данных.
Ключевые слова: генерация текста, большие языковые модели, fine-tuning, GPT