Подробное описание документа

Панилов П. А., Комардин М. А.
   Сравнительное исследование агентов QLearning, MPC и эвристик для управления потоками в многоканальной системе / Панилов П. А., Комардин М. А. // Известия Тульского Государственного университета. Сер. Технические науки. - 2025. - № 11. - С. 67-76.

Проводится сравнительный анализ методов управления потоками в дискретном многоканальном (двухканальном) стохастическом потоке заявок. Рассматриваются три подхода: метод обучения с подкреплением на основе Q-обучения, модель предсказательного управления (Model Predictive Control, MPC) и эвристические стратегии (статическое правило «самая короткая очередь» и случайный выбор канала). В качестве критерия эффективности используется минимизация суммарной длины очередей. Экспериментальная симуляция, основанная на реализации среды с двумя серверами (каждый сервер обрабатывает одну заявку с вероятностью в каждый дискретный шаг), проведена с моделированием входного потока по различным распределениям (биномиальному, геометрическому, пуассоновскому, нормальному и экспоненциальному). Показано, что стратегия MPC, использующая известные параметры нагрузки, обеспечивает наименьшую суммарную длину очередей в большинстве сценариев, тогда как QLearning требует времени для обучения и проявляет себя хуже при тяжелых нагрузках. Эвристики имеют простую реализацию, но неустойчивы при высоких интенсивностях потока. Представлены математические постановки каждого из методов и детальное описание эксперимента. Дополнительно проведён анализ чувствительности методов к изменению параметров входного потока, что позволяет оценить их устойчивость и адаптивность в различных сценариях.
Ключевые слова многоканальная система, управление потоком, qlearning, модель предсказательного управления, эвристика, система массового обслуживания