Подробное описание документа

   Супервизорная система для коллаборативной робототехнической ячейки на основе RGBD-камеры / Го У., Серебренный В. В., Шереужев М. А., Шэнь С., Пак Л. А. // Автоматизация. Современные технологии. - 2024. - Т. 78, № 8. - С. 350-358.

Задача слежения в коллаборативной робототехнической ячейке является актуальной. Су-первизорная система в первую очередь необходима для организации безопасного взаимодействия человека и робота. В данной работе рассмотрен иной подход к применению подобных систем. Предложены две RGBD-камеры для моделирования состояния и поведения человека в целях дальнейшей организации диалога между роботами и людьми. Диалог необходим для динамического распределения задач. В связи с этим разработаны четыре алгоритма с применением нейронных сетей: для распознавания лиц, тела, жестов и инструментов. Для распознавания лиц применяется библиотека Python «face_recognition», предоставленная Адамом Гейтгеем. Для определения ключевых точек тела и рук используются два фреймворка, OpenPose и MediaPipe (приведен их сравнительный анализ). Работа двух моделей сверточной нейронной сети (YOLOv5 и YOLOv7) проанализирована по критерию точности для распознавания инструментов. Концепция данной работы представлена в виде конечного автомата состояний на основе пакета ROS2. Моделирование динамического распределения задач выполнено манипулятором в симуляторе Gazebo. Экспериментальные результаты демонстрируют эффективность данной супервизорной системы.
Ключевые слова:сотрудничество человека и робота, взаимодействие человека с роботом, динамическое распределение задач

УДК

621.22 Гидравлическая энергия. Гидравлические машины

Авторы МГТУ

• Серебренный Владимир Валерьевич
• Шереужев Мадин Артурович
• Пак Леонард Алексеевич

Статья опубликована в следующих изданиях