Разработка метода управления полетом квадрокоптера с помощью жестов руки

Описываются подходы к реализации и результаты разработки метода управления квадрокоптером посредством жестов руки в рамках фреймворка ROS2. Предложенный метод предназначен для обеспечения интуитивного взаимодействия оператора с беспилотным летательным аппаратом в условиях, при которых использование традиционных пультов управления недоступно или нецелесообразно. В качестве источника входных данных применяется видеопоток с камеры глубины Intel RealSense D435i, обеспечивающей точное определение пространственных координат ключевых точек кисти руки. Верхнеуровневые функции управления — активация и деактивация двигателей, взлет и посадка — реализуются посредством заранее определенных статических жестов. Классификация жестов выполняется на основе анализа взаимного расположения ключевых точек в плоскости изображения с применением модели полносвязного перцептрона, включающей два скрытых слоя с 168 и 546 нейронами соответственно. Данная архитектура обеспечивает оптимальный баланс между скоростью вычислений и точностью распознавания. Непрерывное управление квадрокоптером реализуется посредством вычисления углов крена, тангажа, рыскания и значения тяги на основе анализа положения руки в трехмерном пространстве с использованием внутренних параметров камеры глубины. Для предотвращения эффекта шарнирного замка при углах, близких к 90°, введено ограничение диапазона допустимых отклонений. Сглаживание управляющих сигналов осуществляется посредством комбинации скользящего среднего с размером окна 5 и экспоненциального сглаживания с коэффициентом a = 0,5, что обеспечивает высокую отзывчивость системы и эффективное подавление аномальных значений. Все параметры фильтрации определены экспериментально. Точность классификации жестов превышает 99 %, время обработки кадра составляет не более 33 мс (~30 FPS), что полностью исключает запаздывание управляющих воздействий. Экспериментальные полеты в среде симулятора Gazebo с использованием модели квадрокоптера DJI Tello подтвердили работоспособность предложенного метода и продемонстрировали его перспективность для решения задач интерактивного управления беспилотными летательными аппаратами.

1. Нурутдинов А. А., Ямалетдинова К. Ш., Тагиров И. И. Обнаружение утечек на объектах магистральных трубопроводов с использованием беспилотных летательных аппаратов // Наука, образование, производство для противодействия техногенным угрозам и решения экологических проблем (Техносферная безопасность-2024). С. 214—217.

2. Холодков К. И., Иванов С. Д., Алешин И. М. и др. Опыт применения беспилотных летательных аппаратов для построения цифровой модели рельефа // Наука и технологические разработки. 2021. Т. 100, № 4. С. 44—56. DOI: 10.21455/std2021.4-4.

3. Зубарев Ю. Н., Фомин Д. С., Чащин А. Н. и др. Использование беспилотных летательных аппаратов в сельском хозяйстве // Вестник Пермского федерального исследовательского центра. 2019, № 2. С. 47—51. DOI: 10.7242/2658-705X/2019.2.5.

4. Mallik B., Rahim M. A., Miah A. S. M., Yun K. S., Shin J. Virtual Keyboard: А Real-Time Hand Gesture Recognition-Based Character Input System Using LSTM and Mediapipe Holistic // Computer Systems Science & Engineering. 2024. Vol. 48, N. 2. P. 1—10. DOI: 10.32604/csse.2023.045981.

5. Serpiva V., Fedoseev A., Karaf S., Abdulkarim A. A., Tsetserukou D. OmniRace: 6D Hand Pose Estimation for Intuitive Guidance of Racing Drone // 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2024. P. 2508—2513. DOI: 10.1109/IROS58592.2024.10801907.

6. Lugaresi C., Tang J., Nash H., McClanahan C., Uboweja E., Hays M., Zhang F., Chang C.-L., Yong M. G., Lee J., Chang W.-T., Hua W., Georg M., Grundmann M. Mediapipe: А framework for building perception pipelines // arXiv preprint arXiv:1906.08172. 2019. DOI: 10.48550/arXiv.1906.08172.

7. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. 2015. Vol. 521, N. 7553. P. 436—444. DOI: 10.1038/nature14539.

8. Pukelsheim F. The three sigma rule // The American Statistician. 1994. Vol. 48, N. 2. P. 88—91. DOI: 10.1080/00031305.1994.10476030.

9. Gardner Jr. E. S. Exponential smoothing: The state of the art // Journal of forecasting. 1985. Vol. 4, N. 1. P. 1—28. DOI: 10.1002/for.3980040104.

10. Koenig N., Howard А. Design and use paradigms for gazebo, an open-source multi-robot simulator // 2004 IEEE/RSJ international conference on intelligent robots and systems (IROS) (IEEE Cat. No. 04CH37566). IEEE, 2004. Vol. 3. P. 2149—2154. DOI: 10.1109/IROS.2004.1389727.

11. Злотников К. А., Волосюк А. А., Тан Х. А. Особенности человеческого фактора в беспилотной авиации и подготовка операторов беспилотных летательных аппаратов // Человеческий фактор в сложных технических системах и средах. 2016. С. 231—237.