аспирант, ген. директор
г. Липецк
Kondratev S. E., Postgraduate Student
Lipetsk
магистрант, главный инженер
г. Санкт-Петербург; г. Липецк
St. Petersburg; Lipetsk
канд. техн. наук, доц.
г. Липецк
Lipetsk
д-р техн. наук, проф., зав. кафедрой
г. Липецк
Lipetsk
Описываются подходы к реализации и результаты разработки метода управления квадрокоптером посредством жестов руки в рамках фреймворка ROS2. Предложенный метод предназначен для обеспечения интуитивного взаимодействия оператора с беспилотным летательным аппаратом в условиях, при которых использование традиционных пультов управления недоступно или нецелесообразно. В качестве источника входных данных применяется видеопоток с камеры глубины Intel RealSense D435i, обеспечивающей точное определение пространственных координат ключевых точек кисти руки. Верхнеуровневые функции управления — активация и деактивация двигателей, взлет и посадка — реализуются посредством заранее определенных статических жестов. Классификация жестов выполняется на основе анализа взаимного расположения ключевых точек в плоскости изображения с применением модели полносвязного перцептрона, включающей два скрытых слоя с 168 и 546 нейронами соответственно. Данная архитектура обеспечивает оптимальный баланс между скоростью вычислений и точностью распознавания. Непрерывное управление квадрокоптером реализуется посредством вычисления углов крена, тангажа, рыскания и значения тяги на основе анализа положения руки в трехмерном пространстве с использованием внутренних параметров камеры глубины. Для предотвращения эффекта шарнирного замка при углах, близких к 90°, введено ограничение диапазона допустимых отклонений. Сглаживание управляющих сигналов осуществляется посредством комбинации скользящего среднего с размером окна 5 и экспоненциального сглаживания с коэффициентом a = 0,5, что обеспечивает высокую отзывчивость системы и эффективное подавление аномальных значений. Все параметры фильтрации определены экспериментально. Точность классификации жестов превышает 99 %, время обработки кадра составляет не более 33 мс (~30 FPS), что полностью исключает запаздывание управляющих воздействий. Экспериментальные полеты в среде симулятора Gazebo с использованием модели квадрокоптера DJI Tello подтвердили работоспособность предложенного метода и продемонстрировали его перспективность для решения задач интерактивного управления беспилотными летательными аппаратами.
This paper presents the development and implementation of a quadcopter control method using hand gestures within the ROS2 framework. The approach enables intuitive operator-drone interaction in environments where conventional remote controllers are unavailable or impractical. An Intel RealSense D435i depth camera stream provides precise spatial localization of hand keypoints. High-level control functions — motor arming and disarming, takeoff, and landing — are executed through predefined static gestures. Gesture classification is performed by analyzing the spatial arrangement of hand keypoints in the image plane using a fully connected multilayer perceptron comprising two hidden layers with 168 and 546 neurons, respectively, achieving an optimal trade-off between inference speed and accuracy. Continuous quadcopter control is accomplished by computing roll, pitch, yaw angles, and throttle values derived from three-dimensional hand position analysis, utilizing the camera’s intrinsic calibration parameters and depth map data. To mitigate gimbal lock effects near 90° angles, a deviation range constraint is incorporated into the control pipeline. Control signal smoothing employs a combination of a moving average filter with window size 5 and exponential smoothing with coefficient a = 0.5, ensuring rapid system response while effectively suppressing outliers caused by image processing artifacts. All filtering parameters were determined through systematic experimental evaluation. The system achieves gesture classification accuracy exceeding 99 %, with per-frame processing time below 33 ms (~30 FPS), which eliminates control signal latency and ensures high responsiveness. Test flights conducted in the Gazebo simulator using a DJI Tello quadcopter model validated the proposed method and confirmed its practical potential for interactive unmanned aerial vehicle control applications.
The authors declare that there are no conflicts of interest present.