Метод управления на основе технологий компьютерного зрения и машинного обучения для адаптивных систем

Рассматривается проблема организации процесса управления в адаптивных системах, в которых требуется обеспечить сохранение оптимального состояния системы при изменении внешних условий. Анализ существующих подходов к решению данной задачи показал большую перспективность синергетического эффекта от использования технологий машинного обучения и компьютерного зрения. Проведен системный анализ процесса управления с использованием данных технологий, формализованы его основные объекты, поставлена задача исследования. Для ее решения предложен метод, новизна которого заключается в применении технологий машинного обучения и компьютерного зрения для распознавания и получения сжатого представления о состоянии наблюдаемой среды, объектов наблюдения и управления, а также в унификации процесса выбора управляющей команды на основе трех подходов (системы правил, классифицирующей нейронной сети, машинного обучения с подкреплением). Все этапы метода формализованы, возможность использования технологий машинного обучения (нейронных сетей) для их реализации теоретически обос нована. Практическая значимость разработанного метода заключается в возможности автоматизации деятельности человека-оператора в сложных адаптивных системах за счет использования технологий машинного обучения и компьютерного зрения. Метод апробирован на примере системы управления адаптивной беговой платформой. Проведены экспериментальные исследования для оценки работоспособности метода, его производительности и точности работы при определении состояния объектов наблюдения с использованием технологий компьютерного зрения. В результате работы была доказана высокая эффективность предложенного подхода. Использование технологий компьютерного зрения и машинного обучения позволило не только осуществлять управление адаптивной беговой платформой, но и корректно определять критические ситуации (падение и резкую остановку человека), что повышает безопасность работы системы управления, расширяет ее функциональность в области мониторинга состояния окружающей среды и объектов наблюдения.

1. Raibulet C., Arcelli Fontana F., Carettoni S. A preliminary analysis of self-adaptive systems according to different issues // Software Quality Journal. 2020. Vol. 28, N. 3. P. 1213—1243.

2. Weyns D., Bencomo N., Calinescu R., Camara J., Ghezzi C., Grassi V., Tamburrelli G. Perpetual assurances for selfadaptive systems, Software Engineering for Self-Adaptive Systems III, Assurances. Springer, Cham. 2017. P. 31—63.

3. Mahdavi-Hezavehi S., Avgeriou P., Weyns D. A classification framework of uncertainty in architecture-based self-adaptive systems with multiple quality requirements // Managing Trade- Offs in Adaptable Software Architectures. Morgan Kaufmann, 2017. P. 45—77.

4. Weyns D. An Introduction to Self-adaptive Systems: A Contemporary Software Engineering Perspective. John Wiley & Sons. 2020. 5. Casadei R., Fortino G., Pianini D., Russo W., Savaglio C., Viroli M. Modelling and simulation of opportunistic IoT services with aggregate computing // Future Generation Computer Systems. 2019. Vol. 91. P. 252—262.

5. Chen Y., Li W., Sakaridis C., Dai D., Van Gool L. Domain adaptive faster r-cnn for object detection in the wild // Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. P. 3339—3348.

6. Colyer S. L., Evans M., Cosker D. P., Salo A. I. A review of the evolution of vision-based motion analysis and the integration of advanced computer vision methods towards developing a markerless system // Sports medicine-open. 2018. Vol. 4, N. 1. P. 1—15.

7. Lyons N. Deep Learning-based Computer Vision Algorithms, Immersive Analytics and Simulation Software, and Virtual Reality Modeling Tools in Digital Twin-driven Smart Manufacturing // Economics, Management, and Financial Markets. 2022. Vol. 17, N. 2. P. 67—81.

8. Ge M., Zhang Y. Visual Autopilot Decision System Based on Deep Learning, 3D Imaging Technologies—Multi-dimensional Signal Processing and Deep Learning // Springer, Singapore. 2021. P. 329—335.

9. Oudah M., Al-Naji A., Chahl J. Hand gesture recognition based on computer vision: a review of techniques // journal of Imaging. 2020. Vol. 6, N. 8. P. 73.

10. González Izard S., Sánchez Torres R., Alonso Plaza Ó., Juanes Méndez J. A., García-Peñalvo F. J. Nextmed: automatic imaging segmentation, 3D reconstruction, and 3D model visualization platform using augmented and virtual reality // Sensors. 2020. Vol. 20, N. 10. P. 2962.

11. Kazemian A., Yuan X., Davtalab O., Khoshnevis B. Computer vision for real-time extrusion quality monitoring and control in robotic construction // Automation in Construction. 2019. Vol. 101. P. 92—98.

12. Yang L. I., Huang J., Feng T. I. A. N., Hong-An W. A. N. G., Guo-Zhong D. A. I. Gesture interaction in virtual reality // Virtual Reality & Intelligent Hardware. 2019. Vol. 1, N. 1. P. 84—112.

13. Cheng Z., Sun H., Takeuchi M., Katto J. Deep convolutional autoencoder-based lossy image compression // 2018 Picture Coding Symposium (PCS). IEEE. 2018. P. 253—257.

14. Zhou L., Cai C., Gao Y., Su S., Wu J. Variational autoencoder for low bit-rate image compression // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2018. P. 2617—2620.

15. Tsimpouris E., Tsakiridis N. L., Theocharis J. B. Using autoencoders to compress soil VNIR—SWIR spectra for more robust prediction of soil properties // Geoderma. 2021. Vol. 393. P. 114967.

16. Бутырский Е. Ю., Кувалдин И. А., Чалкин В. П. Аппроксимация многомерных функций // Научное приборостроение. 2010. Т. 20, № 2. С. 82—92.

17. Krasnyanskiy M. N., Obukhov A. D., Dedov D. L. Control System for an Adaptive Running Platform for Moving in Virtual Reality // Automation and Remote Control. 2022. Vol. 83, N. 3. P. 355—366.