Использование метода аугментации обучающей выборки для повышения точности нейросетевой обработки изображений стоматологическим роботом-тренажером

В современных автоматизированных системах и робототехнике для решения разного рода прикладных задач без участия человека широко используется машинное зрение — научное направление в области искусственного интеллект — и связанные с ним технологии получения изображений объектов реального мира, их обработки и использования полученных результатов. Большинство подсистем машинного зрения используют искусственные нейронные сети для решения таких задач, как обнаружение, классификация и сегментация объектов. Эффективность подсистем машинного зрения может быть оценена с помощью множества критериев, ключевым из которых является точность решения соответствующей задачи, например точность классификации объектов.
Использование традиционных методов повышения точности, основанных на оптимизации структуры нейронной сети и нейронов, подборе гиперпараметров, не гарантируют стабильность результатов при изменениях условий съемки, например, при изменении освещения, ракурса съемки, зашумления. Увеличивается и становится неприемлемым число ложных обнаружений объектов в недопустимых позициях, или число пропусков объектов и ошибок классификации и сегментации. Альтернативным направлением повышения точности является использование методов аугментации данных для обучения сетей — получения синтетических изображений, обеспечивающих особые свойства обучающей выборки. Однако в исследованиях, посвященных методам аугментации, отсутствует анализ структуры изображения с точки зрения карт значимости, что не позволяет эффективно синтезировать обучающие данные.
Для решения задачи повышения точности нейросетевой обработки изображений разработан итерационный метод аугментации, базирующийся на новых принципах синтеза изображений. Метод позволит парировать ложные активации нейронов за счет снижения влияния неключевых признаков на карте значимости изображения на результат классификации объектов. Предложенный метод был использован при обучении нейронных сетей стоматологического робота-тренажера. Разработано программное обеспечение, позволяющее синтезировать новые изображения в автоматическом режиме и выполнять обучение сети. При использовании предложенного метода аугментации наблюдается повышение точности классификации объектов на 2...10 %.

1. Вербицкий М. Начальный курс топологии в листочках: задачи и теоремы. М.: МЦНМО, 2017. С. 163—164.

2. Kokoulin A. N., Kokoulin R. A. The Hierarchical Approach for Image Processing in Objects Recognition System // Proceedings of the 2022 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus), 2022, Jan. 25—28, St. Petersburg, Russia. P. 340—344.

3. Асташина Н. Б., Байдаров А. А., Арутюнов С. Д., Южаков А. А., Валихметова К. Р. и др. Разработка комплекса "антропоморфный стоматологический робот" с элементами искусственного интеллекта для имитации врачебных манипуляций и коммуникации "врач — пациент". // Пермский медицинский журнал. 2022. Т. 39, № 6. С. 62—70. URL: https://www.scopus.com/record/display.uri?eid=2-s2.0-85173676097 (дата обращения: 14.03.2024)

4. Кокоулин А. Н., Южаков А. А. Двухступенная схема обнаружения объектов в подсистеме машинного зрения сервисных роботов // Вестник пермского национального исследовательского политехнического университета электротехника, информационные технологии, системы управления. 2024. № 49. С. 176—199.

5. Yang S., Xiao W., Zhang M., Guo S., Zhao J., Shen F. Image Data Augmentation for Deep Learning: A Survey // arXiv e-prints. 2022. doi:10.48550/arXiv.2204.08610.

6. Redmon J., Divvala S., Girshick R., Farhadi A. You only look once: Unified, realtime object detection // Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. P. 779—788.

7. Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C. Y., Berg A. C. Ssd: Single shot multibox detector // European conference on computer vision. Springer, Cham. 2016. P. 21—37.

8. Deng L., Yang M., Li T., He Y., Wang C. RFBNet: deep multimodal networks with residual fusion blocks for RGB-D semantic segmentation// arXiv: 1907.00135. 2019.

9. Zhao Z. Q., Zheng P., Xu S. T., Wu X. Object detection with deep learning: A review // IEEE transactions on neural networks and learning systems. 2019. Vol. 30, N. 11. P. 3212—3232.

10. Kniazev A. Slivnitsin P. Mylnikov L. Schlechtweg S. et al. Influence of synthetic image datasets on the result of neural networks for object detection // Proceedings of the 9th International Conference on Applied Innovation in IT. 2021. Vol. 9, Iss. 1.

11. Tur A. I., Kokoulin A. N. Recyclable Waste Optical Sorting System Based on Neural Networks Ensemble // Proceedings of the 2022 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus), 2022, Jan. 25—28. 2022. St. Petersburg, Russia. P. 345—348.

12. Vries T., Taylor G. W. Learning Confidence for Out-ofDistribution Detection in Neural Networks. 2018. URL: http://bit.ly/2XZHpH1(дата обращения: 14.03.2024).

13. Liu T., Mirzasoleiman B. Data-efficient augmentation for training neural networks // Advances in Neural Information Processing Systems. 2022. DOI: 10.48550/arXiv.2210.08363.

14. Shen R., Bubeck S., Gunasekar S. Data augmentation as feature manipulation. // Proccedings of International conference on machine learning. 2022. DOI: 10.48550/arXiv.2203.01572.

15. Zou D., Cao Y., Li Y., Gu Q., Krause A., Brunskill E. et al. The benefits of mixup for feature learning. //Proceedings of the 40th International Conference on Machine Learning, 2023. DOI: 10.5555/3618408.3620236. URL: https://arxiv.org/abs/2005.00695 (дата обращения: 14.03.2024).

16. Уорр К. Надежность нейронных сетей: укрепляем устойчивость ИИ к обману. СПб.: Питер, 2021. 272 с.

17. Tramer F. Ensemble Adversarial Training: Attacks and Defenses // International Conference on Learning Representations, 2018. URL: http://bit.ly/2XldcFh.

18. Nicolae M.-I. Adversarial Robustness Toolbox v1.0.0 // arXiv e-prints. 2018. DOI: 10.48550/arXiv.1807.01069.

19. Carlini N., Wagner D. Towards Evaluating the Robustness of Neural Networks // arXiv e-prints. 2016. DOI: 10.48550/arXiv.1608.04644.

20. Alber M., Müller K., Erhan D., Kim B., D hne S. et al. Learning how to explain neural networks: Patternnet and pattern attribution // Proceedings of the International Conference on Learning Representations. 2018. URL https://openreview.net/forum?id=Hkn7CBaTW (дата обращения: 14.03.2024).

21. Adebayo J., Gilmer J., Muelly M., Goodfellow I., Hardt M., Kim B. Sanity checks for saliency maps //Advances in neural information processing systems. 2020. DOI: 10.48550/arXiv.1810.03292.