<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">novtexmech</journal-id><journal-title-group><journal-title xml:lang="ru">Мехатроника, автоматизация, управление</journal-title><trans-title-group xml:lang="en"><trans-title>Mekhatronika, Avtomatizatsiya, Upravlenie</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">1684-6427</issn><issn pub-type="epub">2619-1253</issn><publisher><publisher-name>Commercial Publisher «New Technologies»</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.17587/mau.26.296-305</article-id><article-id custom-type="elpub" pub-id-type="custom">novtexmech-1771</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>РОБОТЫ, МЕХАТРОНИКА И РОБОТОТЕХНИЧЕСКИЕ СИСТЕМЫ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>ROBOT, MECHATRONICS AND ROBOTIC SYSTEMS</subject></subj-group></article-categories><title-group><article-title>Использование метода аугментации обучающей выборки для повышения точности нейросетевой обработки изображений стоматологическим роботом-тренажером</article-title><trans-title-group xml:lang="en"><trans-title>Improving the Neural Network Image Processing Accuracy by a Dental Robot-Simulator Using the Training Dataset Augmentation Method</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Кокоулин</surname><given-names>А. Н.</given-names></name><name name-style="western" xml:lang="en"><surname>Kokoulin</surname><given-names>A. N.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Канд. техн. наук, доц. </p><p>г. Пермь </p></bio><bio xml:lang="en"><p>PhD. </p><p>Perm, 614000 </p></bio><email xlink:type="simple">a.n.kokoulin@at.pstu.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Южаков</surname><given-names>А. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Yuzhakov</surname><given-names>A. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Д-р техн. наук, проф. </p><p>г. Пермь</p></bio><bio xml:lang="en"><p>Perm, 614000 </p></bio><email xlink:type="simple">uz@at.pstu.ru</email><xref ref-type="aff" rid="aff-2"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>ФГАОУ ВО "Пермский национальный исследовательский политехнический университет" ; ФБУН "Федеральный научный центр медико-профилактических технологий управления рисками здоровью населения"</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Perm National Research Polytechnic University</institution><country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-2"><aff xml:lang="ru"><institution>ФГАОУ ВО "Пермский национальный исследовательский политехнический университет"</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Perm National Research Polytechnic University</institution><country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2025</year></pub-date><pub-date pub-type="epub"><day>05</day><month>06</month><year>2025</year></pub-date><volume>26</volume><issue>6</issue><fpage>296</fpage><lpage>305</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Commercial Publisher «New Technologies», 2025</copyright-statement><copyright-year>2025</copyright-year><copyright-holder xml:lang="ru">Commercial Publisher «New Technologies»</copyright-holder><copyright-holder xml:lang="en">Commercial Publisher «New Technologies»</copyright-holder><license xlink:href="https://mech.novtex.ru/jour/about/submissions#copyrightNotice" xlink:type="simple"><license-p>https://mech.novtex.ru/jour/about/submissions#copyrightNotice</license-p></license></permissions><self-uri xlink:href="https://mech.novtex.ru/jour/article/view/1771">https://mech.novtex.ru/jour/article/view/1771</self-uri><abstract><p>В современных автоматизированных системах и робототехнике для решения разного рода прикладных задач без участия человека широко используется машинное зрение — научное направление в области искусственного интеллект — и связанные с ним технологии получения изображений объектов реального мира, их обработки и использования полученных результатов. Большинство подсистем машинного зрения используют искусственные нейронные сети для решения таких задач, как обнаружение, классификация и сегментация объектов. Эффективность подсистем машинного зрения может быть оценена с помощью множества критериев, ключевым из которых является точность решения соответствующей задачи, например точность классификации объектов.Использование традиционных методов повышения точности, основанных на оптимизации структуры нейронной сети и нейронов, подборе гиперпараметров, не гарантируют стабильность результатов при изменениях условий съемки, например, при изменении освещения, ракурса съемки, зашумления. Увеличивается и становится неприемлемым число ложных обнаружений объектов в недопустимых позициях, или число пропусков объектов и ошибок классификации и сегментации. Альтернативным направлением повышения точности является использование методов аугментации данных для обучения сетей — получения синтетических изображений, обеспечивающих особые свойства обучающей выборки. Однако в исследованиях, посвященных методам аугментации, отсутствует анализ структуры изображения с точки зрения карт значимости, что не позволяет эффективно синтезировать обучающие данные.Для решения задачи повышения точности нейросетевой обработки изображений разработан итерационный метод аугментации, базирующийся на новых принципах синтеза изображений. Метод позволит парировать ложные активации нейронов за счет снижения влияния неключевых признаков на карте значимости изображения на результат классификации объектов. Предложенный метод был использован при обучении нейронных сетей стоматологического робота-тренажера. Разработано программное обеспечение, позволяющее синтезировать новые изображения в автоматическом режиме и выполнять обучение сети. При использовании предложенного метода аугментации наблюдается повышение точности классификации объектов на 2...10 %.</p></abstract><trans-abstract xml:lang="en"><p>In modern automated systems and robotics, machine vision is widely used to solve various types of applied problems without human participation. This is a scientific field of artificial intelligence, and related technologies for obtaining images of real-world objects, processing them and using the results obtained. Most machine vision subsystems use artificial neural networks to solve problems such as detection, classification and segmentation of objects. The effectiveness of machine vision subsystems can be assessed using many criteria, the key one of which is the accuracy of the corresponding problem solution, for example, the accuracy of object classification. The use of traditional methods for increasing accuracy based on optimizing the structure of the neural network and neurons, selecting hyperparameters, does not guarantee the stability of the results when image obtaining conditions change, for example, when changing lighting, shooting angle, noise. The number of false detections of objects in unacceptable positions, or the number of missed objects and classification and segmentation errors increases and becomes unacceptable. An alternative way to increase accuracy is to use data augmentation methods for network training obtaining synthetic images that provide special properties of the training sample. However, studies devoted to augmentation methods do not analyze the image structure in terms of saliency maps, and it does not allow to produce effective augmented data for training.To solve the problem of increasing the accuracy of neural network image processing, an iterative augmentation method based on new principles of image synthesis has been developed. The method will allow countering false activations of neurons by reducing the influence of non-key features on the image saliency map on the result of object classification. The proposed method was used to train neural networks of a dental robot simulator. Software has been developed that allows synthesizing new images automatically and training the network. When using the proposed augmentation method, an increase in the accuracy of object classification by 2-10 % is observed.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>машинное зрение</kwd><kwd>аугментация</kwd><kwd>точность классификации</kwd><kwd>карта значимости</kwd><kwd>стоматологический робот-тренажер</kwd></kwd-group><kwd-group xml:lang="en"><kwd>computer vision</kwd><kwd>augmentation</kwd><kwd>classification accuracy</kwd><kwd>saliency map</kwd><kwd>dental robot-simulator</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Вербицкий М. Начальный курс топологии в листочках: задачи и теоремы. М.: МЦНМО, 2017. С. 163—164.</mixed-citation><mixed-citation xml:lang="en">Verbitsky M. The beginning study of Topology. Problems and theorems. Moscow, МCNMO, 2017, pp. 163—164 (in Russian).</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Kokoulin A. N., Kokoulin R. A. The Hierarchical Approach for Image Processing in Objects Recognition System // Proceedings of the 2022 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus), 2022, Jan. 25—28, St. Petersburg, Russia. P. 340—344.</mixed-citation><mixed-citation xml:lang="en">Kokoulin A. N., Kokoulin R. A. The Hierarchical Approach for Image Processing in Objects Recognition System. Proceedings of the 2022 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus), 2022, Jan. 25—28, 2022, St. Petersburg, Russia, pp. 340—344.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Асташина Н. Б., Байдаров А. А., Арутюнов С. Д., Южаков А. А., Валихметова К. Р. и др. Разработка комплекса "антропоморфный стоматологический робот" с элементами искусственного интеллекта для имитации врачебных манипуляций и коммуникации "врач — пациент". // Пермский медицинский журнал. 2022. Т. 39, № 6. С. 62—70. URL: https://www.scopus.com/record/display.uri?eid=2-s2.0-85173676097 (дата обращения: 14.03.2024)</mixed-citation><mixed-citation xml:lang="en">Astashina N. B., Baydarov A. A., Arutunov S. D., Yuzhakov A. A., Valiahmetova K. R. Development of "artificial intellect based dental android system" for simulation of medical manipulations and doctor-patient communication, Permsky medicinsky jurnal, 2022, vol. 39, no. 6, pp. 62—70 (in Russian).</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Кокоулин А. Н., Южаков А. А. Двухступенная схема обнаружения объектов в подсистеме машинного зрения сервисных роботов // Вестник пермского национального исследовательского политехнического университета электротехника, информационные технологии, системы управления. 2024. № 49. С. 176—199.</mixed-citation><mixed-citation xml:lang="en">Kokoulin A. N., Yuzhakov A. A. Two-stage object detection scheme in computer vision systems of service robots, Vestnik permskogo nacionalnogo issledovatelskogo politechnicheskogo universiteta: elektrotechnika, informacionnye technologii, sistemy upravlenija, 2024, no. 49, pp. 176—199 (in Russian).</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Yang S., Xiao W., Zhang M., Guo S., Zhao J., Shen F. Image Data Augmentation for Deep Learning: A Survey // arXiv e-prints. 2022. doi:10.48550/arXiv.2204.08610.</mixed-citation><mixed-citation xml:lang="en">Yang S., Xiao W., Zhang M., Guo S., Zhao J., Shen F. Image Data Augmentation for Deep Learning: A Survey, arXiv eprints, 2022, doi:10.48550/arXiv.2204.08610.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Redmon J., Divvala S., Girshick R., Farhadi A. You only look once: Unified, realtime object detection // Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. P. 779—788.</mixed-citation><mixed-citation xml:lang="en">Redmon J., Divvala S., Girshick R., Farhadi A. You only look once: Unified, realtime object detection", Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 779—788.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C. Y., Berg A. C. Ssd: Single shot multibox detector // European conference on computer vision. Springer, Cham. 2016. P. 21—37.</mixed-citation><mixed-citation xml:lang="en">Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C. Y., Berg A. C. Ssd: Single shot multibox detector, European conference on computer vision, Springer, Cham, 2016, pp. 21—37.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Deng L., Yang M., Li T., He Y., Wang C. RFBNet: deep multimodal networks with residual fusion blocks for RGB-D semantic segmentation// arXiv: 1907.00135. 2019.</mixed-citation><mixed-citation xml:lang="en">Deng L., Yang M., Li T., He Y., Wang C. RFBNet: deep multimodal networks with residual fusion blocks for RGB-D semantic segmentation, 2019, arXiv: 1907.00135.</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Zhao Z. Q., Zheng P., Xu S. T., Wu X. Object detection with deep learning: A review // IEEE transactions on neural networks and learning systems. 2019. Vol. 30, N. 11. P. 3212—3232.</mixed-citation><mixed-citation xml:lang="en">Zhao Z. Q., Zheng P., Xu S. T., Wu X. Object detection with deep learning: A review, IEEE transactions on neural networks and learning systems, 2019, vol. 30, no. 11, pp. 3212—3232.</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Kniazev A. Slivnitsin P. Mylnikov L. Schlechtweg S. et al. Influence of synthetic image datasets on the result of neural networks for object detection // Proceedings of the 9th International Conference on Applied Innovation in IT. 2021. Vol. 9, Iss. 1.</mixed-citation><mixed-citation xml:lang="en">Kniazev A., Slivnitsin P., Mylnikov L., Schlechtweg S. Influence of synthetic image datasets on the result of neural networks for object detection, Proceedings of the 9th International Conference on Applied Innovation in IT, 2021, vol. 9, iss. 1.</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Tur A. I., Kokoulin A. N. Recyclable Waste Optical Sorting System Based on Neural Networks Ensemble // Proceedings of the 2022 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus), 2022, Jan. 25—28. 2022. St. Petersburg, Russia. P. 345—348.</mixed-citation><mixed-citation xml:lang="en">Tur A. I., Kokoulin A. N. Recyclable Waste Optical Sorting System Based on Neural Networks Ensemble. Proceedings of the 2022 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus), 2022, Jan. 25—28, 2022, St. Petersburg, Russia, pp. 345—348.</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Vries T., Taylor G. W. Learning Confidence for Out-ofDistribution Detection in Neural Networks. 2018. URL: http://bit.ly/2XZHpH1(дата обращения: 14.03.2024).</mixed-citation><mixed-citation xml:lang="en">Vries T., Taylor G. W. Learning Confidence for Out-ofDistribution Detection in Neural Networks, 2018, available at: http://bit.ly/2XZHpH1.</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Liu T., Mirzasoleiman B. Data-efficient augmentation for training neural networks // Advances in Neural Information Processing Systems. 2022. DOI: 10.48550/arXiv.2210.08363.</mixed-citation><mixed-citation xml:lang="en">Liu T., Mirzasoleiman B. Data-efficient augmentation for training neural networks, Advances in Neural Information Processing Systems, 2022, doi: 10.48550/arXiv.2210.08363.</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Shen R., Bubeck S., Gunasekar S. Data augmentation as feature manipulation. // Proccedings of International conference on machine learning. 2022. DOI: 10.48550/arXiv.2203.01572.</mixed-citation><mixed-citation xml:lang="en">Shen R., Bubeck S., Gunasekar S. Data augmentation as feature manipulation, Proccedings of International conference on machine learning, 2022, doi: 10.48550/arXiv.2203.01572.</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Zou D., Cao Y., Li Y., Gu Q., Krause A., Brunskill E. et al. The benefits of mixup for feature learning. //Proceedings of the 40th International Conference on Machine Learning, 2023. DOI: 10.5555/3618408.3620236. URL: https://arxiv.org/abs/2005.00695 (дата обращения: 14.03.2024).</mixed-citation><mixed-citation xml:lang="en">Zou D., Cao Y., Li Y., Gu Q., Krause A., Brunskill E. et al. The benefits of mixup for feature learning, Proceedings of the 40th International Conference on Machine Learning, 2023, doi: 10.5555/3618408.3620236, available at: https://arxiv.org/abs/2005.00695.</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Уорр К. Надежность нейронных сетей: укрепляем устойчивость ИИ к обману. СПб.: Питер, 2021. 272 с.</mixed-citation><mixed-citation xml:lang="en">Warr K. Strengthening Deep Neural Networks, SPb., Piter, 2021, 272 p. (in Russian).</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Tramer F. Ensemble Adversarial Training: Attacks and Defenses // International Conference on Learning Representations, 2018. URL: http://bit.ly/2XldcFh.</mixed-citation><mixed-citation xml:lang="en">Tramer F. Ensemble Adversarial Training: Attacks and Defenses, International Conference on Learning Representations, 2018, available at: http://bit.ly/2XldcFh.</mixed-citation></citation-alternatives></ref><ref id="cit18"><label>18</label><citation-alternatives><mixed-citation xml:lang="ru">Nicolae M.-I. Adversarial Robustness Toolbox v1.0.0 // arXiv e-prints. 2018. DOI: 10.48550/arXiv.1807.01069.</mixed-citation><mixed-citation xml:lang="en">Nicolae M.-I. Adversarial Robustness Toolbox v1.0.0", arXiv e-prints, 2018, doi: 10.48550/arXiv.1807.01069.</mixed-citation></citation-alternatives></ref><ref id="cit19"><label>19</label><citation-alternatives><mixed-citation xml:lang="ru">Carlini N., Wagner D. Towards Evaluating the Robustness of Neural Networks // arXiv e-prints. 2016. DOI: 10.48550/arXiv.1608.04644.</mixed-citation><mixed-citation xml:lang="en">Carlini N., Wagner D. Towards Evaluating the Robustness of Neural Networks", arXiv e-prints, 2016, doi: 10.48550/arXiv.1608.04644.</mixed-citation></citation-alternatives></ref><ref id="cit20"><label>20</label><citation-alternatives><mixed-citation xml:lang="ru">Alber M., Müller K., Erhan D., Kim B., D hne S. et al. Learning how to explain neural networks: Patternnet and pattern attribution // Proceedings of the International Conference on Learning Representations. 2018. URL https://openreview.net/forum?id=Hkn7CBaTW (дата обращения: 14.03.2024).</mixed-citation><mixed-citation xml:lang="en">Alber M., Müller K., Erhan D., Kim B., D hne S. et al. Learning how to explain neural networks: Patternnet and pattern attribution, Proceedings of the International Conference on Learning Representations, 2018, available at: https://openreview.net/forum?id=Hkn7CBaTW (дата обращения: 14.03.2024).</mixed-citation></citation-alternatives></ref><ref id="cit21"><label>21</label><citation-alternatives><mixed-citation xml:lang="ru">Adebayo J., Gilmer J., Muelly M., Goodfellow I., Hardt M., Kim B. Sanity checks for saliency maps //Advances in neural information processing systems. 2020. DOI: 10.48550/arXiv.1810.03292.</mixed-citation><mixed-citation xml:lang="en">Adebayo J., Gilmer J., Muelly M., Goodfellow I., Hardt M., Kim B. Sanity checks for saliency maps, Advances in neural information processing systems, 2020, doi: 10.48550/arXiv.1810.03292.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
