<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">novtexmech</journal-id><journal-title-group><journal-title xml:lang="ru">Мехатроника, автоматизация, управление</journal-title><trans-title-group xml:lang="en"><trans-title>Mekhatronika, Avtomatizatsiya, Upravlenie</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">1684-6427</issn><issn pub-type="epub">2619-1253</issn><publisher><publisher-name>Commercial Publisher «New Technologies»</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.17587/mau.18.752-758</article-id><article-id custom-type="elpub" pub-id-type="custom">novtexmech-489</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>РОБОТОТЕХНИЧЕСКИЕ СИСТЕМЫ (ПО МАТЕРИАЛАМ МЕЖДУНАРОДНОЙ НАУЧНО-ТЕХНИЧЕСКОЙ КОНФЕРЕНЦИИ "ЭКСТРЕМАЛЬНАЯ РОБОТОТЕХНИКА" - 2017)</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>ROBOTIC SYSTEMS (ON THE MATERIALS OF THE INTERNATIONAL SCIENTIFIC AND TECHNOLOGICAL CONFERENCE "EXTREME ROBOTICS (ER-2017)")</subject></subj-group></article-categories><title-group><article-title>Метод коррекции оценки положения мобильного робота с использованием визуальной локации естественных ориентиров</article-title><trans-title-group xml:lang="en"><trans-title>A Method of Mobile Robot Position Estimation Correction Using Visual Location of Natural Landmarks</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Степанов</surname><given-names>Д. Н.</given-names></name><name name-style="western" xml:lang="en"><surname>Stepanov</surname><given-names>D. N.</given-names></name></name-alternatives><email xlink:type="simple">dnstepanov@rtc.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Смирнова</surname><given-names>Е. Ю.</given-names></name><name name-style="western" xml:lang="en"><surname>Smirnova</surname><given-names>E. Yu.</given-names></name></name-alternatives><email xlink:type="simple">eus@rtc.ru</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru">Центральный научно-исследовательский институт робототехники и технической кибернетики<country>Россия</country></aff><aff xml:lang="en">Institute for Robotics and Technical Cybernetics<country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2017</year></pub-date><pub-date pub-type="epub"><day>28</day><month>08</month><year>2018</year></pub-date><volume>18</volume><issue>11</issue><fpage>752</fpage><lpage>758</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Commercial Publisher «New Technologies», 2018</copyright-statement><copyright-year>2018</copyright-year><copyright-holder xml:lang="ru">Commercial Publisher «New Technologies»</copyright-holder><copyright-holder xml:lang="en">Commercial Publisher «New Technologies»</copyright-holder><license xlink:href="https://mech.novtex.ru/jour/about/submissions#copyrightNotice" xlink:type="simple"><license-p>https://mech.novtex.ru/jour/about/submissions#copyrightNotice</license-p></license></permissions><self-uri xlink:href="https://mech.novtex.ru/jour/article/view/489">https://mech.novtex.ru/jour/article/view/489</self-uri><abstract><p>Представлен подход к использованию визуальной локации известных ориентиров для повышения точности навигации мобильного робота (МР). Подход основывается на анализе изображений от одной или нескольких телевизионных камер МР и применении нелинейной фильтрации для коррекции навигационной оценки по визуальной локации. Ключевыми достоинствами является возможность коррекции положения и ориентации МР по любому числу ориентиров (начиная с одного), а также возможность использования произвольного числа камер. Проведенные экспериментальные исследования показали, что метод позволяет достичь погрешностей по смещению в плоскости дороги порядка 10 см и менее 1° по углу ориентации МР в пределах всей траектории.</p></abstract><trans-abstract xml:lang="en"><p>The article presents an approach to using of visual location of an arbitrary number of known natural landmarks for correction of position estimation of a mobile robot. The approach is based on using of the Extended Kalman Filter to perform steps of the position prediction and correction based on the visual location. The visual location is performed using a calibrated camera (or a set of cameras) installed on the mobile robot. The task of a mobile robot navigation in a case of poorly determined conditions is often soled using a set of expensive LIDARs. Other sensors like GNSS and odometer often used in mobile robots are usually not precise enough (for example when maneuvering on intersections). The recent research in the field of computer vision allows creation of much less expensive systems based on image analysis from one or several cameras. When used together with other sensors such system can significantly increase the navigation precision and stability. Known visual navigation approaches like visual SLAM and visual odometer are often used but they are often not precise enough especially when the camera movement is mostly rotating. A set of one or more natural visual landmarks can be located automatically in real time using mobile robot cameras. Existing methods provide partial solutions for the position or direction estimation using 3 or more landmarks. The proposed approach is based on using of the Extended Kalman Filter for efficient fusion of the odometer and GNSS data with the visual location of one or more landmarks. Since all the landmarks are used one at a time independently the number of landmarks, cameras, their types and positions are arbitrary. The method is working with one camera and one landmark as well as with a round view camera system with one or many landmarks. Experiments involving autonomous driving through different intersections shown the feasibility of reaching of the accuracy of horizontal position of 10 cm and rotation of 1° and below. The method has been developed for improving of unmanned vehicles navigation at intersections but can be applied to navigation of different ground, space, marine and underwater mobile robots.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>мобильный робот</kwd><kwd>автономное транспортное средство</kwd><kwd>визуальная навигация</kwd><kwd>визуальная локация</kwd><kwd>техническое зрение</kwd><kwd>фильтр Калмана</kwd><kwd>комплексирование</kwd><kwd>оптимальная фильтрация</kwd><kwd>mobile robot</kwd><kwd>unmanned ground vehicle</kwd><kwd>visual navigation</kwd><kwd>visual location</kwd><kwd>computer vision</kwd><kwd>Kalman filter</kwd><kwd>sensor fusion</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Черноножкин В. А., Половко С. А. Система локальной навигации для наземных мобильных роботов // Научно-технический вестник информационных технологий, механики и оптики. 2008. № 57. С. 13-22.</mixed-citation><mixed-citation xml:lang="en">Черноножкин В. А., Половко С. А. Система локальной навигации для наземных мобильных роботов // Научно-технический вестник информационных технологий, механики и оптики. 2008. № 57. С. 13-22.</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Тюкин А. Л., Лебедев И. М., Приоров А. Л. Анализ телевизионного изображения для работы системы позиционирования мобильного робота в помещении по маякам с цветовой кодировкой // Тезисы научно-технической конференции "Техническое зрение в системах управления - 2015". 2015. С. 77-78.</mixed-citation><mixed-citation xml:lang="en">Тюкин А. Л., Лебедев И. М., Приоров А. Л. Анализ телевизионного изображения для работы системы позиционирования мобильного робота в помещении по маякам с цветовой кодировкой // Тезисы научно-технической конференции "Техническое зрение в системах управления - 2015". 2015. С. 77-78.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Raul Mur-Artal, J. M. M. Montiel and Juan D. Tardos. ORB-SLAM: A Versatile and Accurate Monocular SLAM System // IEEE Transactions on Robotics. 2015. Vol. 31, N. 5. P. 1147-1163.</mixed-citation><mixed-citation xml:lang="en">Raul Mur-Artal, J. M. M. Montiel and Juan D. Tardos. ORB-SLAM: A Versatile and Accurate Monocular SLAM System // IEEE Transactions on Robotics. 2015. Vol. 31, N. 5. P. 1147-1163.</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Девятериков Е. А., Михайлов Б. Б. Использование данных визуального одометра для автономного возвращения моизображений визуальных ориентиров от сверхширокоугольной бильного робота в среде без фиксированных точек отсчета // Экстремальная робототехника. 2015. № 1. С. 351-361.</mixed-citation><mixed-citation xml:lang="en">Девятериков Е. А., Михайлов Б. Б. Использование данных визуального одометра для автономного возвращения моизображений визуальных ориентиров от сверхширокоугольной бильного робота в среде без фиксированных точек отсчета // Экстремальная робототехника. 2015. № 1. С. 351-361.</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Korsakov A., Fomin I., Gromoshinsky D., Bakhshiev A., Stepanov D., Smirnova E. Determination of an Unmanned Mobile Object Orientation by Natural Landmarks // Supplementary Proceedings of the Fifth International Conference on Analysis of Images, Social Networks and Texts. Yekaterinburg, Russia. 2015. Vol. 1710. P. 91-101.</mixed-citation><mixed-citation xml:lang="en">Korsakov A., Fomin I., Gromoshinsky D., Bakhshiev A., Stepanov D., Smirnova E. Determination of an Unmanned Mobile Object Orientation by Natural Landmarks // Supplementary Proceedings of the Fifth International Conference on Analysis of Images, Social Networks and Texts. Yekaterinburg, Russia. 2015. Vol. 1710. P. 91-101.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Viola P., Jones M. J. Robust Real-Time Face Detection // International Journal of Computer Vision. 2004. Vol. 57. P. 137-154.</mixed-citation><mixed-citation xml:lang="en">Viola P., Jones M. J. Robust Real-Time Face Detection // International Journal of Computer Vision. 2004. Vol. 57. P. 137-154.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Kalal Z., Mikolajczyk K., Matas J. Tracking-learning-detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2012. Vol. 34. P. 1409-1422.</mixed-citation><mixed-citation xml:lang="en">Kalal Z., Mikolajczyk K., Matas J. Tracking-learning-detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2012. Vol. 34. P. 1409-1422.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Shengcai Liao, Xiangxin Zhu, Zhen Lei, Lun Zhang, Stan Z. Li. Learning Multiscale Block Local Binary Patterns for Face Recognition // International conference on Advances in Biometrics. 2007. P. 828-837.</mixed-citation><mixed-citation xml:lang="en">Shengcai Liao, Xiangxin Zhu, Zhen Lei, Lun Zhang, Stan Z. Li. Learning Multiscale Block Local Binary Patterns for Face Recognition // International conference on Advances in Biometrics. 2007. P. 828-837.</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Freund Y., Schapire R. E. A Short Introduction to Boosting // International joint conference on Artificial intelligence. 1999. Vol. 2. P. 1401-1406.</mixed-citation><mixed-citation xml:lang="en">Freund Y., Schapire R. E. A Short Introduction to Boosting // International joint conference on Artificial intelligence. 1999. Vol. 2. P. 1401-1406.</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Girshick R. Fast R-CNN // The IEEE International Conference on Computer Vision (ICCV). 2015. P. 1440-1448.</mixed-citation><mixed-citation xml:lang="en">Girshick R. Fast R-CNN // The IEEE International Conference on Computer Vision (ICCV). 2015. P. 1440-1448.</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Fomin I., Gromoshinskii D., Stepanov D. Visual features detection based on deep neural network in autonomous driving tasks // 26 международная конференция "GraphiCon2016". Нижний Новгород, 2016. С. 430-434.</mixed-citation><mixed-citation xml:lang="en">Fomin I., Gromoshinskii D., Stepanov D. Visual features detection based on deep neural network in autonomous driving tasks // 26 международная конференция "GraphiCon2016". Нижний Новгород, 2016. С. 430-434.</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Suliman C., Cruceru C., Moldoveanu F. Mobile robot position estimation using the Kalman filter // Scientific Bulletin of the "Petru Maior" University of Targu Mures. 2009. Vol. 6. P. 75.</mixed-citation><mixed-citation xml:lang="en">Suliman C., Cruceru C., Moldoveanu F. Mobile robot position estimation using the Kalman filter // Scientific Bulletin of the "Petru Maior" University of Targu Mures. 2009. Vol. 6. P. 75.</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Julier S. J., Uhlmann J. K. Unscented filtering and nonlinear estimation // Proceedings of the IEEE. 2004. Vol. 92, N. 3. P. 401-422.</mixed-citation><mixed-citation xml:lang="en">Julier S. J., Uhlmann J. K. Unscented filtering and nonlinear estimation // Proceedings of the IEEE. 2004. Vol. 92, N. 3. P. 401-422.</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Васильев И. А., Смирнова Е. Ю., Степанов Д. Н. Комплекс интеллектуальной навигации амфибийного спасательного средства // Робототехника и техническая кибернетика. 2015. № 2 (7). С. 30-33.</mixed-citation><mixed-citation xml:lang="en">Васильев И. А., Смирнова Е. Ю., Степанов Д. Н. Комплекс интеллектуальной навигации амфибийного спасательного средства // Робототехника и техническая кибернетика. 2015. № 2 (7). С. 30-33.</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Stepanov D., Bakhshiev A., Gromoshinskii D., Kirpan N., Gundelakh F. Determination of the Relative Position of Space Vehicles by Detection and Tracking of Natural Visual Features with the Existing TV-Cameras" // Analysis of Images, Social Networks and Texts. Springer International Publishing. 2015. Vol. 542. P. 431-442.</mixed-citation><mixed-citation xml:lang="en">Stepanov D., Bakhshiev A., Gromoshinskii D., Kirpan N., Gundelakh F. Determination of the Relative Position of Space Vehicles by Detection and Tracking of Natural Visual Features with the Existing TV-Cameras" // Analysis of Images, Social Networks and Texts. Springer International Publishing. 2015. Vol. 542. P. 431-442.</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Степанов Д. Н., Кирпань Н. А., Половко С. А. Алгоритм определения взаимного положения подводных аппаратов с использованием телевизионной системы и специальных световых маркеров // Интеллектуальные системы, управление и мехатроника - 2016. Матер. Всеросс. науч.-техн. конф. молодых ученых, аспирантов и студентов. 2016. С. 427-431.</mixed-citation><mixed-citation xml:lang="en">Степанов Д. Н., Кирпань Н. А., Половко С. А. Алгоритм определения взаимного положения подводных аппаратов с использованием телевизионной системы и специальных световых маркеров // Интеллектуальные системы, управление и мехатроника - 2016. Матер. Всеросс. науч.-техн. конф. молодых ученых, аспирантов и студентов. 2016. С. 427-431.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
