Human - Robot Interaction During Learning and Telecontrol of the Heterogenic Robotic Systems Based on a Movement Shape Model

The authors consider the problems of interaction of operators and robots, learning and telecontrol of the groups of different-function (heterogenic) robots. The learning-by-showing method is used ensuring recognition of the natural movement's shape of a human operator. The preliminary learning of the gesture and "signal" pose recognition of both human and android robot is based on (teaching) learning-by-showing method. The Model of Movements Shape (MMS) is based on М. Minsky theory of the frame knowledge representation proposed for memorizing of the semantic-topology frames system of the typical shapes of the working movements such as the typical scenario of a robot's behavior. Some typical objects {B} of MMS are: simple robot movements, fragments of a complex shape of the robot movement trajectories or sequences (cyclogrammes) of the working robot operations (fragments of scenarios of a robot behavior). Semantic features of {B} are determined as frame with name, parameters' fields, attributes of relations, application methods, etc. For organizing of the frame hierarchy structure, the connecting cross links within the frame structure are implemented during the learning, such as: "Parent attributes" A p, "Inheritance attributes" Ac, "Neighbor attributes" AN, "Method attributes" Am and other types of links. The number of the elementary objects {B} (working movements or sequences of the robots' operations) memorized at MMS will be significantly increased with enlarging of the volume of the robot tasks, but the mass of this objects will be considerably less than the area of the robot behavior scenarios (missions) in a real dynamical environment. The experimental research done with a virtual game modeling and real android football robots of NAO teams proved that the proposed learning-by-showing method and the telecontrol methods based on MMS Knowledge Base can be effective for the autonomous robot team telecontrol and correction of the robots' behavior in a real time mode. The based on IPv4 protocol programmable telecommunication of human-operator with a robot team can implement a real-time monitoring of the informative status of the robot telecommunication net for an adaptive control of the human-robot message parameters and/or a route track for the data transmission chain to each robot. The proposed methods of learning-by-showing and telecontrol using MMS Knowledge Base are expected to be used for assistant robots and anthropomorphic service robots, including for the medical or telemedicine purposes.

робот, групповое управление, коррекция сценариев, реконфигурация, обучение показом, телеуправление, гетерогенные роботы, robot, group control, correction of scenario, reconfiguration, learning-by-showing, telecontrol, heterogenic robotic

1. Hirzinger G. Sensor-based space robotics - ROTEX and its telerobotic features // IEEE Transactions on Robotics and Automation. 1993. Vol. 9, N. 5.

2. Kim W. S., Schenker P. S., Bejczy A. K., Leake S., Ollendorf S. An Advanced Operator Interface Design with Preview/Predictive Displays for Ground Controlled - Space Telerobotic Servicing // SPIE Conference 2057, Telemanipulator Technology and Space Telerobotics. Boston, MA, Sept. 1993. P. 96-107.

3. Hirzinger G., Brunner B., Knoch S., Koeppe R., Schedl M. Towards a new Robot Generation. Deutsches Zentrum fur Luft und Raumfahrt e. V. (DLR) Oberpfaffenhofen, Wessling // The 8th International Symposium, Schohan, Japan, 4-7 Oct. 1997.

4. Kulakov F. Methodology of Virtual Body Immersion into Real Environment // Proc.4th International Workshop CSIT'2002, Patras, Greece, 2002.

5. Kulakov F. M., Nechaev A. I. Advanced man-machine interface for telerobotic based on man-operator's motions and gaze direction tracking // 6th International seminar "Science and computing", Moscow, 15-17 September, 2003.

6. Силиненко А. В. Российско-германский космический эксперимент "Контур-2". URL: http://knts.tsniimash.ru/ru/src/ Conf_InfRes/Силиненко%20А.В.

7. METERON. URL: robotics.estec.esa.int/ASTRA/Astra2011/../03_schiele.pdf.

8. Заборовский В. С., Кондратьев А. С., Мулюха В. А., Силиненко А. В., Ильяшенко А. С. Управление группировками на-планетных роботов с борта пилотируемой орбитальной станции в рамках проекта "METERON" // Труды СПбПУ, 2012. 6 (162).

9. С МКС управляли наземным роботом. URL: www.Vesti.ru (дата обращения 05.07. 2013).

10. Remote telepresence A new tool for space exploration. American Institute of Aeronautics and Astronautics Aerospace America, February 2013. P. 38-44.

11. URL: http://knts.tsniimash.ru/ru/src/bulletin/ВЫПУСК%20 %2016.pdf/ Проект "Робонавт"

12. URL: www.kyb.tue.mpg.de/../ICRA09_1027_FI_%5B 0%5D.pdf. Проект "Justin" DLR.

13. Андроидный робот SAR-400, Новости ВПК, Внекорабельную деятельность скоро будут осуществлять роботы, 02.07.2014, URL: vpk.name.

14. "Создание роботов космического назначения для поддержки внекорабельной деятельности космонавтов", ТЗ на ОКР № 56/9/16 "ПЛОИ (Косморобот)" Федеральная космическая программа России на 2016-2025 годы, Приложение 4, раздел 1, подраздел 4.

15. URL: http://www.fiba.com. (Official rule of basketball in FIBA).

16. Станкевич Л. А. Многоагентная программная среда футбола роботов и разработка программных агентов для RoboCup // Труды международной конференции "Искусственный интеллект в 21-м веке" (ICAI 2001). Т. 3. М.: Физматгиз, 2001.

17. Gorodetski V. I. and Lebedev A. N. Multi-agent Technology for Planning, Scheduling, and Resource Allocation // In Third Int. Conf. on Multi-Agent Systems, Paris, France, 1998.

18. Stankevich L. A. A cognitive agent for soccer game // Proc. of First Workshop of Central and Eastern Europe on Multi-agent Systems (CEEMAC'99), Printed by "Anatolyi", S-Petersburg, 1999.

19. Станкевич Л. А. Многоагентная технология для когнитивных систем управления автономными роботами. "Экстремальная робототехника // Труды X конференции, Санкт-Петербург". СПб.: Изд-во СПб ГПУ, 1999.

20. Станкевич Л. А. Когнитивная робототехника // Экстремальная робототехника. Тр. X конф., Санкт-Петербург. СПб.: Изд-во СПб ГПУ, 2002.

21. Станкевич Л. А. Когнитивные структуры и агенты в интеллектуальных системах управления роботов // Новости искусственного интеллекта. 2004. № 1. С. 41-55.

22. Чернакова С. Э., Кулаков Ф. Нечаев A. И. Обучение робота методом показа с использованием "очувствленной перчатки" // Тр. Первой Международной конференции по мехат-ронике и робототехнике "МиР'-2000". Т. 2. 2000. C. 155-164.

23. Чернакова С. Э., Кулаков Ф. М. Информационная технология обучения роботов показом движений. Часть I. Концепция и принципы моделирования движений // Мехатроника, автоматизация, управление. 2008. № 7. C. 23-28.

24. Чернакова С. Э., Кулаков Ф. М. Информационная технология обучения роботов показом движений. Часть II. Алгоритмы и реализация модели формы движения // Мехатроника, автоматизация, управление. 2008. № 8. C. 24-29.

25. Минский М. Фреймы для представления знаний: Пер. под ред. Ф. М. Кулакова. М.: Энергия, 1979, 152 с.

26. Алферов Г. В., Кулаков Ф. М., Нечаев А. И., Чернакова С. Э. Информационные системы виртуальной реальности в мехатронике и робототехнике: учеб. пособ. СПб.: Изд-во С.-Пб. ун-та, 2009. 168 с.

27. Чернакова С. Э., Кулаков Ф. М., Крючков Б. И., Усов В. М. Применение технологий виртуальной и дополненной реальности в инженерно-психологическом проектировании (на примере дистанционного управления манипуляционным роботом методом показа движений) // Труды Института психологии РАН. 2014. Вып. 6. С. 54-73.

28. Чернакова С. Э., Кулаков Ф. М., Крючков Б. И., Карпов А. А., Нечаев А. И., Усов В. М. Включение робота-ассистента в совместную с космонавтами деятельность методом "обучения показом движения" // Робототехника и техническая кибернетика. 2014. № 2 (3). С. 29-32.

29. Чернакова С. Э., Крючков Б. И., Усов В. М., Кулаков Ф. М. Построение "тренажера-интерфейса" как способ планирования телеуправления манипуляционным роботом // Сб. тр. XII Все-росс. совещания по проблемам управления (ВСПУ-2014). Москва, Институт проблем управления им. В. А. Трапезникова РАН, 16-19 июля 2014 года. С. 3991-3997.

30. Chernakova S. E., Kulakov F. М. Advances in Intelligent Robotics and Collaborative Automation // River Publishers Series in Automation, Control and Robotics. Chapter 5. "Information Technology for Interactive Robot Task Training Through Demonstration of Movement". P. 95-123.

31. Протокол IPv4 - Вычислительные сети. URL: just-net-works.ru/seti-tcp-ip/protokol-ipv4