Нейросетевой метод построения трехмерных моделей ригидных объектов по спутниковым изображениям

Разработан метод построения трехмерных моделей ригидных объектов на земной поверхности по одному спутниковому изображению на примере объектов железнодорожной инфраструктуры. Метод состоит в поэтапной обработке спутниковых изображений с последовательным применением двух сверточных нейронных сетей. На первом этапе обработки с помощью нейронной сети выполняется сегментация спутникового изображения для выделения совокупности объектов заданных классов. На втором этапе обработки с помощью нейронной сети выполняется локальный анализ областей изображения, выявленных по результатам первого этапа обработки. Результаты второго этапа обработки используются для оценки параметров трехмерной модели объекта. Возможности метода показаны на примере обработки спутникового изображения объектов железнодорожной инфраструктуры, причем рассмотрены такие информативные области объектов, как здание, тень здания, ребро стены, ребро крыши, вагон, рельсы, столбы. Показана возможность использования столбов и их теней в качестве эталонных объектов для оценки масштабирующих коэффициентов. Приведен пример применения разработанного метода выделения типичных объектов железнодорожной инфраструктуры для последующей оценки параметров трехмерной модели здания, частично заслоненного деревьями.

1. Тусикова А. А., Вихтенко Э. М. О распознавании автомобильных дорог на спутниковых снимках с использованием сверточных сетей mask-rcnn // V Международная конференция "Информационные технологии и высокопроизводительные вычисления" (ITHPC-2019), Хабаровск, Россия, 16—19 сентября 2019 г. Сборник трудов. Под ред. Смагин С. И., Зацаринный А. А., Россия, 2019. С. 308—314.

2. Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. arXiv:1506.01497v3 [cs.CV] 6 Jan 2016. URL: https://arxiv.org/abs/1506.01497; 56 p.

3. Kaiming He, Georgia Gkioxari, Piotr Dollar, Ross Girshick. Mask R-CNN / Facebook AI Research (FAIR). arXiv:1703.06870v3 [cs.CV] 24 Jan 2018. URL: https://arxiv.org/abs/1703.06870, 10 p.

4. Joseph Redmon, Ali Farhadi. YOLOv3: An Incremental Improvement. University of Washington. arXiv:1804.02767v1 [cs. CV] 8 Apr 2018. URL: https://arxiv.org/abs/1804.02767, 6 p.

5. Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg. SSD: Single Shot MultiBox Detector. arXiv:1512.02325v5 [cs.CV] 29 Dec 2016, doi 10.1007/978-3-319-46448-0_2. URL: https://arxiv.org/ abs/1512.02325.

6. Amaia Salvador, Míriam Bellver, Manel Baradad, Xavier Giró, Jordi Torres, Ferran Marqués. Recurrent Neural Networks for Semantic Instance Segmentation. Universitat Politècnica de Catalunya Barcelona Supercomputing Center, 2012. URL: https://imatge-upc.github.io/rsis.

7. Adrian Bulat, Jing Yang, Georgios Tzimiropoulos. To learn image super-resolution, use a GAN to learn how to do image degradation first. arXiv:1807.11458v1 [cs.CV] 30 Jul 2018. URL: https://arxiv.org/abs/1807.11458, 16 p.

8. Chen-Hsuan Lin, Chen Kong, Simon Lucey. Learning Efficient Point Cloud Generation for Dense 3D Object Reconstruction / The Robotics Institute, Carnegie Mellon University. arXiv:1706.07036v1 [cs. CV] 21 Jun 2017. URL: https://arxiv.org/abs/1706.07036, 10 p.

9. Davide Boscaini, Jonathan Masci, Emanuele Rodola`, Michael Bronstein. Learning shape correspondence with anisotropic convolutional neural networks // 30th Conference on Neural Information Processing Systems (NIPS 2016), Barcelona, Spain. URL: https://arxiv.org/abs/1605.06437, 13 p.

10. Li Yi, Hao Su, Xingwen Guo, Leonidas Guibas. SyncSpecCNN: Synchronized Spectral CNN for 3D Shape Segmentation. arXiv:1612.00606v1 [cs.CV] 2 Dec 2016. URL: https://arxiv.org/pdf/1612.00606.pdf, 11 p.

11. Marte Otten, Yair Pinto, Chris L. E. Paffen, Anil K. Seth, Ryota Kanai. The Uniformity Illusion: Central Stimuli Can Determine Peripheral Perception // Psychological Science. 2017. Vol. 28(1). P. 56—68. URL: https://journals.sagepub.com/doi/abs/10.1177/0956797616672270.

12. Wen Ma, Zongxu Pan, Feng Yuan, Bin Lei. Super-Resolution of Remote Sensing Images via a Dense Residual Generative Adversarial Network // Remote Sens. 2019. Vol. 11. 2578. doi:10.3390/rs11212578. URL: https://www.mdpi.com/2072-4292/11/21/2578/htm, 24 p.

13. Fatemeh Alidoost, Hossein Arefi, Federico Tombari. 2D Image-To-3D Model: Knowledge-Based 3D Building Reconstruction (3DBR) Using Single Aerial Images and Convolutional Neural Networks (CNNs) // Remote Sens. USA. 2019. Vol. 11, 2219. doi:10.3390/rs11192219. 25 p.

14. Fatemeh Alidoost, Hossein Arefi. A CNN-Based Approach for Automatic Building Detection and Recognition of Roof Types Using a Single Aerial Image // PFG. Germany. 2018. Vol. 86. P. 235—248.

15. Park J. S. Interactive 3D reconstruction from multiple images: A primitivebased approach // Pattern recognition letters. 2005. N. 26(16). P. 2558—2571.

16. Sherrie Wang, William Chen, Sang Michael Xie, George Azzari, David B. Lobell. Weakly Supervised Deep Learning for Segmentation of Remote Sensing Imagery // Remote Sens. USA. 2020. Vol. 12, 207. doi:10.3390/rs12020207. 25 p.

17. Arsalan Mousavian, Dragomir Anguelov John Flynn, Jana Košecká. 3D bounding box estimation using deep learning and geometry. arXiv:1612.00496v2 [cs.CV] 10 Apr 2017. URL: https://arxiv.org/pdf/1612.00496.pdf, 10 p.

18. Olaf Ronneberger, Philipp Fischer, Thomas Brox. U-Net: Convolutional Networks for Biomedical Image Segmentation // Computer Vision and Pattern Recognition (cs.CV) 18 May 2015. URL: https://arxiv.org/abs/1505.04597.

19. Smith, S. M., Brady J. M. SUSAN — A New Approach to Low Level Image Processing // International Journal of Computer Vision. 1997. Vol. 23, N. 1. P. 45—78.

20. Trevor Standley, Ozan Sener, Dawn Chen, Silvio Savarese. Image2mass: estimating the massofan object from its image // 1st Conference on Robot Learning (CoRL 2017). Mountain View, United States. URL: http://proceedings.mlr.press/v78/standley17a/standley17a.pdf, 10 p.

21. Umut Gunes Sefercik, Serkan Karakis, Caglar Bayik, Mehmet Alkan & Naci Yastikli. Contribution of Normalized DSM to Automatic Building Extraction from HR Mono Optical Satellite Imagery // European Journal of Remote Sensing, Turkey, 2014. Vol. 47. P. 575—591. doi: 10.5721/EuJRS20144732.

22. Yaning Yi, Zhijie Zhang, Wanchang Zhang, Chuanrong Zhang, Weidong Li, Tian Zhao. Semantic segmentation of urban buildings from VHR remote sensing imagery using a deep convolutional neural network // Remote Sens. USA. 2019. Vol. 11, 1774. doi:10.3390/rs11151774. 19 p.

23. Zhongyuan Wang, Kui Jiang, Peng Yi, Zhen Han, Zheng He. Ultra-dense GAN for satellite imagery super-resolution // Neurocomputing Available online 21 October 2019. URL: https://www.sciencedirect.com/science/article/pii/S0925231219314602, p. 328—337.

24. Бондур В. Г. Аэрокосмические методы и технологии мониторинга нефтегазоносных территорий и объектов нефтегазового комплекса // Исследование Земли из космоса. 2010. № 6. С. 3—17.

25. Казарян М. Л., Шахраманьян М. А., Мурынин А. Б., Рихтер А. А. Построение 3D-моделей ригидных объектов по одному изображению методом пространственных сеток // Информация и космос. 2018. № 4. С. 90—102.

26. Мурынин А. Б., Рихтер А. А. Особенности применения методов и алгоритмов реконструкции трехмерной формы ригидных объектов по данным панорамной съемки // Машинное обучение и анализ данных, Россия. 2018. Т. 4, № 4. C. 235—247. DOI:10.21469/22233792.4.4.02.

27. Мурынин А. Б., Трекин А. Н., Игнатьев В. Ю., Кульченкова В. Г., Ракова К. О. Метод повышения разрешения космических изображений ригидных объектов // Машинное обучение и анализ данных. 2019. Т. 4, № 5. С. 296—308.

28. Соколова Н. О. Распознавание контуров зданий на спутниковых изображениях высокого пространственного разрешения // Вестник ХНТУ. 2015, № 3 (54), С. 610—614.

29. Тужилкин А. Ю. Распознавание и реконструкция 3D-объектов по спутниковым изображениям на основе сравнения спектров графов // Фундаментальные исследования. 2015, № 2. С. 3727—3732.

30. Min Bai, Raquel Urtasun. Deep Watershed Transform for Instance Segmentation // Department of Computer Science, University of Toronto, arXiv:1611.08303v2 [cs.CV]. 4 May 2017. 9 p. URL: https://arxiv.org/abs/1611.08303.

31. Кудряшов А. П., Соловьев И. В. Реконструкция текстурированной модели городского пространства по топографическому плану и фотоснимкам // Программные продукты и системы // Software & Systems. 2019. Vol. 3 (32). DOI: 10.15827/0236-235X.127.496-503.

32. Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollar. Focal Loss for Dense Object Detection. arXiv:1708.02002v2 [cs.CV] 7 Feb 2018. URL: https://arxiv.org/pdf/1708.02002.pdf.

33. Рихтер А. А., Мурынин А. Б., Шлюпиков В. А. Особенности комплексирования данных дистанционного зондирования для восстановления трехмерных моделей ригидных объектов по спутниковым снимкам // Матер. Междунар. науч.-практ. Конф. "Достижения науки в 2019 году", 27 декабря 2019 г. Центр научного развития "Большая книга".

34. Гвоздев О. Г., Мурынин А. Б., Рихтер А. А. Комплекс прикладных решений по построению и обучению искусственных нейронных сетей для семантической сегментации аэрокосмических изображений произвольной канальноспектральной структуры в условиях дефицита обучающих данных // Матер. 19-й Всеросс. конф. С междунар. участием: Математические методы распознавания образов (ММРО- 2019, г. Москва). Российская академия наук. 2019. С. 344—348.

35. Pytorch. URL: https://pytorch.org.