ОБЛАСТЬ ТЕХНИКИ

Заявленное решение относится к области способов обработки информации, в частности к способу и системе для обработки данных, получаемых из разных источников (наземная лазерная съемка и фото- панорамирование, воздушная и космическая съемки, картографические данные, семантическая информация), для последующего распознавания на них отдельных видов городских объектов, определения их координат и характеристик, выделения текстуры объектов и последующее экспортирование полученной информации в различные ТИС и CAD-системы для дальнейшего отображения городских объектов в виде трехмерной городской модели.

УРОВЕНЬ ТЕХНИКИ

На сегодняшний день известны различные решения, направленные на распознавание различных объектов по фотографической информации, а также данным, полученным в ходе лазерного сканирования.

Известна технология распознавания и построения трехмерных моделей фасадов зданий на основе информации, получаемой из облаков точек лазерного сканирования с последующей обработкой промежуточной модели и наложению на трехмерный каркас фотографического изображения (3D АН The Way: Semantic Segmentation of Urban Scenes From Start to End in 3D // Andelo Martinovic et al.). Данный способ используется также для семантического разделения трехмерных городских моделей, для определения схожих объектов, на основе обучаемого алгоритма, позволяющего распознавать и отмечать схожие объекты, в частности, фасады зданий. Известный способ ограничен типом распознаваемых объектов, а также не обладает достаточной точностью определения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задачей заявленного решения является создание способа и реализующего его системы распознавания различного типа городских объектов, представленных на различного вида данных, в частности фотоизображениях и данных лазерного сканирования.

Техническим результатом является повышение точности определения городских объектов при построении моделей городских панорам на основе данных лазерного сканирования и фотографических данных.

В одном из предпочтительных вариантов осуществления заявленного изобретения заявлен компьютерно-реализуемый способ распознавания городских объектов, заключающийся в обработке первичных данных, содержащих, по меньшей мере, фотографические данные и данные лазерного сканирования, содержащие информацию о городских объектах, содержащий этапы, на которых:

- выполняют очистку и проверку полученных первичных данных, содержащих городские объекты; выполняют предварительную обработку очищенных данных лазерного сканирования, при которой

- осуществляется построение нормалей к каждой из точек облака;

- осуществляется построение плоскостей для совокупностей точек облака;

- осуществляется построение рельефа местности и отдельных объектов (например, фасадов зданий) с помощью фотограмметрических алгоритмов на основе фотоснимков, сделанных из разных точек пространства; - выполняют последовательное распознавание статичных городских объектов из набора очищенных данных лазерного сканирования и фотографических данных, при котором определяют городские объекты;

- для каждого обнаруженного городского объекта определяют, по меньшей мере, географические координаты и линейные размеры;

- осуществляют построение полигональной модели каждого из обнаруженных упомянутых объектов.

В частном варианте осуществления изобретения первичные данные содержат дополнительно пространственные геоданные и/или семантические данные и/или панорамные фотоизображения.

В другом частном варианте осуществления изобретения фотографические данные представляют собой данные полученные с помощью наземной и/или воздушной и/или космической фотосъемки.

В другом частном варианте осуществления изобретения пространственные геоданные представляют собой векторные слои, содержащие координаты границ городских объектов.

В другом частном варианте осуществления изобретения семантические данные содержат метаданные городских объектов.

В другом частном варианте осуществления изобретения на этапе проверки исходные данные проверяются на качество представления информации.

В другом частном варианте осуществления изобретения на этапе очистки первичных данных выполняется обработка данных лазерного сканирования, при которой из облака удаляются точки, соответствующие точкам, образованным вследствие возникновения помех в процессе лазерного

з сканирования, нестационарным объектам, или точкам, отсутствующим на двух и более лазерсканах одной области.

В другом частном варианте осуществления изобретения выполняют тестирование наземных и воздушных панорам на предмет качественного изображения распознаваемых объектов.

В другом частном варианте осуществления изобретения на этапе предварительной обработки выполняется локализация участков аэро- космо- и наземных фотоснимков, а также облаков точек для обнаружения объектов и определение порядка их обработки.

В другом частном варианте осуществления изобретения на этапе построения нормалей точек облака, для каждой точки облака определяются ближайшие соседние точки.

В другом частном варианте осуществления изобретения для каждой точки, для которой определены соседние точки, строятся плоскости методом RANSAC.

В другом частном варианте осуществления изобретения нормалью к точке выбирается вектор нормали плоскости, которая проходит через наибольшее количество соседей.

В другом частном варианте осуществления изобретения при построении плоскостей точки облака разбиваются по планарной сетке, в каждой ячейке которой для каждой точки и соответствующей ей нормали ищутся соседние точки, принадлежащие плоскости, описываемой этой парой.

В другом частном варианте осуществления изобретения точка с максимальным количеством соседствующих точек по плоскости, принимается основой для плоскости, причем все упомянутые соседствующие точки изымаются из дальнейшей обработки. В другом частном варианте осуществления изобретения все найденные плоскости в одной ячейке проверяются на совместимость с плоскостями соседних ячеек и если проверка проходит успешно, то упомянутые плоскости соседствующих точек объединяются.

В другом частном варианте осуществления изобретения проверка заключается в проверке расстояния L между плоскостями и если плоскости располагаются на расстоянии, не превышающим L, то они объединяются.

В другом частном варианте осуществления изобретения на этапе последовательного распознавания статичных городских объектов очередность поиска типов объектов устанавливается политикой поискового алгоритма.

В другом частном варианте осуществления изобретения определение городских объектов осуществляют на основании установленных для каждого типа объекта характерных признаков.

В другом частном варианте осуществления изобретения определение городских объектов осуществляют на основании сравнения выявленных объектов из обработанных данных с эталонными объектами из базы данных

В другом частном варианте осуществления изобретения на этапе построения рельефа местности дополнительно осуществляется построение рельефов отдельных объектов.

В другом предпочтительном варианте осуществления изобретения заявлена система распознавания городских объектов, содержащая один или более процессоров и, по меньшей мере, одну память, хранящую машиночитаемые команды, которые при их исполнении, по меньшей мере, одним процессором выполняют обработку первичных данных, содержащих, по меньшей мере, фотографические данные и данные лазерного сканирования, вышеупомянутым способом распознавания городских объектов.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На Фиг. 1 представлена блок-схема этапов осуществления заявленного способа.

На Фиг. 2-3 представлен принцип построения нормалей на основании данных лазерного сканирования.

На Фиг. 4-5 показан пример распознавания зданий.

На Фиг. 6 показан пример распознавания столбов на панорамных изображениях.

На Фиг. 7 представлен пример распознавания бил бордов.

На Фиг. 8 изображена общая схемы заявленной системы.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

На Фиг. 1 изображена общая схема выполнения этапов заявленного способа распознавания городских объектов 100. Под городскими объектами в данном описании понимаются характерные однотипные созданные человеком объекты, наиболее часто встречающиеся в городском ландшафте: здания и сооружения, ограждения, столбы, дорожные знаки и светофоры, остановки общественного транспорта, рекламные носители и др. На этапе 101 осуществляется получение первичных данных, представляющих собой, по меньшей мере, фотографические данные и данные лазерного сканирования. Наземная съемка городских территорий производится специальным программно-аппаратным комплексом, установленным на автомобиль и включающим панорамные фотокамеры высокого разрешения, лазерные сканеры (дальномеры), устройства точного позиционирования машины и управляющий компьютер со специальным

б программным обеспечением. Первичными данными являются облака точек в формате las (система координат WGS84), панорамные фотографии jpg, координаты панорам и данные базовой станции ГНСС. Также для наземной съемки могут использоваться «стереопары», две панорамные фотокамеры, закрепленные на небольшом удалении друг от друга и снимающие одновременно.

В дополнении к первоначальным данным, для анализа территорий с воздуха, могут использоваться совмещенные геопривязанные мозаики аэро- или космо-снимков в форматах jpg/tiff с указанием координат отдельных тайлов, так же возможно использование снимков в формате GeoTIFF. Пространственные данные (геоданные) для распознавания представлены векторными слоями в формате Shapefile, содержащими координаты (система координат WGS84 проекция Web Mercator): границ зданий, дорог, и пр. объектов. Также может быть использована различная семантическая связанная информация - метаданные, которыми может выступать этажность, поэтажные планы зданий и т.п.

На этапе 102 выполняется очистка и проверка полученных первичных данных, при которой осуществляется загрузка векторных и растровых данных в базу геоданных (БГД) и проверка на валидность данных (корректность форматов, отсутствие противоречивых данных, полнота информации и т.п.). Обработка облака точек, в частности удаление «мусорных» точек, вызванными помехами при съемке, удаление перемещающихся объектов, которые отсутствуют на разных проездах. Выполняется тестирование наземных и воздушных панорам на предмет возможности обработки и качества представленной информации, например, отсутствия облачности, мешающей восстановлению рельефа и крыш, и локализация участков для обнаружения объектов и определение порядка их обработки, при которой определяются участки для обработки, которые могут быть заданы вручную или вычисляются автоматически исходя из наличия данных.

Далее на этапе 103 осуществляется предварительная обработка (препроцессинг) обработанных и очищенных данных лазерного сканирования. При выполнении этапа 103 выполняются несколько подэтапов 1031-1033.

На Фиг. 2-3 представлен пример работы способа при построении нормалей к точкам облака лазерного сканирования. На подэтапе 1031 подготовки данных осуществляется определение и построение нормалей 110 к каждой из точек облака 130 (Фиг. 3), объединение точек в плоскости и построение рельефа на базе воздушной съемки. Для определения нормалей 110 и плоскостей точки лазера группируются по расположению и времени съемки. Далее, для каждой точки 130 берутся ближайшие соседи и строятся плоскости методом RANSAC. Вектор нормали плоскости, которая проходит через наибольшее количество соседей, считается нормалью к данной точке.

На подэтапе 1032 осуществляется построение плоскостей для совокупностей точек облака 130. Для построения плоскостей, точки облака 130 разбиваются по планарной сетке. В каждой ячейке этой сетки, для каждой точки и соответствующей ей нормали ищутся соседствующие точки, принадлежащие плоскости, описываемой этой парой. Точка 130 с максимальным количеством соседствующих точек 130 по плоскости, принимается основой для плоскости, причем все упомянутые соседствующие точки изымаются из дальнейшей обработки, после чего процесс повторяется. Под «соседями по плоскости» понимаются точки облака 130, которые лежат в плоскости, содержащей текущую точку 130 и перпендикулярной ее нормали 110. После того как все плоскости найдены, идет попытка объединить эти плоскости с плоскостями из соседних ячеек. Плоскости объединяются только если расстояние L между ними не больше заданной величины, например, 30 сантиметров. Данный принцип позволяет разделить между собой дома, стоящие на одной линии.

На подэтапе 1033 осуществляется построение рельефа местности с помощью фотограмметричеких алгоритмов на базе снимков, полученных в ходе аэросъемки. Дополнительно на упомянутом подэтапе 1033 может выполняться построение рельефов отдельных объектов, например, части здания (крыша, фасад и т.п.).

После обработки данных на этапе 103 выполняется последовательное распознавание статичных городских объектов из набора очищенных данных лазерного сканирования и фотографических данных, при котором определяют городские объекты (этап 104). Объекты разных типов ищутся в обработанных исходных данных последовательно, при этом те множества точек в облаках или участки изображений, которые были соотнесены с каким-либо объектом, помечаются и в дальнейшей обработке не участвуют. При реализации способа автоматически выполняются скрипты обнаружения объектов в такой последовательности: здания и сооружения, ограждения, столбы, билборды, знаки и светофоры, автобусные остановки, иные объекты. Последовательность может меняться вручную или автоматически для достижения наилучших результатов распознавания. Также могут удаляться или обособляться отдельные части процесса, например, можно настроить скрипт на пропуск конкретного типа объектов (столбы, билборды, ограды и т.п.).

Каждый скрипт распознавания имеет настройки по умолчанию, в соответствии с которыми платформа осуществляет автоматическое распознавание. Существует так же возможность создания шаблона настроек для каждого алгоритма поиска, которые могут потом использоваться по умолчанию. Как представлено на Фиг. 4-5, для распознавания здания на основании картографических и семантических данных определяется контур здания и, возможно, его ориентировочная высота. Из облака точек выделяется массив, принадлежащий искомому объекту, а из воздушной съемки - необходимые текстуры. Для устранения расхождений в позиционировании объекта на картах, в облаке точек, и панорамах применяется интеллектуальная система совмещения, которая позволяет «притягивать» необходимые участки данных даже при сдвиге в несколько метров.

Выделенная информация проверяется на ряд ключевых признаков, идентифицирующих объект как здание. Такими признаками выступают: наличие протяженных вертикальных плоских поверхностей по границам объекта, наличие оконных впадин в облаках точек, высота объекта над окружающим рельефом, наличие характерной крыши на съеме с воздуха и некоторых других.

Ограждение определяется как протяженная плоскость, примыкающая к земле, высотой не более заданного ограничения. В качестве данных, препятствующих ошибочному детектированию сторонних объектов как ограждений, может использоваться ряд дополнительных признаков: отсутствие в области пространства контуров домов, а также других примыкающих объектов, отсутствие дополнительного рельефа на плоскости, равномерный средний цвет текстуры и т.п.

На Фиг. 5 представлен пример распознавания столбов. В общем случае принцип состоит из трех этапов.

1. Выделение цилиндрических вертикально ориентированных объектов

2. Обучение алгоритма адаптивного бустинга 3. Классификация найденных объектов с помощью построенного алгоритма

На первом этапе, точки разбиваются по сетке квадратных метров. Для точек каждого квадрата и его соседей несколько раз случайным образом выбираются три соседние точки и через эти точки строится цилиндр. В случае если в элементе сетки центры таких цилиндров лежат в одной и той же плоскостной координате, это место помечается как вертикально ориентированный цилиндр. Для каждого такого места строятся признаки для алгоритма обучения, а именно:

A) радиус и кривизна поверхности;

Б) распределение точек по удалению от центра цилиндра;

B) распределение точек в плоскости XY; Г) распределение точек по вертикали; Д) расстояния до трека автомобиля;

Е) средний цвет точек, зафиксированный на трех ближайших панорамах;

Ж) средний коэффициент отражения.

На втором этапе, алгоритму адаптивного бустинга (ADABOOST) предоставляются признаки объектов и классификация. Алгоритм строит каскад распознавания. В нашем случае строятся два отдельных каскада - первый грубый, отсеивающий 95% объектов. Второй более точный, он отсеивает еще порядка 99%. Такой подход применяется для дальнейшей коррекции ошибок - если с помощью данного алгоритма находится пропущенный объект, он с большой вероятностью есть в объектах после первого каскада. Это уменьшает количество просматриваемых объектов в целом, не снижая точности обнаружения объектов. Распознавание дорожных знаков происходит в оптическом диапазоне. В качестве вспомогательных исходных данных используется специально подготовленная база с множеством реальных изображений знаков на местности. Алгоритм состоит из построения характерных черт изображения и обучения каскада адаптивного бустинга на примерах из существующей базы знаков. В облаках точек для исключения ошибок второго рода контролируются вторичные признаки: линейные размеры, удаленность от проезжей части, высота установки и т.п.

Распознавание светофора одновременно проходит в облаке точек и наземной фотопанораме. В облаке детектируется столб определенных параметров с характерной «коробкой» светофора. В оптической фотографии происходит поиск окружностей с заданными цветами. Для отсечения ошибочных объектов используются картографические данные о проезжей части и перекрестках.

Билборд определяется как плоскость, расположенная на определенной высоте с определенными линейными размерами. Для исключения ошибок второго рода объекты- претенденты также проверяются на отсутствие рядом расположенных других объектов, прежде всего ограждений и зданий. Также проверяются второстепенные признаки, например, наличие столба в качестве опоры, наличие рекламной текстуры с резкими перепадами среднего цвета (Фиг. 7).

Остановка общественного транспорта детектируется по наличию перпендикулярных плоскостей определенного размера, видимой сверху горизонтальной плоскости характерной текстуры, а также наличию дополнительных признаков: присутствия объекта «знак» определенного типа и ломанной желтой полосы в оптическом изображении. Также контролируются удаленность от проезжей части и ряд других факторов. С помощью заявленного способа 100 реализуется возможность распознавания иных объектов, не заложенных изначально в процесс распознавания. Для этого способ 100 имеет возможность обучения с помощью анализа библиотеки реальных изображений, а также с помощью задания нескольких геометрических параметров, характеризующих размеры и положение объектов. Модуль обучения построен по итерационной схеме и позволяется дообучать алгоритмы, указывая ей на ошибки первого и второго родов после проверки результатов распознавания очередного этапа.

На этапе 105 для каждого выявленного объекта определяются, по меньшей мере, географические координаты в WGS84 (долгота, широта и высота) и линейные размеры. Дополнительно могут быть определены:

- Площадь плоскостей объекта (для полигональных объектов);

- Тип объекта (с подтипами для некоторых классов объектов, например дорожные знаки).

На этапе 106 выполняется построение полигональных моделей найденных объектов, содержащая текстуры в графическом формате, например jpg, полученные с фотоснимков.

Полученные пространственные данные могут быть экспортированы в географические файлы векторных форматов SHAPEFILE, KML или GeoJSON для представления в различных ГИС, в трехмерные модели в форматах 3DS или OBJ для использования в CAD-системах и другим образом.

На Фиг. 8 представлен общий вид системы 200, реализующей этапы вышеупомянутого способа 100 распознавания городских объектов. Система 200 выполняется на базе ЭВМ, например, 1MB PC и содержит, по меньшей мере, такие средства, как: процессор 210, память 220, интерфейсы ввода/вывода 230 и устройства ввода/вывода 240, объединенные общей шиной передачи данных 250.

Процессор 210 может быть как единственным вычислительным устройством, так и представлять собой совокупность двух и более процессоров. Память 220, как правило, включает в себя ОЗУ, ПЗУ, средства хранения данных (HDD, SSD, оптические диски, флэш-память и т.п.).

Интерфейсы В/В 230 могут представлять собой, но не ограничиваться, например, последовательные порты, параллельные порты, универсальную последовательную шину (USB), IEEE-1394 (i.Link или FireWare), LAN или любой иной тип интерфейса, использующего при конкретном частном варианте реализации системы 200.

Устройства В/В 240 могут представлять собой, но не ограничиваться, например, манипулятор мышь, клавиатуру, сетевой контроллер, дисплей, тачпад, световое перо, лазерный стилус, джойстик, трекпад и т.п.

Система 200 в предпочтительном варианте представляет собой серверную платформу, обеспечивающую необходимые вычисления при реализации вышеупомянутого способа 100. При частных вариантах исполнения система 200 может быть реализована на базе мобильных устройств, например, ноутбук, смартфон или планшет.

Изложенные в настоящих материалах заявки сведения об осуществлении заявленного изобретения не должны трактоваться как сведения, ограничивающие иные, частные варианты осуществления заявленного изобретения, не выходящие за пределы раскрытия информации в представленных материалах, и которые должны являться очевидными для специалиста в данной области техники, имеющим обычную квалификацию, на которых рассчитано заявленное техническое решение.