Conversion of Point Cloud Data to 3D Models Using PointNet++ and Transformer

全文:

1. ВВЕДЕНИЕ

В области компьютерного зрения преобразование облака точек в трехмерную сцену представляет собой сложную проблему. Это охватывает широкий спектр областей, включая робототехнику, дополненную и виртуальную реальность, а также оцифровку культурного наследия. Облака точек, которые обычно получают с помощью лидара или других датчиков глубины, часто содержат шум, пробелы и выбросы, что затрудняет процесс точной и полной реконструкции трехмерной сцены. Кроме того, облака точек требуют большого объема данных и не имеют внутренней структуры или топологии, что требует надежных и эффективных методов обработки.

В рамках данной работы разрабатывается метод реконструкции трехмерной сцены из облака точек, который позволяет создать детализированную и полную трехмерную модель сцены в виде полигональных сеток. Эти сетки, состоящие из вершин, ребер и граней, образующих сетчатую структуру на поверхности объекта, являются распространенным форматом представления трехмерных объектов. Они идеально подходят для дальнейшей обработки, поскольку предоставляют информацию о топологии и связности поверхности объекта.

Метод объединяет преимущества глубокого обучения и геометрического анализа для создания высококачественных полигональных сеток из облаков точек. Глубокое обучение отлично подходит для извлечения функций и представлений из сложных данных, таких как облака точек, в то время как геометрический анализ дает математический подход к изучению формы и структуры объектов. Объединив эти два подхода, можно учитывать как локальные, так и глобальные свойства облака точек, одновременно эффективно создавая полигональные сетки.

Основная концепция метода заключается в первоначальном сегментировании облака точек на небольшие фрагменты с помощью нейронной сети. Затем каждый фрагмент реконструируется как полигональная сетка. Эти отдельные сетки впоследствии объединяются в единую трехмерную модель сцены. Эта процедура повторяется на различных уровнях детализации для создания многоуровневой трехмерной модели сцены.

Для улучшения процесса метод включает в себя использование герметичных сеток и выпуклого разложения. Герметичные сетки, представляющие собой многоугольные сетки без каких-либо отверстий, зазоров или свободных краев, идеально подходят для представления твердых объектов в трехмерном пространстве, поскольку они гарантируют, что каждое ребро принадлежит ровно двум граням. Это имеет решающее значение для сохранения целостности трехмерной модели.

Выпуклая декомпозиция – еще один ключевой компонент подхода, который включает в себя разбиение сложной трехмерной формы на набор более простых выпуклых фигур. С такими формами проще работать в вычислительном отношении и их можно обрабатывать более эффективно. В данном методе каждый фрагмент облака точек раскладывается на выпуклые формы, а затем реконструируется в виде полигональной сетки.

Используя герметичные полигональные сетки и выпуклую декомпозицию, метод может обрабатывать сложные трехмерные структуры и обеспечивать точность и полноту реконструированной трехмерной сцены. Это делает подход надежным и универсальным, демонстрируя сильные возможности обобщения и адаптируемости к различным типам сцен и объектов.

2. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ

Процесс создания трехмерных полигональных сетей из облаков точек является сложной задачей, которая требует детального анализа и извлечения объектов из данных облака точек. Этот процесс также включает в себя оптимизацию процесса обучения для генерации моделей объектов и восстановление отсутствующих точек. Работа со сложной геометрией и неполными данными может представлять особые трудности, особенно в реальных условиях. Однако, благодаря применению передовых архитектур нейронных сетей и инновационных методов обучения, эти проблемы можно преодолеть, что позволяет создавать высококачественные 3D-реконструкции.

Есть множество подходов к реконструкции трехмерных форм из облаков точек, которые можно условно разделить на две категории: методы, основанные на геометрии, и методы, основанные на обучении. Геометрические методы используют разнообразные алгоритмы для создания триангуляций [1], выпуклых оболочек [2], альфа-форм [3] или поверхностей множества точек из облаков точек [4]. Эти методы обычно требуют значительных вычислительных ресурсов и могут быть сложными в реализации, но они обеспечивают высокую точность и могут быть очень эффективными в определенных условиях.

С другой стороны, методы, основанные на обучении, используют методы машинного обучения для анализа облаков точек и создания трехмерных моделей. Эти методы могут быть более гибкими и масштабируемыми, чем геометрические методы, и они особенно полезны при работе с большими наборами данных или сложными формами. Однако они также могут требовать значительного количества данных для обучения и в некоторых случаях быть менее точными. Поэтому выбор метода зависит от конкретной задачи и доступных ресурсов. В области воссоздания 3D-форм из облаков точек некоторые методы обучения показали впечатляющие результаты. Эти подходы применяют нейронные сети для выделения характеристик из облаков точек и восстановления трехмерных объектов в разнообразных форматах. Вот несколько передовых методов, которые используются для обработки и анализа облаков точек в трехмерном пространстве:

• PointNet [5] – нейронная сеть, способная напрямую работать с облаками точек. Она уникальна тем, что учитывает перестановочную инвариантность точек во входных данных. PointNet предлагает универсальную архитектуру, которая может быть применена для решения различных задач, включая классификацию объектов, сегментацию частей и семантический анализ сцен;
• AtlasNet [6] – представляет собой передовой метод, который преобразует облака точек в треугольные сетки с помощью коллекции параметрических поверхностей, называемых атласами. Эти атласы затем проецируются на 3D-структуру объекта. AtlasNet обучается синхронизировать атласы с геометрией объекта и уменьшать промежутки между ними, что способствует созданию более точных и подробных моделей;
• PCN [7] – подход, который способен реконструировать полную 3D-структуру объекта из неполного облака точек. PCN применяет три последовательно действующих модуля: дополнение, усиление и уточнение. PCN обучается восполнять отсутствующие части объекта и увеличивать плотность точек, что позволяет создавать более полные и детализированные модели.

В контексте изучения семантики и формы объектов на основе разреженных облаков точек RfD-Net [8] представляет собой инновационный подход. Эта архитектура разделяет процесс реконструкции семантического экземпляра на две ключевые задачи: глобальную локализацию объекта и прогнозирование локальной формы. RfD-Net разработан для работы с неполными облаками точек 3D-сцены, целью является одновременное понимание структуры 3D-объектов и восстановление сеток экземпляров объектов. Он использует разреженность данных облаков точек, уделяя особое внимание прогнозированию форм с высокой степенью детализации. Одной из особенностей RfD-Net является его способность справляться с проблемой увеличения сложности модели, что часто встречается в существующих методах. Это достигается за счет использования генератора форм, поддерживающего прямое неявное обучение. В каждом сегменте объекта облака точек содержатся детали формы, которые помогают неявному обучению функций, позволяя реконструировать поверхности с высокой степенью дискретизации. Еще один подход, реализующий принцип “сквозной обработки” (end-to-end), который заслуживает особого внимания, – это RevealNet [9]. Эта архитектура нейронной сети применяет методы совместного обучения для изучения характеристик цвета и геометрии. Она специально разработана для работы с неполными сканами RGB-D-сцены в целях идентификации отдельных экземпляров объектов и определения их полной геометрической структуры. RevealNet обладает полносверточной 3D-структурой, что обеспечивает эффективное семантическое завершение экземпляра для 3D-сканирований больших помещений за один проход. В результате сканируемая сцена разбивается на отдельные и полные трехмерные объекты, включая скрытые и невидимые части объекта, что демонстрирует потенциал и гибкость при работе с большими и сложными наборами данных. Эти методы представляют собой важные шаги в направлении более эффективного и точного анализа и восстановления трехмерных форм из облаков точек. Они открывают новые возможности для исследований и разработок в области компьютерного зрения и машинного обучения.

В данной работе представлен метод, который эффективно объединяет преимущества геометрических подходов и подходов, основанных на машинном обучении. Этот метод использует принципы глубокого обучения для выделения характеристик и восстановления скрытых трехмерных форм, в то время как геометрический анализ применяется для устранения шума, восстановления отсутствующих точек и извлечения структуры объекта из сцены. Одним из основных достоинств этого подхода, по сравнению с другими методами восстановления 3D-сцены из облаков точек, является его способность воспроизводить планировку сцены. Используя сеть, основанную на трансформере, адаптированную в соответствии с такими исследованиями, как PQ-Transformer [10] и Omni-PQ [11], можно определить положение и форму стен и потолков с помощью ограничивающих рамок. Это обеспечивает более точную оценку размера объекта и его расположения в пространстве. Более того, этот подход способен создавать полигональные сетки из скрытых 3D-форм, используя адаптированный BSP-Net [12]. Однако у этого подхода есть определенные ограничения. Для обучения автоэнкодера и других компонентов сети необходим значительный объем данных. Более того, этот подход совместим только с теми категориями объектов, которые были использованы при обучении. Следовательно, он не способен реконструировать объекты из других категорий или объекты с существенно измененной формой. В рамках применяемого метода используется алгоритм L1-Median [13] для выявления ключевых точек в структуре облака точек. Затем, с использованием этих ключевых точек, определяется главное направление и рассчитывается плотность локального облака точек. Этот процесс создает условия для дополнения недостающих точек, что способствует более полному отображению структуры облака точек.

3. ПОДХОД К РЕКОНСТРУКЦИИ 3D-СЦЕНЫ ИЗ ОБЛАКА ТОЧЕК

Предложенный метод представляет собой последовательность ключевых этапов. Начальный этап – это извлечение признаков, включающее в себя обработку данных и выделение значимых характеристик для последующей сегментации. Следующий этап – формирование скрытых трехмерных форм из объектов. После этого происходят анализ и извлечение структуры сцены. Затем, на основе скрытых векторов, создаются трехмерные модели объектов. И наконец, все данные и модели объединяются для создания окончательной 3D-модели сцены. Этот процесс обеспечивает целостный подход к реконструкции 3D-сцены из облака точек.

В начальной фазе процесса извлечения признаков с использованием PointNet++ [14], усовершенствованной версии PointNet, происходит детектирование локальных и глобальных объектов из облака точек. PointNet++ строит иерархические отношения между точками, что позволяет лучше улавливать локальные структуры и обобщать сложные сцены. Этот процесс включает в себя несколько важных шагов. Сначала из облака точек случайным образом отбираются точки до фиксированного размера N с применением алгоритма выборки самой дальней точки (FPS). Затем каждая отобранная точка и ее k ближайших соседей подвергаются обработке для получения локальных объектов. Эти локальные характеристики отражают форму и текстуру поверхности в непосредственной близости от каждой точки. Для получения глобальных объектов проводится обработка всего набора точек, при этом для сбора информации используется операция агрегирования. Эти глобальные характеристики описывают структуру и контекст всего набора. В конце локальные и глобальные объекты объединяются для формирования окончательного представления объекта в виде набора точек размером N × D, где D – размерность пространства объектов. Таким образом, начальный этап извлечения признаков является критическим для дальнейшего анализа и сегментации данных набора точек.

После формирования окончательных представлений объектов в виде облака точек, следующим шагом является семантическая сегментация. В рамках этого процесса каждая точка в облаке точек классифицируется на основе извлеченных признаков. Эти сгруппированные точки проходят через ряд слоев для прогнозирования класса объекта для каждой точки. В процессе извлечения признаков и сегментации используется функция перекрестной энтропии. Эта функция потерь измеряет разницу между предсказаниями модели и истинными метками. Для оптимизации процесса используется оптимизатор Адама, который адаптивно корректирует скорость обучения для каждого параметра, основываясь на оценках первого и второго моментов градиентов.

Эксперименты осуществлялись на двух наборах данных: ScanNet и ShapeNetv2. ScanNet представляет собой набор RGB-D-данных, включающий в себя 2.5 млн кадров, полученных в результате более чем 1500 сканирований. Эти данные аннотированы позициями 3D-камер, реконструкциями поверхности и семантической сегментацией на уровне отдельных экземпляров. В свою очередь, ShapeNetv2 является набором данных 3D-моделей, включающим в себя 57 категорий объектов (рис. 1).

Рис. 1. Наборы данных ScanNet и ShapeNetv2

На рис. 2 представлены результаты семантической сегментации на уровне классов и сегментации на уровне экземпляров сцен.

Рис. 2. Результаты семантической сегментации на уровне классов и экземпляров сцен

Слева направо рисунок демонстрирует:

• исходное облако точек – первичные 3D-данные, подлежащие анализу;
• семантический прогноз на уровне классов – определение класса, к которому относится каждая точка в облаке;
• семантические истинные метки классов для каждой точки, используемые для обучения и проверки модели;
• семантический прогноз на уровне экземпляров – определение, к какому конкретному отдельному объекту принадлежит каждая точка;
• семантические истинные метки объекта для каждой точки на уровне экземпляров, используемые для обучения и проверки модели.

На этапе извлечения макета облака точек преобразуются в прямоугольные блоки с помощью сети трансформера. Модуль голосования генерирует прогнозы блоков. Затем эти прогнозы обрабатываются декодером трансформера для дальнейшего уточнения. После нескольких слоев прямого распространения и подавления немаксимальных значений (NMS) эти прогнозы становятся окончательными ограничивающими рамками, которые определяют положения и размеры стен и потолков в пространстве. На рис. 3 демонстрируются результаты извлечения макета. Прямоугольники, которые символизируют стены сцен, кодируются цветом. Зеленый цвет соответствует истинным положительным прогнозам, в то время как желтый цвет указывает на ложные положительные прогнозы.

Рис. 3. Визуализация результатов извлечения макета

Ключевым элементом подхода является выпуклое разложение на герметичных сетках, полученных из набора данных ShapeNet с помощью TSDF Fusion [15]. Сеть, обученная представлять 3D-форму через выпуклое разложение, использует принцип бинарного разделения пространства (BSP), который заключается в рекурсивном разделении пространства для формирования выпуклых множеств. В процессе обучения сеть кодирует 3D-форму в скрытый вектор, который захватывает основные особенности входной формы. Декодер сети затем принимает этот скрытый вектор и декодирует его в набор параметров, которые определяют BSP-дерево. Это BSP-дерево используется для генерации набора выпуклых тел, которые аппроксимируют исходную 3D-форму. Сеть обучается восстанавливать форму, минимизируя функцию потерь между истинной формой и формой, восстановленной сетью. Потери восстановления вычисляются как среднеквадратичная ошибка между истинными и предсказанными значениями плотности. Это означает, что потери восстановления штрафуют модель за разницу между истинной формой и формой, восстановленной сетью. Градиенты функции потерь вычисляются и распространяются обратно через сеть. Затем параметры сети обновляются с использованием алгоритма оптимизации Adam для минимизации потерь. Результатом являются компактные полигональные сетки, которые идеально подходят для представления острых геометрических форм, гарантированно герметичны и могут быть легко параметризованы. На рис. 4 показаны предсказанные и истинные 3D-модели.

Рис. 4. Сравнение предсказанных (слева) и истинных (справа) 3D-моделей

После определения формы, ориентации и расположения объектов на сцене эти данные собираются в полноценную 3D-модель. Модель, представляющая собой полигональную сетку, создается на основе предсказанных 3D-форм объектов и прямоугольников макета. Пример такой интегрированной 3D-модели сцены можно увидеть на рис. 5.

Рис. 5. Формирование 3D-модели сцены из предсказанных данных

На рис. 6 представлены сегментированные облака точек и их восстановленные 3D-модели сцен.

Рис. 6. Сегментированные облака точек и восстановленные 3D-модели сцен

4. ОЦЕНКА ЭФФЕКТИВНОСТИ ПРЕДЛОЖЕННОГО МЕТОДА

В данной работе для оценки качества получаемых 3D-форм объектов, представленных в виде полигональных сеток, применяются метрики AP_mesh, Precision_mesh и Recall_mesh. Эти метрики позволяют оценить эффективность предложенного метода в обнаружении и восстановлении объектов из облаков точек с использованием скрытых векторов.

AP_mesh представляет собой среднюю точность для полигональных сеток, которая вычисляется как среднее арифметическое точностей для различных порогов пересечения по объединению (IoU) между предсказанными и истинными сетками. Precision_mesh определяет долю правильно обнаруженных объектов среди всех предсказанных, вычисляемую как отношение числа истинно положительных (TP) к сумме истинно положительных и ложно положительных (FP) сеток.

Recall_mesh, в свою очередь, представляет собой долю правильно обнаруженных объектов среди всех реальных, вычисляемую как отношение числа истинно положительных (TP) к сумме истинно положительных и ложно отрицательных (FN) сеток. Эти метрики позволяют оценить, насколько хорошо метод обнаруживает и восстанавливает объекты из облаков точек с использованием различных порогов пересечения по объединению (IoU) между предсказанными и истинными сетками.

В процессе тестирования использовалась выборка, включающая в себя восемь категорий объектов: стол, стул, книжная полка, диван, мусорное ведро, шкаф, дисплей и ванна (табл. 1). Для формирования этой выборки применялся метод TSDF Fusion, который позволяет восстанавливать 3D-поверхности объектов на основе набора RGB-D-изображений. Метод TSDF Fusion применяет специальное скалярное поле, которое хранит расстояние от каждой точки в пространстве до ближайшей поверхности. Этот метод объединяет несколько таких полей, полученных с разных точек зрения, в одно общее поле. Затем общее поле преобразуется в полигональную сетку с помощью алгоритма Marching Cubes. Благодаря методу TSDF Fusion возможно получение гладких и водонепроницаемых сеток из шумных и неполных данных.

Таблица 1. Метрики качества восстановления 3D-формы для различных типов объектов при пороге IoU0.1

Для оценки и сравнения с другими методами в контексте 3D-реконструкции объектов используется метрика mAP (средняя средняя точность). Эта метрика позволяет оценить качество восстановленных сеток путем их сравнения с эталонными сетками с использованием метрики IoU (Intersection over Union) для сеток. При установке порога IoU для сеток на уровне 0.5 восстановленная сетка должна перекрывать по крайней мере 50% эталонной сетки, чтобы считаться правильно восстановленной. Это позволяет оценить, насколько точно восстановленная сетка соответствует истинной форме объекта (табл. 2).

Таблица 2. Сравнение предложенного метода с аналогичными работами. Оценки mAP (средняя точность) измеряются при пороге IoU для сетки 0.5

5. ЗАКЛЮЧЕНИЕ

В данной работе предлагается подход к созданию 3D-моделей на основе данных облака точек, который успешно решает задачи расположения элементов, позиционирования объекта и восстановления полигональных сеток. Данный метод применяет передовые архитектуры нейронных сетей, включая PointNet++ для извлечения признаков. Это позволяет модели улавливать сложные зависимости и отношения между различными частями данных, что в свою очередь помогает в создании более точных и детализированных 3D-моделей. PointNet++ является эффективной нейронной сетью, способной обрабатывать облака точек напрямую, захватывая сложные геометрические структуры, характерные для 3D-данных. Transformer, в свою очередь, представляет собой модель, которая использует механизмы самовнимания для уделения внимания различным частям входных данных при вычислении представления данных. В этом контексте Transformer применяется для извлечения макета из данных. Ключевым элементом данного метода является выпуклое декомпозирование, т. е. процесс, в ходе которого сложная форма разбивается на более простые выпуклые части. Выпуклые формы обладают более простыми математическими свойствами, которые можно использовать для эффективных вычислений, что делает их более удобными для работы в различных приложениях, таких как компьютерная графика, физические симуляции, рендеринг и 3D-печать. Используя эти техники в совокупности, предложенный метод эффективно кодирует сложные геометрии 3D-сцен и генерирует реконструкции. Кроме того, он решает проблему отсутствующих точек, применяя специальные методы для восстановления этих точек. Предложенный метод продемонстрировал обещающие результаты и имеет потенциал для применения в различных областях, включая архитектуру, инженерию, цифровизацию культурного наследия, а также системы дополненной и смешанной реальности и другие области, где требуется воссоздание 3D-сцен.

6. ИСТОЧНИК ФИНАНСИРОВАНИЯ

Эта работа была поддержана Российским научным фондом, грант № 22-11-00145.

作者简介

M. Sorokin

编辑信件的主要联系方式.
Email: vergotten@gmail.com
俄罗斯联邦, Saint Petersburg

D. Zhdanov

Email: ddzhdanov@mail.ru
俄罗斯联邦, Saint Petersburg

A. Zhdanov

Email: andrew.gtx@gmail.com
俄罗斯联邦, Saint Petersburg

参考

补充文件

附件文件

动作

1. JATS XML

下载

2. Fig. 1. ScanNet and ShapeNetv2 datasets

下载 (337KB)

索引源数据

3. Fig. 2. Semantic segmentation results at the level of classes and scene instances

下载 (768KB)

索引源数据

4. Fig. 3. Visualisation of layout extraction results

下载 (104KB)

索引源数据

5. Рис. 4. Сравнение предсказанных (слева) и истинных (справа) 3D-моделей

下载 (131KB)

索引源数据

6. Fig. 5. Formation of 3D scene model from predicted data

下载 (191KB)

索引源数据

7. Fig. 6. Segmented point clouds and reconstructed 3D scene models

下载 (542KB)

索引源数据