全景分割：简介和数据集

什么是全景分割？

实例分割意味着检测和屏蔽场景中每个不同的感兴趣对象。

语义分割是为场景中的每个点/像素分配类别标签（汽车、人、植被……）的任务。

因此，全景分割意味着每个点都被分配了一个类标签和一个实例标签。点可以表示常规2D图像中的像素或3D点云中的点。

在全景分割中，一个实例既可以代表一个不同的事物，也可以代表一个事物的区域。事物是可数的物体，例如行人、动物或汽车，而事物则代表不可数的无定形区域，例如天空或草地。

全景分割标签可以比实例分割标签提供更多的上下文，并且比语义分割标签更详细。这使得它们对于ML系统中的场景理解应用程序非常有用。

全景分割可用于自动驾驶汽车(AV)、医疗保健、智慧城市、地球科学等。自动驾驶汽车是全景分割的一个很好的应用，因为驾驶数据自然包括不同的对象，如汽车，以及道路和人行道等区域。

全景分割数据集

为了训练全景分割模型，我们首先需要标记的训练数据。我们可以使用公开可用的数据集，也可以创建自己的数据集。我们将首先查看哪些公共数据集可用于2D图像和3D点云数据。

二维图像全景分割数据集

3D点云全景分割数据集

全景分割也可用于3D点云数据。这些数据通常使用激光雷达传感器或立体相机收集。

创建数据集需要三个步骤：

数据采集

数据收集包括获取正确的工具来捕获新数据，例如带有激光雷达传感器的车辆，然后出去捕获数据。您应该在尽可能与实际生产环境匹配的环境中捕获数据。

数据选择/管理

接下来，您通常必须选择要包含在数据集中的捕获数据，因为使用所有捕获的数据可能不可行且效率低下。在这里，选择涵盖您捕获的所有不同场景的不同数据非常重要。

数据标注

最后，您必须标记您选择的数据。对于全景分割，这意味着为每个实例和每个背景区域创建分割掩码。这可能是一个乏味且耗时的过程，但使用正确的工具，您可以显着加快标记速度。

结论

全景分割是一种结合实例分割和语义分割的图像分割任务。全景分割标签提供有关场景的整体信息，从而帮助 ML 模型理解场景。全景分割既可用于图像数据，也可用于3D 点云（激光雷达或 RGBD）。

全景数据集有许多公共数据集。其中大多数由城市驾驶图像组成，因此适用于自动驾驶汽车应用。还有一些常见日常物品的数据集。

如果要为不同的应用程序创建全景分割模型，如果要使用不同的类别，或者如果生产中的数据与公共数据集中的数据不同，则必须创建自己的数据集。为此，您需要收集、整理和标记数据。

如果您有任何问题或建议，请随时联系我们。