DELMIA增强体验解决方案中使用跟踪来识别要组装或检查的器件
作者：DELMIA营销战略业务开发和营销总监Wendy（Klotz）Mlynarek
 
得益于Delmia的3D模型，它可以同时定位多个元素，并在正确的时间、正确的地点和正确的比例显示工业过程所需的数字信息。
什么是跟踪？
跟踪是在实时摄像机采集中定位给定产品的软件过程。这种跟踪过程是提供增强现实体验的应用程序的基础。
换句话说，跟踪是：

• -相对于特定对象（目标对象）定位相机。
• -了解和绘制环境图。
• -基于运动的特定对象（目标对象）的实时识别和跟踪。

图1：此外，3D模型相对于现实的准确性、目标对象的纹理和形状（边缘的存在）以及光照条件（可见度）是更有效跟踪时需要考虑的关键点
跟踪依赖于检测和跟踪算法。这些被训练来识别和遵循物体的独特特征，如形状、颜色、轮廓等。
为了使跟踪工作正常进行，需要以下元素：

1. 被操纵的真实物体
2. 要跟踪的具体对象
3. 被跟踪对象的跟踪模型（或3D模型）

手动跟踪初始化
在手动跟踪初始化的情况下，用户手动定义开始跟踪的第一个位置。然后，该应用程序存储在跟踪过程中拍摄的某些参考图像。这些参考图像是跟踪初始化过程的起点。
当用户定义第一个位置时，应用程序会从不同的角度和视角捕获代表场景的图像。然后，这些图像被用作后续跟踪的参考。它们可能包含用户希望跟踪的场景对象或特定元素。为了进行跟踪初始化，将参考图像与设备摄像头捕获的实时图像进行比较。图像匹配技术用于找到参考图像的像素和实时图像的像素之间的对应关系。
使用这些对应关系，应用程序可以估计将参考图像与实时图像对齐所需的变换。这决定了要跟踪的对象相对于相机的初始位置和方向。
一旦跟踪初始化，跟踪过程就开始了。该应用程序使用获得的初始信息来实时跟踪场景中的对象。位置和方向将在视频流中保持不变。
这种跟踪初始化的方法取决于用户设置的初始位置的精度。如果位置不正确或不精确，这可能会导致以后的跟踪错误。但是，在用户希望跟踪特定对象并能够提供其位置的合理初始估计的情况下，这种方法可能很有用。
使用深度学习跟踪初始化
AR跟踪
在讨论基于深度学习的跟踪初始化时，我们的想法是使用训练好的模型来执行这项任务。该模型能够学习识别参考图像中的相关特征和模式，以提供更稳健和准确的跟踪初始化。
 
基于深度学习的跟踪初始化过程通常包括几个步骤：

• 数据收集：有必要收集一个训练数据集，其中包括在跟踪过程中拍摄的参考图像。这些图像必须覆盖各种场景、照明和环境条件，才能获得能够有效推广的模型。
• 模型训练：一旦收集了训练数据，就可以用来训练深度学习模型。该模型可以是卷积神经网络（CNN）或适用于跟踪初始化任务的另一种架构。训练的目的是教模型识别与跟踪初始化相关的特征，如感兴趣的对象、图像中的独特图案或地标。
• 验证和调整：一旦模型经过训练，就会在单独的验证数据集上进行评估，以衡量其性能和有效性。如有必要，可以进行调整以提高模型性能，例如增加训练数据、添加正则化或优化参数。
• 使用模型：一旦模型经过充分训练和验证，它就可以用于在实际应用程序中初始化跟踪。当用户开始跟踪时，应用程序使用该模型分析第一幅图像并估计要跟踪的对象或目标的初始位置。然后，该初始估计值被用作连续跟踪过程的起点。

跟踪技术
因此，通过使用深度学习来跟踪初始化，我们可以获得一种更稳健、更能适应光照、场景背景和其他视觉变化的方法。然而，应该指出的是，模型的有效性取决于训练数据的质量和多样性，以及所使用的学习算法的性能。
增强现实视频中的跟踪：
https://www.youtube.com/watch?v=LiufGF5BQ0E&t=11s
 
跟踪与跟踪模型
在许多领域，如计算机视觉、机器人技术和增强现实，跟踪模型是作为上述跟踪过程的一部分使用的模型或算法，更具体地说，是在图像或视频序列中跟踪和定位对象。
它旨在估计和预测感兴趣对象随时间的位置、运动和特征。它可以基于机器学习技术，如监督学习、无监督学习或强化学习。其目的是提供有关物体位置和运动的精确信息，从而能够进行跟踪、检测、识别和分析。
跟踪模型应该与术语跟踪区分开来，因为它们不是一回事：它们是相互依存的，一个不能没有另一个。
为了实现模型跟踪，必须满足几个条件：

• 三维CAD模型
• 它们必须与现实相符
• 在操作过程中，相关目标对象必须在相机中保持可见
• 包含一个或多个部件

DELMIA增强体验解决方案中使用了跟踪功能，通过其3D模型识别要组装或检查的设备，同时定位多个元素，并在正确的时间、正确的地点和正确的比例显示工业过程所需的数字信息。
 
www.3ds.com/products/delmia