红外热成像中影像融合的发展

视觉相机和红外热成像在计算机视觉应用中既有优点也有缺点。由于不同技术都拥有局限性，并且通常不会同时发生，因此组合这些不同类型的图像可能会有所帮助。在红外热图像中，很难将部分被遮挡的相同温度的人或物体分开，因为它们具有相同的像素强度。在这种情况下，包括深度信息或颜色边缘才可以帮助消除歧义。

红外热成像仪最常见的组合是热成像和视觉成像。这是由于视觉相机的低价格和众所周知的特性，以及随之而来的随温度增加颜色的优点。主要的挑战是如何对齐和融合不同的图像模式。不同光谱中的亮度水平之间不一定存在任何关系，因此许多相互信息对齐的方法并不适用。通常，手动选择对应点以计算平面单应性，然后使图像之一变形。目前有依赖边缘方向之间相关性的自动对齐技术，和一种根据自动检测的关键点计算单应性的方法。

用于几何校准，镜头畸变校正和红外热成像对准的标准棋盘方法依赖于色差，并且未经任何更改就不能用于热像仪。当用泛光灯加热电路板时，颜色发射率的差异将导致红外热图像的强度差异。然而，通过构造两种不同材料的棋盘可以获得更清晰的电路板图案，其热发射率和温度差异很大。这种方法也适用于在不同基材之前使用带有铣削方格图案的铜板，以及在塑料板之前使用金属线的方法。当这些特殊的棋盘被热风枪，吹风机或类似设备加热时，由于材料的发射率不同，在红外热图像中将看到清晰的棋盘图案。同时，由于色差，它在视觉图像中也是可见的。

图为人体测温红外热像图

融合可以在不同级别上进行，通常描述为像素级别，特征级别或决策级别。在像素级融合中，需要对图像进行空间配准，以便所有图像的相同像素位置对应于现实世界中的相同位置。然后使用融合算法逐个像素地合并图像。使用特征级融合，可以在所有图像中单独找到特征，然后融合到联合特征集中。决策级融合遵循单个处理，直到完成对观察到的场景的评估为止。融合级别的选择将取决于应用。融合可见视频和红外热成像视频的方法，是将两个图像对齐并使用带有热量信息的叠加图像进行组合。一种称为通用融合模型（像素级别），另一种称为组合模块（特征级别）。组合模块经过六个序列测试，具有最佳性能，提出了Curvelet和小波变换的组合，以及用于融合视觉和红外热图像的离散小波包变换方法。使用自适应加权方法，在融合之前能增强每种模态中的非自然物体。另一种方法是将颜色和热信息同时保留为新的“红绿蓝热”视频格式

红外热成像仪的空间分辨率仍然很低，而可获得最佳分辨率的价格却很高。与视觉摄像机结合使用时，使用具有低空间分辨率的热传感器仍可以改善监视效果。通过融合视觉和热学视频，可以构建红外热图像的超分辨率。提出原型使用三个摄像机来组合可见光，NIR和LWIR波段。视觉系统以外的其他传感器也可以与融合系统中的红外热成像仪结合使用。可以融合红外热成像仪和激光扫描仪的数据，以获得可靠的行人检测并进行跟踪。也可以融合近红外传感器和低分辨率，远红外传感器，以获得低成本的夜视系统。

融合图像系统在各个领域都有应用。在监视系统中，由于需要一种可以在室内和室外在白天和黑夜均可工作的强大系统的必要性，使用融合图像模式是很普遍的。在汽车的监视和夜视系统中，都可以通过融合图像模式来改进对脚步的检测。尤其是监视系统，可以检测到的人类的注意力领域，并且融合了视觉图像和热图像，以在远程沉浸式空间中进行可靠的前景检测。