通过临时平均法提高 BVS CA 工业相机的图像质量并降低噪声
1. 导言
以下文档介绍了如何使用BVS CA-SF和BVS CA-GX系列的去噪功能(平均)。为此,BVS CA-SF1 至少需要 2.8.0 版固件,BVS CA-SF2 至少需要 2.14.2 版固件。与低通滤波器或平均滤波器等图像处理算法相比,临时去噪(平均)可在不丢失图像信息的情况下提高图像质量。
2. 该功能有什么作用?
假设有人添加了两幅图像的内容。虽然图像亮度增加了一倍,但噪声并没有增加一倍,因为噪声(通常)是统计分布的。从统计学角度讲,只要两幅图像相加,噪点水平只会增加 √2 倍。如果将图像除以 2 倍,使亮度再次相同,则可以说噪声水平降低了 3 dB 或信噪比水平提高了 3 dB。
3. 几幅图像相加会发生什么情况?
EMVA1288 定义了一系列功能和测量规则,可用于
-
动态范围
-
信噪比和
-
暗电流的一系列函数和测量规则。
例如,动态范围是电荷载流子最大填充量(满井容量)Nwell (或 EMVA1288 规定的饱和容量)与最低信号暗电流ndark(Ndark[暗电流])之比的结果,计算公式如下:
公式 1: 传感器的最大 DNR传感器的最大信噪比
信噪比是电荷载流子最大填充量(满井容量)与噪声(暗电流与信号噪声的几何和)之比的结果。根据物理学原理,自然界中的信号会受到所谓的射击噪声(也称为泊松射击噪声或肖特基噪声)的影响。镜头噪声与自身信号的平均值成正比。在明亮的场景中,镜头噪声占主导地位,因此信噪比可以简单地确定为 √ 记录容量。
公式 2: 简化的传感器最大信噪比
增加图像就等于增加记录容量。这就得出了 DNR 和 SNR:
公式 3: 传感器的平均 DNR
公式 4: 通过去噪(平均)提高信噪比
动态范围和信噪比均增加 √avg,即 20*(log (√avg)) dB
例如:avg=16:DNR 和 SNR 提高了 4 倍。
即 12.04 dB 或动态范围提高 2 位。
BVS CA-SF1 系列可在摄像机内存中以全位深度平均多达 16 幅图像。在摄像机进行计算和输出图像的同时,传感器中的新图像也在被处理。因此,平均图像的数据流并不连续。
BVS CA-SF2 系列可根据图像大小和比特深度将图像加总到一定限度(例如 BVS CA-SF2-0024Z:56 幅图像@8 比特或 37 幅图像@12 比特)。图像输入是连续的,不会丢弃任何输入的图像。

上面的截图显示的是一幅增益为 42 dB 的图像(使用位移),没有进行平均处理。整个图像的时间噪声(从一幅图像到下一幅图像的像素位置)标准偏差为 40.29 位(16 位)。
下面的截图显示的是 32 幅图像平均后的同一场景:噪点明显减少,图像细节没有丢失。图像的增益仍为 42 dB!因此,标准偏差可降低 5.6 =√avg。

使用 BVS CA-SF1-0013ZG 相机进行的 EMVA1288 测量根据 EMVA1288 标准取得了以下测试结果,该相机包含带有 10 位 ADC 的 e2v 76C560 CMOS 传感器:
|
平均模式 |
16x |
4x |
关闭 |
|
帧频 [fps] |
3,7 |
15,1 |
60,5 |
|
最大信噪比 [dB] |
51,9 |
45,9 |
39,8 |
|
最大信噪比 [比特] |
8,6 |
7,6 |
6,6 |
|
暗噪声[DN] |
0,7 |
1,29 |
2,5 |
|
动态范围 [dB] |
62,7 |
57,3 |
51,4 |
|
动态范围 [位] |
10,4 |
9,5 |
8,5 |
SNR 和 DNR 均符合所提出的理论。
4. 那么,在弱光环境下,哪种方法更适合呢?
是用曝光时间较短的 exp(产生 Nexp 光子)avg 平均图像,还是用曝光时间 avg*exp 拍摄图像?
这可以用 DNR 的计算公式来回答:在较暗的场景中,平均值会在开始时增加光子,而暗电流则通过平方根增加。

公式 5: DNR 通过平均值增加

公式 6:通过增加曝光时间提高 DNR
由于只需考虑一次暗电流,因此以更长的曝光时间拍摄图像可获得更高的动态范围。
虽然平均法对静态图像非常有效,但在运动图像中显然会出现运动模糊或图像模糊的情况。
5. 如何处理运动模糊?- 通过平均运行(自适应降噪)!
一些BVS CA-GX 型 CCD 摄像机的 FPGA 中集成了众所周知的自适应降噪原理。
假设灰度值的偏差是通过输入信号(输入信号)与帧存储器信号逐个像素确定的。输入信号和平均信号以反比方式相加,由两个电位器表示。(即输入信号越多,平均信号越少)。

这一特性由 "斜率 "参数控制,例如,像素值相差 10%,则输入信号为 95%,平均信号为 5%。该参数可用于控制降噪,但以运动伪影为代价。这种方法非常适合运动,因为它所依赖的事实是,人眼对运动图像区域的噪点反应比静态图像区域更为敏感。而这正是摄像机的工作原理。静态图像区域会被去噪,因为环路更加 "封闭"。图像中的移动部分去噪较少,因为对于这些像素来说,环路更加 "开放"。
去噪不会降低图像频率,也不会产生延迟。原因很简单:图像输出是先于存储器在 FPGA 中生成的。不过,由于去噪需要几个帧,帧频会降低。
以下截图显示,静态内容的图像可以进行去噪处理,而动态内容的图像也可以进行低噪声和运动模糊处理。

静态内容和高放大(增益)的图像;无降噪处理

相同的去噪场景(斜率 1000)

有移动轮胎的场景
6.1. 曝光时间与平均/求和的关系
延长 N 倍曝光时间与 N 倍图像平均和 N 倍图像增益(如果当前图像太暗)之间有什么区别?
这两种方法的最终图像亮度相同。
-
第一个明显的区别是帧频。使用平均法时,帧频会因平均所使用的帧数而降低。
-
从图像质量的角度来看,我们已经了解到,临时噪点的减少量是平均帧数的平方根。因此,信噪比大约相当于 N 倍曝光与 N 倍平均和 N 倍增益的对比。主要区别在于,平均化也适用于传感器的读出噪声,与曝光时间无关。这意味着在任何情况下,灵敏度阈值都会降低。
-> 平均化 提高了相机的灵敏度,而更长的曝光时间则会带来更高的动态范围。对于低照度应用,后者通常不那么重要,而平均化则很重要。
图像暗了 N 倍:
-
曝光时间延长 N 倍,结果是

-
N 倍增益和 N 倍平均,结果是:
6.2.1. 信噪比

由于是泊松分布,偏差与平均值相对应。如果我们假设只达到可能饱和度的 1/𝑁𝑁𝑠𝑎𝑡,我们可以使用 N 次曝光来获得𝑁𝑠𝑎𝑡:

如果添加图像(同样适用于平均):

这样,N 次曝光或 N 次平均/求和都能得到相同的 SNR 值。
6.2.3. 灵敏度阈值

该值在不同的曝光时间内保持不变,因为它与曝光时间无关。只要添加图像,就会产生这样的结果:

因此

模拟值:
|
最大饱和度 |
10000 e- |
|
读取噪音 |
2 e- |
|
原始值 |
亮噪:27.95 e-, 暗噪:2.02 e-, SNR:93.52 | 39.42 dB, DNR:1294.49 | 62.24 dB |
|
4 x 曝光 |
亮噪:58.26 e-,暗噪:2.21 e-,信噪比:180.01 | 45.11 dB,DNR:4742.76 | 73.52 dB |
|
4 x 平均值 |
亮噪:13.96 e-,暗噪:1.01 e-,信噪比:187.28 | 45.45 dB,DNR:2588.27 | 68.26 dB |


