当前融合效果的评价问题一直未得到很好的解决，原因是：同一融合算法，对不同类型的图像，其融合效果不同；同一融合算法，对同一图像，观察者感兴趣的部分不同，则认为效果不同；不同的应用方面，对图像各项参数的要求不同，导致选取的评价方法不同。
因而，需要寻找一种比较客观评价融合图像效果的方法，使计算机能够自动选取适合当前图像的、效果最佳的算法。从而为不同场合下选择不同较优算法提供依据。
1客观评价
1.1基于信息量的评价
1.1.1 熵[3]
图像的熵是衡量图像信息丰富程度的一个重要指标。如果融合图像的熵越大，说明融合图像的信息量增加。
1.1.2交叉熵
交叉熵直接反映了两幅图像对应像素的差异，是对两幅图像所含信息的相对衡量。
1.1.3相关熵（互信息）
相关熵（互信息）是信息论中的一个重要基本概念，它可作为两个变量之间相关性的量度，或一个变量包含另一个变量的信息量的量度，因此，融合图像与原始图像的相关熵（互信息）越大越好。
1.1.4偏差熵
偏差熵反映了两幅图像像素偏差的程度，同时也反映了两幅图像信息量的偏差度，分别有：单一偏差熵、总体平方平均偏差熵、总体算术平均偏差熵、总体几何平均偏差熵、总体调和平均偏差熵。
1.1.5联合熵
联合熵也是信息论中的一个重要基本概念，它可作为三幅图像之间相关性的量度，同时也反映了三幅图像之间的联合信息，因此，融合图像与原始图像的联合熵越大越好。
1.2基于统计特性的评价
1.2.1均值
1.2.2标准差
标准差反映了灰度相对于灰度均值的离散情况，标准差越大，则灰度级分布越分散，有标准差、对数标准差。
1.2.3偏差度
偏差度用来反映融合图像与原始图像在光谱信息上的匹配程度，如果偏差指数较小，则说明融合后的图像R在提高空间分辨率的同时，较好地保留了F的光谱信息，有：绝对偏差度、相对偏差度。
1.2.4均方差
1.2.5平均等效视数
平均等效视数[8]可以用来衡量噪声的抑制效果、边缘的清晰度和图像的保持性。
1.2.6 协方差
1.3基于信噪比的评价
图像融合后去噪效果的评价原则为：（1）信息量是否提高；（2）噪声是否得到抑制；（3）均匀区域噪声的抑制是否得到加强；（4）边缘信息是否得到保留；（5）图像均值是否提高。因此可以从下面几个方面评价。
1.3.1信噪比
1.3.2峰值信噪比
1.4基于梯度值的评价
1.4.1清晰度（平均梯度）
清晰度[11]反映图像质量的改进，同时还反映出图像中微小细节反差和纹理变换特征。
1.4.2 空间频率
空间频率反映了一幅图像空间域的总体活跃程度。
1.7基于小波能量的评价[14~15]
对图像进行小波分解后，对小波系数处理，然后重构得到融合图像，这种方法融合图像的效果评价可以采用小波系数平均能量的办法。
2 评价指标的选取
评价指标的选取一般根据融合的目的选取，图像融合的目的主要有以下几个方面。
2.1 去噪
一般而言，从传感器得到的图像都是有噪图像，而后续的图像处理一般要求噪声在一定范围内，因此，可以采用融合的方法来降低噪声，提高信噪比。对于这种方法一般采用基于信噪比的评价。
2.2 提高分辨率
提高分辨率也是图像融合的一个重要目的，有时从卫星得到的红外图像的分辨率不高，这就要求用其它传感器得到图像（如光学图像，合成孔径图像）与红外图像进行融合来提高分辨率。对于这种方法的融合效果评价可采用基于统计特性及光谱信息的评价方法。
2.3 提高信息量
在传输图像，图像特征提取等方面需要提高信图像的信息量。图像融合是提高信息量的一个重要手段。对于融合图像的信息量是否提高，我们可采用基于信息量的评价方法。
2.4 提高清晰度
在图像处理中，往往需要在保持原有信息不丢失的情况下，提高图像的质量、增强图像的细节信息和纹理特征、保持边缘细节及能量，这对于一般的图像增强很难办到，因此需要采用图像融合的办法，这时，对融合效果的评价可采用基于梯度的方法及模糊积分的办法和小波能量的评价方法.
2.5特殊要求
在有些方面融合的目的既不是提高信息量，也不是提高分辨率和降低噪声。这就需要根据特殊的要求来加以衡量。
2.6定性描述
定性描述就是主观评价法，也就是目测法。这种方法主观性比较强，但对一些明显的图像信息进行评价直观、快捷、方便；对一些暂无较好客观评价指标的现象可以进行定性的说明。其主要用于判断融合图像是否配准，如果配准不好，那么图像就会出现重影，反过来通过图像融合也可以检查配准精度；判断色彩是否一致；判断融合图像整体亮度、色彩反差是否合适，是否有蒙雾或马赛克现象；判断融合图像的清晰度是否降低，图像边缘是否清楚；判断融合图像纹理及色彩信息是否丰富，光谱与空间信息是否丢失等。