Real image from different sources:

Human vision system

VS

Computer vision system

“眼见为实”吗？

马赫带效应

虽然条带强度恒定，但实际感觉到了一幅带有毛边（特别是靠近边界处）的亮度图形。

马赫带不是由于刺激能量的分布，而是由于神经网络对视觉信息进行加工的结果。 这种在图形轮廓部分发生的主观明度对比加强的现象，称为边缘对比效应。边缘对比效应总是发生在亮度变化最大的边界区域。

同时对比度效应

第二章   图像信息基本知识

一、 人眼视觉特性    引起视觉的外周感受器官是眼，它由含有感光细胞的视网膜和作为附属结构的折光系统等部分组成。人眼的适宜刺激是波长 370-740nm 的电磁波；在这个可见光谱的范围内，人脑通过接受来自视网膜的传入信息，可以分辨出视网膜像的不同亮度和色泽，因而可以看清视野内发光物体上反光物质的轮廓、形状、颜色、大小、远近和表面细节等情况。　

1 ．    人眼构造简介　　人眼的基本结构如下图所示。 

     人眼的结构和照相机相似：瞳孔的直径可在 2-8 毫米间调节 --光圈；扁球形弹性透明体（晶状体） --透镜；使不同距离的景物在视网膜上成像，视细胞受到光的刺激产生电脉，电脉冲沿着神经纤维传递到视神经中枢，由于各细胞产生的电脉冲不同，大脑就形成了景象的感觉。

     当用光学原理分析眼的折光特性时，首先遇到的一个困难是，眼球并非一个薄透镜或单球面折光体，而是由一系列曲率半径和折光指数都不相同的折光体所组成的折光系统。     研究表明，正常成人眼处于安静而不进行调节的状态时，它的折光系统的后主焦点的位置，正好是其视网膜所在的位置。

     这一解剖关系对于理解正常眼的折光成像能力十分重要。它说明，凡是位于眼前方 6m 以外直至无限远处的物体，由于由它们发出或反射出的光线在到达眼的折光系统时已近于平行，因而都可以在视网膜上形成基本清晰的像，这正如放置于照相机主焦点处的底片，可以拍出清晰的远景一样。

     当然，人眼不是无条件的看清任何远处的特体，例如，人眼可以看清楚月亮（或其他更远的星体）和它表面较大的阴影，但不能看清楚月球表面更小的物体或特征。

为什么？

造成后一限制的原因有二：一是，如果来自某物体的光线过弱，或它们在空间传播时被散射或吸收，那么它们到达视网膜时已减弱到不足以兴奋感光细胞的程度，这样就不可能被感知；二是，如果物体过小或它们离眼的距离过大，则它们在视网膜上形成的大小，将会小到视网膜分辨能力的限度以下，因而也不能感知。

     如果安静状态的眼的折光能力正好把6m 以外的物体成像在视网膜上，那么来自较 6m 为近的物体的光线将是不同程度呈辐射状的，它们在折射后的成像位置将在主焦点，亦即视网膜的位置之后；由于光线到达视网膜时尚未聚焦，因而物像是模糊的，由此也只能引起一个模糊的视觉形象。     但正常眼在看近物时为什么也十分清楚？ 

     这是由于眼在看近物时已进行了调节，使进入眼内的光线经历较强的折射，结果也能成像在视网膜上。人眼的调节亦即折光能力的改变，主要是靠晶状体形状的改变。

眼调节前后睫状体位置和晶状体形状的改变

为什么买电影往往不要前几排的票？为什么我要戴眼镜才看得清楚？

瞳孔和瞳孔对光反应 　　瞳孔指虹膜中间的开孔，是光线进入眼内的门户；它在亮光处缩小，在暗光处散大。　　瞳孔大小随光照强度而变化的反应，是一种神经反射，称为瞳孔对光反射。引起此反射的感受器就是视网膜，传入纤维在视神经中，但这部分纤维在进入中枢后不到达外侧膝状体，而在在中脑的顶盖前区换神经元，然后到同侧和对侧的动眼神经核，传出纤维主要是动眼神经中的副交感纤维，效应器也主要是瞳孔约肌。  

    有关“视网膜的结构和两种感光换能系统 ”、“视杆细胞的感光换能机制 ”、“视锥系统的换能和颜色视觉 ”、“视网膜的信息处理 ”等不作介绍，感兴趣的同学可查阅相关文献

2 ．     人眼视觉模型（ 1）   点扩展函数和调制转移函数冲激函数经过光学系统后的成像　　　　　称为点扩展函数（ PSF）或冲激响应函数；经线性移不变系统后得到的图像　　　是原图像　　　　与点扩展函数　　　的卷积；　　　　称为光学系统的调制转移函数（ MTF）；　　　　和　　　可以表征一个线性移不变的光学系统

),;,( yxh

),( yxg

),( yxf ),( yxh

),( vuH

),( yxh ),( vuH

（ 2）  人眼视觉模型　　人眼类似一个光学系统。由于神经系统的调节，它又不是普通意义上的光学系统。建立视觉模型就是力图用线性光学系统的概念来解释某些视觉特性，并可进行一些定量的分析和预测。 

与波长有关的感受体线性系统

（低通）)(1 H 点非线性

（对数）

线性系统

（带通）

)(2 H

线性系统

（延时）

)(3 fH

神经信号

1 ）作为一个光学器件，从空间频率的角度来说，是一个低通型线性系统。表明：人眼的分辨力是有限的。（瞳孔一定的几何尺寸及视细胞有一定的大小。）2）人眼对于亮度的响应具有对数性质。人眼正是通过这一对数性质来接受宽达　　倍的亮度范围。人所能觉察到的亮度增量的度量是以 B为底的对数增量形式，而不是线性增量：

yyyLL BB log)(log, 21

810

3 ）由于神经系统的作用，从空间频率的角度来说，人眼又具有带通型线性系统的特性，又称为侧抑制效应。加权求和运算将有带通滤波器的效应。

4）从时间上说，人眼对亮度的响应有一定的延时。这是由神经系统时间响应上的限制引起的。 

     人从亮处进入暗室时，最初看不清楚任何东西，经过一定时间，视觉敏感度才逐渐增主，恢复了在暗处的视力，这称为暗适应。相反，从暗处初来到亮光处，最初感到一片耀眼的光亮，不能看清物体，只有稍待片刻才能恢复视觉，这称为明适应。 

（ 3）人眼调制转移函数和对数 -线性系统  图像处理中大量是静止图像，因此上述模型中的 1）， 2）， 3）三个子系统将起作用。　　为了抵消人眼对亮度响应的对数性质，测试人眼视觉系统的实际亮度应当是指数性的，这样人眼视觉系统可以“线性化”，直接可测出调制转移函数。　　亮暗在空间上作正弦变化条纹图像的物理对比度和感觉对比度之比随空间频率变化而变化的曲线，称为调制转移函数（ MTF）。 

3 .   视觉系统对颜色的感知

    可见光的波长范围为 380nm～ 780nm ，大多数自然光都是由不同波长的光组合而成。    人的视网膜有对红、绿、蓝颜色敏感程度不同的三种锥体细胞，另外还有一种在光功率极端低的条件下才起作用的杆状体细胞，因此颜色只存在于眼睛和大脑中。颜色是视觉系统对可见光的感知结果。   红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同，对不同亮度的感知程度也不同，因此不同组成成分的可见光就呈现出不同的颜色 .

视觉系统对颜色和亮度的响应特性曲线（各个波长的光的强度相等）

上面的颜色响应曲线表明，人类眼睛对蓝光的灵敏度远远低于对红光和绿光的灵敏度。

亮度响应曲线表明人眼对波长为 550nm左右的黄绿色最为敏感。

   许多具有不同光谱分布的光产生的视觉效果（颜色）是一样的。即光谱与颜色的对应是多对一的。    光谱分布不同而看上去相同的两种颜色称为条件等色（匹配等色）。   绝大部分可见光谱对眼睛的刺激效果都可以用红（ 700nm ） , 绿（ 546.1 ） , 蓝（ 435.8nm ）三色光按不同比例和强度的混合来等效表示。（三刺激理论）

匹配任意可见光所需的三原色光比例曲线

从人的主观感觉角度，颜色包含三个要素：(1)色调（ hue）：色调反映颜色的类别，如红色、绿色、蓝色等。色调大致对应光谱分布中的主波长。

(2) 饱和度（ Saturation ）    饱和度是指彩色光所呈现颜色的深浅或纯洁程度。对于同一色调的彩色光，其饱和度越高，颜色就越深，或越纯；而饱和度越小，颜色就越浅，或纯度越低。高饱和度的彩色光可因掺入白光而降低纯度或变浅，变成低饱和度的色光。 100% 饱和度的色光就代表完全没有混入白光的纯色光。

(3)明亮度（ luminance）    明亮度是光作用于人眼时引起的明亮程度的感觉。一般来说，彩色光能量大则显得亮，反之则暗。     大量试验表明，人的眼睛能分辨 128种不同的色调， 10－ 30种不同的饱和度，而对亮度非常敏感。人眼大约可以分辨 35 万种颜色。

4.   颜色模型

     颜色模型（ color model）是用来精确标定和生成各种颜色的一套规则和定义。    某种颜色模型所标定的所有颜色就构成了一个颜色空间。     颜色空间通常用三维模型表示，空间中的颜色通常使用代表三个参数的三维坐标来指定

     对于人来说，可以通过色调、饱和度和亮度来定义颜色（ HSL颜色模型）；     对于显示设备来说，可以用红、绿、蓝磷光体的发光量来描述颜色（ RGB颜色模型）；     对于打印设备来说，可以使用青色、品红、黄色和黑色颜料的用量来指定颜色（ CMYK颜色模型）。

(1) RGB颜色模型      理论上绝大部分可见光谱都可用红、绿和蓝 (RGB) 三色光按不同比例和强度的混合来表示。　 L ＝ R( 红色的百分比 )＋ G( 绿色的百分比 )＋  B( 蓝色的百分比 )　　　　如　 L ＝ 0.3R+0.6G+0.1R 　　当然，这里的系数只是近似的，它具体的值依赖于显示器所采用的磷粉标准，以 NTSC视频信号标准，则三个系数依次为： 0.299、 0.587 、 0.144   RGB 模型称为相加混色模型，用于光照、视频和显示器。例如，显示器通过红、绿和蓝荧光粉发射光线产生彩色。

(2) CMYK颜色模型在理论上，绝大多数颜色都可以用三种基本颜料（青色 cyan 、品红 magenta、和黄色 yellow）按一定比例混合得到。理论上，青色、品红和黄色三种基本色素等量混合能得到黑色。但实际上，因为所有打印油墨都会包含一些杂质，这三种油墨混合实际上产生一种土灰色，必须与黑色  (K) 油墨混合才能产生真正的黑色，所以再加入黑色作为基本色形成 CMYK颜色模型。CMYK模型称为相减混色模型。

RGB 彩色空间和 CMY 彩色空间的表示法

颜色模型的空间表示

(3)HSL颜色模型在 HSL模型中， H定义色调； S定义颜色的深浅程度或饱和度； L定义亮度。RGB 模型和 CMYK模型主要是面向设备的，而 HSL模型更容易被人理解和控制。

（ 4） YIQ颜色模型　我们也可以将 RGB颜色模型转化为亮度 -色度空间。在 NTSC视频信号中使用了 YIQ颜色模型。这是一种由 RGB 转化来的亮度 -色度模型，该模型中Y代表了光源的亮度，而色度则包含在 I、 Q两个参数里。在参数 I中包含了橙 -青的色彩信息， Q中包含了绿 -品红的色彩信息。　由于人眼对于亮度的敏感程度大于对于色度的敏感程度，因此将最大的带宽分给 Y信号，并且由于Y信号包含了亮度信号，所以在黑白电视机中就只使用 Y信号。

下面是 RGB<-->YIQ的变换公式：

   

（ 5） YUV颜色模型  YUV颜色模型和 YIQ颜色模型类似。  事实上 YUV只是一类颜色模型 (YCrCb)的总称。其中 Y的定义是相同的，色度信息也是组合在 Cr、Cb中，其中 Cr 代表了光源中的红色分量， Cb代表了光源中的蓝色分量，因此它的变换公式：  

如何找到人脸？如何找到人脸？

二、  图像质量评价可懂度逼真度1.图像质量评估方法与标准当前对图像质量的评估方法主要分成两类：主观评价和客观测量。主观评价的方法与标准已相对完善，而客观测量则处于热点研究中。

　 1）主观评价 

主观评价的方法是将待评价的图像序列播放给评论者观看，并记录他们的打分，然后对所有评论者的打分进行统计，得出平均分作为评价结果。 

很显然，主观评价有几个显著的不足之处： 

(1) 观察者一般需要是一个群体，并且经过培训以准确判定主观评测分，人力和物力投入大，为时较长；(2)图像内容与情节千变万化，观察者个体差异大，容易发生主观上的偏差；(3)主观评价无法进行实时监测；(4)仅仅只有平均分，如果评测分数低，无法确切定位问题出在哪里。 

2 ）客观测量 

   客观测量基于仿人眼视觉模型的原理对图像质量进行客观评估，并给出客观评价分。近几年，随着人们对人眼视觉系统研究的深入，客观测量的方法和工具不断被开发出来，其测量结果也与主观评价较吻合。国际上也成立了 ITU-R视频质量专家组 (ITU-RVQEG： VideoQualityExperts Group)专门研究和规范图像质量客观测量的方法和标准。 

VQEG 规定了两个简单的技术参数：峰值信噪比 (PSNR)和均方差 (MSE)。此外，还有许多图像质量模型，这些模型在测量图像质量时都基于人眼视觉特性。下图是一种典型的基于解码图像与基准图像差值的图像质量客观测量模型。  

　三、    图像噪声　 1．   噪声的定义：　　不可预测，只能用概率统计方法来认识的随机误差。图像噪声：妨碍人们视觉器官对所接收的信源信息理解的因素。　  由于噪声定义为随机误差，因而对噪声的描述方法可以借用随机过程的描述，即用其概率分布函数和概率密度分布函数。这种描述是困难的，甚至不可能的。实际应用中往往采用数字特征来描述。     但是，噪声问题不能完全看作是一个纯科学或纯数学问题，也与人的生理与心理因素有关。

　均方值　　　　描述噪声的总功率；

　方差　　　　　　描述噪声的交流功率；

　均值　　　　　描述噪声的直流功率。

2RE

2RERE

2RE

信噪比（ SNR）    ——反映了噪声相对于信号的强度比值

2

2

lg10n

s

V

VSNR

图像中

1

0

21

0

1

0

1

0

2 .,ˆ/,ˆM

x

N

y

M

x

N

y

yxfyxfyxfSNR

2 ．   噪声的分类内部噪声外部噪声

平稳噪声（其统计特性不随时间变化的噪声）非平稳噪声；

加性噪声（　　　）乘性噪声（　　　　　　　）

)(tnts

)()( tntsts