Computer Vision|Image filtering

Image formation

图像数字化：离散化连续图像，包括采样和量化

• sampling：将连续图像空间划分为M*N个网格
• quantization：将连续的亮度变化转换为单个数字
  • gray scale: 表示像素位置的亮度和暗度的整数 0-255

Image representation

二维矩阵表示图像像素的二维排列

• Image resolution (分辨率)：采样点的数量。采样间隔越大，采样点越少，分辨率越低

1. binary image：0和1，0：black，1：white。

2. gray scale image: 0-255表示灰度

3. color image：

   $$f(x,y)=\begin{bmatrix}r(x,y)\\g(x,y)\\b(x,y)\end{bmatrix} R=\begin{bmatrix}255&240&240\\255&0&80\\255&0&0 \end{bmatrix}...$$

description of an image

• grayscale
• contrast
• RGB

Color

RGB(red, green and blue)

CMYK(Cyan青, Magenta洋红, Yellow, Black)

$$\begin{bmatrix}C\\Y\\M\end{bmatrix} = \begin{bmatrix}1\\1\\1\end{bmatrix} - \begin{bmatrix}R\\G\\B\end{bmatrix}$$

neignborhood: 四领域：上下左右； 八领域：一圈

attributes: 色调、饱和度、亮度

Image filtering

应用目标：图像去噪（噪声：和领域差别大的点）

• filter kernel

  • moving average 移动平均：将每个像素替换为领域的加权平均值，以保证信息量不变，且卷积后的数据不会溢出

• 卷积定义

  将卷积核先水平再竖直翻转后再对应位相乘。

• 卷积性质：

  • linearity (线性)

  • shift invariance (平移不变性) —->任意线性平移不变运算可以表示为卷积

  • commutative：滤波器和信号之间在概念上没有差异

  • associative：逐个应用滤波器相当于应用一个滤波器
  • distribution over addition
  • scalars factor out

• 卷积输出

  • full / same / valid (f+g / f / <f)
  • extrapolate image: 在外圈补黑色、边缘像素复制、边缘像素延展

• linear filter

  • original

    $$\begin{bmatrix}0&0&0\\0&1&0\\0&0&0\end{bmatrix}$$

  • shifted left

    $$\begin{bmatrix}0&0&0\\0&0&1\\0&0&0\end{bmatrix}$$

  • blur with box filter

    $$\frac{1}{9}\begin{bmatrix}1&1&1\\1&1&1\\1&1&1\end{bmatrix}$$

  • sharpening

    $$\begin{bmatrix}0&0&0\\0&2&0\\0&0&0\end{bmatrix}-\frac{1}{9}\begin{bmatrix}1&1&1\\1&1&1\\1&1&1\end{bmatrix}$$

    说明模糊会减少边缘信息

    original - smoothed = detail

    original + detail = sharpened

  • disadvantage

    出现振铃现象（输出图像的灰度剧烈变化处产生的震荡）

    

    出现原因：未考虑图像的景深，损失图像高频信息

• Gaussian Kernel

  指定领域大小，e.g. 5*5，表示在给定σ的Gaussian图像上取25个格子；σ指平均值周围变化程度，σ越大，变化越缓慢，图片越糊

  

• Gaussian filters

  • 从图像中删除”高频“部分（低通滤波器）

  • 自我卷积是另一种高斯函数

    • 可以用small-σ kernel，进行多次运算，以达到large-σ的效果（更糊）
    • 对一幅图像进行连续两次σ=1的高斯卷积相当于进行一次卷积核为√2σ的卷积。满足勾股定理，比如连续的两次高斯卷积核大小为 √2σ,√3σ 可以使用 √13σ高斯卷积核代替。

  • separable 可分解性

    $$G_\sigma=\frac{1}{2\pi\sigma^2}e^{-\frac{x^2+y^2}{2\sigma^2}}=(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{x^2}{2\sigma^2}})(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{y^2}{2\sigma^2}})$$

    二维高斯可以转化为一维高斯的乘积。

  • 复杂度

    • n×n image with m×m kernel: O(n^2m^2)
    • n×n image with m×m separable kernel: O(n^2m)——-?

• median filtering 中值滤波

  • 将窗口内所有像素值排序，选择中位数作为中心位置像素。
  • 非线性
  • 对异常值具有鲁棒性

• noise

  • 椒盐噪声：有随机出现的黑白像素，一般用中值滤波

  • 脉冲噪声：有随机出现的白像素，一般用中值滤波

  • 高斯噪声：图像是由真实图像+高斯噪声，我们假设噪声的产生是相互独立的，且服从均值为0的正态分布。一般用高斯滤波

    | | 高斯滤波 | 中值滤波 |
    | —— | ———————————————————— | —————————————————————— |
    | 优点 | 简单、效率高 | 保护图像的边缘特性、新的值是图片中已存在的值 |
    | 缺点 | 将边缘模糊、丢失了原有特征（产生新的值） | 非线性、计算慢 |
    | 处理 | 高斯噪声 | 椒盐噪声、脉冲噪声 |