[pic] Harbin Institute of Technology

数字图像处理技术 题 目： 基于 GPU的数字图像处理方法

哈尔滨工业大学
摘 要

数字图像处理是实现计算机视觉的关键技术。近几年GPU通用计算己成为国内外研究人员所研究的热点。使用GPU加速数字图像处理对于建立实时、准确、高效的计算机视觉系统具有重大意义。 在当前实际应用中，计算机视觉系统对实时性和准确率的要求都越来越高，需要处理的数据量越来越多，涉及到的计算量越来越大。这使得目前个人电脑的计算性能不能满足实际应用中的性能要求。近年来随着图形处理器(GPU)的急速发展，使用GPU进行加速计算通常能获得一个数量级的速度提升，这也是当今的热点研究问题之一。GPU强大的计算和并行处理能力可以打破计算机视觉系统中的处理速度瓶颈，提高算法的执行效率。 论文首先介绍了GPU通用计算的发展历程、工作原理、自身特点和发展趋势。并且探讨了能充分发挥出GPU强大计算和并行处理能力的CUDA平台，包括CUDA的概况、软硬件环境及需求、编程模型、特点、应用领域和发展趋势。在此基础上论文更进一步研究了使用CUDA实现的基于GPU的数字图像处理算法，包括使用GPU加速空间域和频域的图像处理算法。 主要内容为: (1)CUDA实现基于GPU的数字图像处理算法 在时域和频域空间使用GPU加速图像处理算法，包括直方图生成及均衡化算法、图像的平滑算法、图像的锐化算法和卷积滤波计算，最后使用CUDA实现了上述这些算法。并通过实验定量地验证GPU的加速能力。 (2)设计了一类基于GPU的角点检测算法 角点作为图像上的特征点包含有重要的信息，在图像融合和目标跟踪及三维重建中有重要的应用价值。使用GPU强大的计算和并行处理能力实现角点检测算法对于提高计算机视觉实时应用的速度和准确性有重要意义。本文设计了一类新的基于GPU的角点检测算法，并使用CUDA实现了基于GPU的角点检测算法。通过实验证明基于GPU的角点检测算法能有效地满足计算机视觉的实时应用。

关键词GPU;数字图像处理;
不要删除行尾的分节符，此行不会被打印
目 录

摘 要 I
第1章 绪论 3 1.1 研究的目的和意义 3 1.2 本文研究内容及主要贡献 3
第2章 基于图形处理器(GPU)的通用计算 5 2.1 引言 5 2.2 GPU 与 CPU 的异同 5
第3章 GPU加速数字图像处理算法 7 3.1 GPU 加速数字图像处理算法分析 7 3.2 时域空间 GPU 加速像素级图像处理 9 3.2.1 直方图均衡化处理 9 3.2.2 图像锐化处理 10 3.2.3 图像平滑处理 11
第4章 总结 13
参考文献 14
千万不要删除行尾的分节符，此行不会被打印。在目录上点右键“更新域”，然后“更新整个目录”。打印前，不要忘记把上面“Abstract”这一行后加一空行
绪论

1. 研究的目的和意义

数字图像处理（Digital Image Processing）是指使用计算机对经图像信号转换成的数字信号进行处理的过程[1]。在上世纪五六十年代，随着计算机和通信技术的发展，数字图像处理开始使用计算机进行处理。数字图像处理开始做为一门学科被众多学者进行研究。此时的数字图像处理主要的目的是改善图像的质量，常用的数字图像处理有下面的方法图像增强、图像复原、图像编码、图像压缩等。美国喷气推进实验室首先把数字图像处理技术应用于科学研究，他们把图像处理技术成功应用于数千张卫星发回的月球照片，绘制出月球地表的地图。随后数字图像处理技术进入了快速发展阶段。图像处理技术在众多应用领域得到广泛应用，取得了巨大的成果，如：医学工程、航空航天、机器视觉、军事、文化艺术等。从七十年代开始，随着计算机和通信技术的继续发展，数字图像处理开始应用于人工智能能领域，进入了更深层次的研究。人们通过使用计算机技术来模拟人类的视觉系统进而理解图像，即机器视觉[2]。而数字图像处理是机器视觉的关键技术。

2. 本文研究内容及主要贡献

数字图像处理技术是实现计算机视觉的关键技术。在实际应用中计算机视觉系统的主要瓶颈之一是系统的准确性和实时性的提高受限于计算机中 CPU 的处理速度。随着 GPU 通用计算技术的发展，GPU 提供了廉价高效的并行计算平台，本文将主要研究 GPU 实现计算机视觉中的数字图像处理算法的方法，并进一步针对一些不同的应用提出了相应的 CUDA解决方案,并在改善数据结构、提高算法精度、加快算法执行效率方面提出了自己的看法。具体内容如下: (1)GPU 通用计算及其主流开发环境 CUDA 的研究。GPU 强大的计算和并行处理能力将广泛应用于各个领域实现通用计算。论文介绍了 GPU 通用计算的发展历程、工作原理、自身特点和发展趋势。并且探讨了充分发挥出 GPU 强大计算和并行处理能力的CUDA 平台，包括 CUDA 的概况、软硬件环境及需求、编程模型、特点、应用领域和发展趋势。 (2)在时域空间使用 GPU 加速图像处理算法，包括直方图生成及均衡化算法、图像的平滑算法和图像的锐化算法，最后使用 CUDA 实现了上述这些算法。并通过实验定量地验证 GPU 的加速能力。 (3)在频域空间使用 GPU 加速图像处理算法中的卷积滤波计算，最后使用 CUDA 实现了上述这些算法。 (4)论文设计了一种基于 GPU 的角点检测算法。角点作为图像上的特征点包含有重要的信息，在图像融合和目标跟踪及三维重建中有重要的应用价值。使用 GPU 强大的计算和并行处理能力实现角点检测算法对于提高计算机视觉实时应用的速度和准确性有重要意义。本文设计了一类新的基于 GPU 的角点检测算法，并使用 CUDA 实现了基于 GPU 的角点检测算法。通过实验证明基于 GPU 的角点检测算法能有效地满足计算机视觉的实时应用。 (5)CUDA 程序优化方法的研究。CUDA 是实现 GPU 通用计算的一种开发平台，它能充分发挥出 GPU 强大的计算和并行处理能力。在使用 GPU 加速数字图像处理算法时，如何编写更加有效率的 CUDA 程序。本节针对数字图像处理算法进行具体分析，给出CUDA 程序的优化方法。

基于图形处理器(GPU)的通用计算

3. 引言

最近几年计算机图形处理器（GPU，Graphics Processing Unit）极速发展，远远超过了描述 CPU 发展速度的摩尔定律，计算机图形处理的速度和质量随之也高速发展，为图像处理、计算机仿真、虚拟现实等技术领域的快速发展注入了强劲的动力，并且促进了许多创新图形硬件技术的发明。使得今天的 GPU 兼具流处理、高密集并行运算、可编程流水线等新特性，GPU 处理能力和应用范围随之被大大地拓展了。 GPU 应用领域的拓宽与 GPU 硬件技术的发展极大的关系。首先由 NVIDIA 公司于 1997年提出 GPU 的概念。目前计算机图形处理器已经经历了五代的发展，平均每半年就有新一代的 GPU 问世。 比较 CPU 和 GPU 相同层次的产品，NVIDIA GPU 的低端产品 GeForce 8800 图形处理器集成了 6.8 亿个晶体管，拥有 128 个流处理单元，其峰值运算能力超过 340GFLOPS，而Intel CPU 的低端产品 Pentium4 Core 2 E6800 只有 46.88GFLOPS。 计算机图形处理器不断发展除了处理速度和存储器带宽不断提高外，并且促进了许多创新图形硬件技术的发明。新技术使今天的 GPU 具有高效的并行性和灵活的可编程性等新特点产生了强大的计算和并行处理能力。越来越多的个人和组织现在开始利用 GPU 的计算能力完成许多非图形绘制方面的任务。今天一个新的研究领域随之产生：基于 GPU 的通用计算（GPGPU，General-Purpose computation on GPU）[10]，如何利用 GPU 强大的计算和并行处理能力在非图形处理的其他领域进行更通用更广泛的科学计算是这个领域主要的研究内容。

4. GPU 与 CPU 的异同

GPU 和 CPU 一开始设计用于不同的工作目的，所以 GPU 和 CPU 的运行机制就是不同的。从 CPU 方面来说，CPU 的主要工作目的是执行若干不同的指令。这个目的使得在设计CPU 运行机制时，最主要目标是从指令流中得到最高的处理效能。为了提升指令处理的处理效率，CPU 设计者设计了很多使用附加的措施和技术，如将数据分为浮点、整数等不同的数据类型，嵌入随机存储装置，使用分支预测技术等等。而优秀的 CPU 处理器机制就能在同一时间处理更多条指令，就是并行处理。由此，CPU 处理器中引入了超标量执行的概念，在某些情况下，每个时钟周期可以处理 2 条指令。后来 CPU 处理器时代，又迎来了乱序执行的概念。为了更好的利用执行单元，处理器可以乱序执行指令，进一步提高指令处理的效能。可是问题是指令流是连续的，它会大大制约并行执行单元的效率。因此盲目的在处理器中增加并行执行单元是毫无用处的，他们可能在绝大多数时间处于空闲状态。这也是目前困扰多核心 CPU 处理器的一大问题。从 GPU 方面来分析，GPU 的主要工作是生成一组多边形，并且同时产生一组像素填充到多边形中。因为生成多边形和像素填充的操作是相互独立，所以两方面的操作能并行处理。我们只要在 GPU 处理流水线中设计更多的并行处理单元就可以加快 GPU 的处理速度。 GPU 与 CPU 另一个不同之处就是存储结构。GPU 和显存间的联系很紧密。GPU 读取某一个材质单元的时候，另需用几个时钟周期访问临近的材质单元。GPU 写入某一个像素的时候，也需用几个时钟周期访问临近的单元。这种特点使得 GPU 可更合理地使用显存带宽。GPU 只需要很少的缓存用于加速材质的处理，GPU 核心内 80%的晶体管用作计算之用。和GPU 相反，CPU 有 20%的晶体管用作运算 ，其余大部分被缓存占据。GPU 首要目标是加快运算和数据吞吐量，CPU 内部晶体管首要目标是降低处理延时和保持管线繁忙。

GPU加速数字图像处理算法

1 GPU 加速数字图像处理算法分析

数字图像处理是指使用计算机对经图像信号转换成的数字信号进行处理的过程，主要包括去除噪声、增强、复原、分割、提取特征等处理阶段。经过多年发展，数字图像处理在算法、系统结构、应用的普及方面取得相当的进步。许多数字图像处理的应用需要使用专门的大型设备，成本高，并且处理性能的瓶颈也一直是一个问题。实际应用中计算机视觉系统的主要瓶颈之一是系统的准确性和实时性的提高受限于计算机中 CPU 的处理速度。数字图像处理技术是实现计算机视觉的关键技术。这些问题都有赖于数字图像处理算法的执行速度和精度的进一步提高。随着 GPU 通用计算技术的发展，GPU 提供了廉价高效的并行计算平台。结合数字图像处理算法和 GPU 通用计算的各自特点，研究使用 GPU 加速数字图像处理对于建立实时、准确、高效的计算机视觉系统具有重大意义。 GPU 非常适合处理具有下面特性的应用程序： (1) 高度的并行性； (2) 巨大的数据量； (3) 数据耦合度低； (4) 高的计算密度； (5) 与 CPU 需要少的数据传输。 传统的数字图像处理算法都是使用 CPU 实现的，采用的是符合 CPU 的编程模型。我们要让 GPU 加速传统的数字图像处理算法，首先需要把传统的数字图像处理算法改变成适于GPU 编程模型的并行算法。 我们一般可以采取下面所列的三种方法： (1)研究已有数字图像处理算法，根据已有算法中的并行性把算法改变成并行算法。数字图像处理算法涉及的数据量一般非常大，并且许多算法本身天生就具有并行性。在后面的章节中有使用 GPU 加速图像平滑和图像锐化的实例。这些实例展示了如何把传统算法中已有的并行性在 CUDA 中并行化。 (2)已有数字图像处理算法本身不具有并行性，不能改造成并行算法。我们就从数字图像处理算法本身要处理的问题特征着手，设计一种支持并行性的算法处理相关问题。在后面的章节中有 GPU 加速直方图均衡化的实例和 GPU 加速角点检测算法的实例。这些实例展示了如何从算法本身要处理的问题特征着手把传统算法并行化。 (3)研究已有经典并行算法的设计思路，把已有经典并行算法的设计思路应用到传统数字图像处理算法的并行化改造中去。这在实现 GPU 加速数字图像处理算法中是最常用的方法。 数字图像处理方法大致可以分为下面两大类，即空间域处理法和频域处理法： (1) 空间域处理法把整个数字图像看作是平面中各个像素组成的集合，然后直接对集合中的像素进行相应的处理。在空间域的数字图像处理算法从数据层次方面考虑包括像素级处理、特征级处理和目标级处理。这个方面使用 GPU 加速的优势很大。后面将会详细分析。论文后面的直方图生成及均衡化算法、图像的平滑算法、图像的锐化算法和角点检测算法都属于数字图像处理中的空间域处理法。 (2) 频域处理法首先要对数字图像进行正交变换，得到变换系数阵列，然后再进行各种处理，处理后再逆变换到空间域，得到处理结果。频域处理法主要包括滤波、数据压缩、特征提取等。频域处理法涉及到高密度的计算量，这正是 GPU 计算的优势。并且 在 CUDA 平台已经发布的软件包里面提供两个强大的计算库，分别是CUDA FFT 和 CUDA BLAS 子程序库。它们将对 GPU 加速数字图像处理中的频域处理法提供强大的支持。论文后面将展示使用 CUDA FFT 加速卷积滤波的计算实例。 数字图像处理的主要内容及相关算法如下: (1)图像增强和图像复原。图像增强和复原为了提高图像的质量，如去除噪声，提高图像的清晰度等。在这个方面存在众多的算法，包括空间域的方法和频域的方法。论文后面的直方图生成及均衡化算法、图像的平滑算法、图像的锐化算法和卷积计算实例都属于这方面的处理算法。 (2)图像编码压缩。图像编码压缩用于减少图像数据量，节省传输、处理时间和空间容量。在这方面 GPU 有很大的天生优势，GPU 本身的硬件支持的工作之一就是用于图像的编码和解码。今天视频领域的应用使用 GPU 技术进行加速已经很普遍了。学术方面的研究已经很广泛，如使用 CUDA 实现快速图像压缩。 (3)图像变换。图像变换涉及空间域和变换域的处理，需要很大的计算量。在这方面GPU 能发挥强大的计算机优势。常用的变换方法有：傅立叶变换、离散余弦变换、沃尔什变换等。并且 在 CUDA 平台已经发布的软件包里面提供两个强大的计算库，分别是 CUDA FFT 和 CUDA BLAS 子程序库。它们将对 GPU 加速数字图像处理中的频域处理法提供强大的支持。小波变换凭借其在时域和频域都有良好的性能在数字图像处理中有广泛的应用，使用 GPU 加速小波变换能获得性能上的极大提升。 (4)图像分割。图像分割负责提取出图像中有意义的特征，如边缘和区域等。图像分割为下一步的图像识别做好准备。存在很多边缘提取、区域分割的方法。今天使用GPU 加速分割算法是图像分割的热点。 (5)图像描述。图像描述是图像识别和图像理解的前提。二值图像采用其几何特性描述，一般图像有边界描述和区域描述两种二维形状描述方法。纹理图像可用二维纹理特征描述。三维物体描述涉及到大的数据量和计算量，能充分发挥 GPU 的能力。

2 时域空间 GPU 加速像素级图像处理

1 直方图均衡化处理

数字图像处理中直方图均衡化是的图像增强技术中一种非常重要的方法。直方图均衡化以概率论作为基础，使用像素级图像处理中的点运算来生成直方图，然后根据直方图进行变换, 实现图像增强的目的。CPU 实现的直方图均衡化方法使用迭代运算实现，算法执行效率上不能达到实时性要求。 本节展示利用 GPU 强大的计算和并行处理能力实现直方图均衡化，从而提高直方图均衡化的计算速度。整个直方图均衡化处理分为 2 个步骤： (1) 使用 GPU 生成图像的直方图 (2) 利用已生成的直方图得到直方图均衡化的变换函数 下面介绍使用 GPU 生成图像的直方图过程： 直方图是数字图像处理中一种普遍使用的分析工具。它用于描述数据元素出现的频率。尽管使用 CPU 进行直方图计算实现非常轻松，但是我们从学习 GPU 通用计算方面考虑用 GPU 实现直方图的计算。已有的使用 GPU 实现直方图计算的方法十分耗时。论文在此提出一种使用 CUDA 实现的基于 GPU 的直方图快速生成方法。当我们在 GPU 中实现直方图计算后，可以把生成的直方图读回系统内存，也可以把它保存在 GPU 中以备后续使用，本节在后面内容中将使用生成的直方图进行直方图均衡化。 [pic] 一个数字图像的直方图显示了该图像内部像素强度的分布。上面是一幅图像的直方图，水平轴上的刻度描述的是像素的灰度强度，垂直轴描述的是对应灰度强度的像素数量。

2 图像锐化处理

为了验证 CUDA 架构下 GPU 强大的计算和并行处理能力，下面选取数字图像处理中一个经典的像素级处理算法，基于 CUDA 应用拉普拉斯算子实现图像锐化做为示例。图像在传输过程中，传递函数对高频成分有衰减作用，造成图像模糊，细节轮廓不清楚。图像锐化通过增强图像轮廓部份的像素值，增强图像边缘部份和灰度跳变部分的像素值，让图像变清晰。图像锐化利用图像的微分运算进行处理。微分运算能反映图像中像素点的灰度值变化率。图像锐化目标是增强物体的边缘像素点的像素值。这些地方的灰度值变化率往往比较高。微分运算能确定边缘像素点，并且增强其像素值。数字图像处理中实现图像锐化处理经常使用求梯度的微分方法。 有一幅需要经过锐化处理的图像 f(x, y)，我们用下面的公式描述图像的梯度： [pic] 图像的梯度存在下面的概念：图像的梯度是一个矢量；矢量的方向为函数 f(x, y)最大变化率的方向；梯度矢量的模由下面的公式计算。 [pic]
称为图像 f(x, y) 的梯度，实际上是图像 f(x, y) 的梯度图像。 从数学上说，梯度的数值：f(x, y) 在其最大变化率方向上的单位距离所增加的量。

3 图像平滑处理

现实中的视频图像在数字化和传输过程中常受到设备与外部环境噪声干扰等影响，成为含噪图像。图像平滑的目标就是消除图像中的随机噪声，并且同时不能使线条或图像的轮廓变模糊。数字图像处理中经常使用的图像平滑技术有局部求平均法和中值法。图像去噪是图像处理领域的一项关键技术，在图像处理领域的有着广泛用途。 在视频系统的实际应用时，采集到的视频图像存在较多的脉冲噪声和椒盐噪声，我们可以采取图像平滑技术中的中值滤波进行处理，因为中值滤波适于处理椒盐噪声和脉冲噪声，在边界处理中产生的影响较小，平滑后图像的边缘不会像其它平滑技术一样变模糊，很适合在视频系统的预处理中使用，加上中值滤波算法简单，性能很好，对系统的实时性的要求的满足也很好。 下面将对中值滤波进行分析： 中值滤波利用排序统计的理论，是一种有效对噪声抑制的处理技术。中值滤波的原理是把数字图像中的一个像素点的像素值用该像素点的邻域中所有点的像素值的中值代替，从而达到消除噪声点的目标。中值滤波一般使用模板的方法实现，对模板内的像素点按像素值进行排序，生成有序的序列。并使用下面的公式进行输出： [pic]
其中,f(x,y)表示原始的图像，而 g(x,y)表示处理后的图像。 中值滤波一般使用二维模板，滤波窗口通常为 3*3，5*5，7*7 区域，实际使用中，我们常常放大窗口长度，选取最合适的直到滤波效果满意为止，对于缓变长轮廓物体一般采用方形和圆形，对于尖角形一般采用十字形窗口。后面的程序采用 3*3 矩形区域。实现方法是通过从图像中的某个采样窗口取出奇数个数据进行排序。用排序后的中值取代要处理的数据即可。 从中值滤波的原理可以看出,平滑后图像的每个像素的值只与原图该点其邻域的像素值有关,并且每个像素值的中值滤波处理算法是完全相同的。

总结

计算机和通信技术的快速发展为智能交通系统的发展提供了强大的支持。但随着对系统实时性准确性要求的提高，传统基于 CPU 程序的运行方式满足不了系统的计算要求。本论文围绕 GPU 加速数字图像处理算法这一主题为核心展开研究，在学习和利用已有研究成果的基础上，主要研究了如何利用 GPU 强大的计算和并行处理能力针对数字图像处理这方面的应用。 主要的成果如下： (1) 对 GPU 通用计算及其主流开发环境 CUDA 进行研究 GPU 凭借其强大的计算和并行处理能力在未来将会广泛应用于各个领域实现通用计算。论文介绍了 GPU 通用计算的发展历程、工作原理、自身特点和发展趋势。并且着重探讨了能充分发挥出 GPU 强大计算和并行处理能力的 CUDA 平台，包括 CUDA 的概况、软硬件环境及需求、编程模型、特点、应用领域和发展趋势。 (2) CUDA 实现基于 GPU 的数字图像处理算法 在时域和频域空间使用 GPU 加速图像处理算法，包括直方图生成及均衡化算法、图像的平滑算法、图像的锐化算法和卷积滤波计算，最后使用 CUDA 实现了上述这些算法。并通过实验定量地验证 GPU 的加速能力。

参考文献

1. Spencer.Webster’s New World Dictionary of Computer Terms.Prentice-Hall,New York,2006:327
2. Ramesh Jain.Machine Vision.McGraw-Hill,New York,1995:10
3. 多相复杂系统国家重点实验室多尺度离散模拟项目组.基于GPU 的多尺度离散模拟并行运算.科学出版社, 2009
4. 周季夫,钟诚文.基于 GPGPU 的 Lattice-Boltzmann 数值模拟算法.计算机辅助设计与图形学学报,2008(07):74～80
5. KRUGER J, WESTERMANN R.Linear algebra operators for GPU implementation of numerical algorithms. ACM Trans on Graphics, 2003,22 (03) :908～916
6. O.Fialka,M. Cadik.FFT and convolution performance in image ltering on gpu. Tenth International Conference on Information Visualization,2006:609～614
7. Hu Wei,Qin Kaihuai.A New Rendering Technology of GPU-Accelerated Radiosity. Journal of Computer Research And Development,2005, 42(6):81～83
8. 张健.方程组的迭代法求解在 GPU 上的实现.电子器件,2010(06): 71～73
9. 吴恩华.图形处理器用于通用计算的技术、现状及其挑战.软件学报,2004(10): 33～35
10. www.gpgpu.org.GPGPU: General-purpose computation using graphics hardware.2005: 83～84
11. FERMANDO R. GPU 精粹—实时图形编程的技术、技巧和技艺[M].人民邮电出版社,2006: 126
12. Macedonia Michae1．The GPU enters computing ’s malnstream[J]．Computer,2003(10)：106～108
13. N. Corporation. Cuda: Compute unified device architecture programming guide. Technical report,2007:87
14. Joao Luiz Dihl Comba．Computation on GPUs：From a programmable pipeline to an efficient stream processor [J] ．Revista deormdticaTe6ricae Aplicada，2003(2)：41～70
15. Lindholm Erik，Kilgard Mark J，Moreton Henry.A user programmable vertex engine[A]．Computer Graphics Proceedings，ACM SIGGRAPH，Los Angeles,2001:149～158