中国工程论文网
代写工程论文
当前位置:工程论文网 > 工程硕士论文 > 软件工程硕士论文 > 截图图像功能区域分割与文字信息识别方法的软件研究与应用

截图图像功能区域分割与文字信息识别方法的软件研究与应用

时间:2018-07-05 19:01来源:www.e-lunwen.com 作者:lgg 点击:
本文是一篇软件工程硕士论文,软件工程是研究和应用如何以系统性的、规范化的、可定量的过程化方法去开发和维护软件,以及如何把经过时间考验而证明正确的管理技术和当前能够
本文是一篇软件工程硕士论文,软件工程是研究和应用如何以系统性的、规范化的、可定量的过程化方法去开发和维护软件,以及如何把经过时间考验而证明正确的管理技术和当前能够得到的最好的技术方法结合起来。(以上内容来自百度百科)今天为大家推荐一篇软件工程硕士论文,供大家参考。
 
第 1 章 绪 论
 
1.1 项目背景与选题意义
在许多应用领域,如网吧计费系统,管理者非常渴望对这种计费系统进行自动识别用户的操作行为和操作内容,这样一方面可以减少企业的用人成本,另一方面可以有效提高企业的服务效率,提升企业的经济效益。对诸如网吧计费系统这样的软件,如果要进行自动识别使用软件的用户行为和操作内容,一般采用的技术路线是基于图像内容的识别[1][2]。为了识别图像的内容,前提是要对图像进行区域分割[3][4][5],获得要识别的图形区域,然后再基于图像识别方法进行识别和分析。虽然图像分割方法和技术已经得到很大发展,在诸如线产品检验[6]、生产过程控制[7]、文档图像处理[8]、工业自动化[9]、遥感[10]、生物医学的图像分析[11][12],以及体育、农业、军事工程[13][14][15]等方面均有应用。但由于图像本身是一种非结构数据[16],且同一种物体在不同环境下可以得到完全不同的图像。所以到目前为止我们还没有一种完全能通用的图像分割方法。因此开展对截图图像分割和文本信息识别的研究具有重要的学术价值和广阔的应用领域。本文面向网吧计费系统自动识别用户操作行为和内容的需要开展对图像截图中要素的分割和其中信息的自动识别研究与初步应用。主要研究任务是设计并实现一套图像分割和识别方法并进行软件开发。通过该方法能将对屏幕截图有关功能区域进行正取分割并对其文本信息进行识别,包括能分割并识别截图图像中的菜单、窗体图标(如:最大化图标、最小化图标、关闭图标)、按钮、文本输入框及鼠标图形在截图中的坐标位置,并将识别到的信息,按约定的格式保存至文件。本课题来源于导师的横向项目。
.........
 
1.2 图像分割与识别研究现状
不同图像有不同特点,不同领域有不同需求,虽然都需要采用图像分割技术对图像进行分割处理,然后再进行诸如图像识别或理解或分析,但基础工作是图像分割。目前常见的成熟图像分割技术,包括采用阈值方法[17][18]、采用区域方法[19][20]、采用边缘方法[21][22]、采用图论方法[23][24]、采用轮廓方法[25][26]等进行图像分割。这些方法属于传统图像分割方法,有其优点但也存在许多不足,如有的方法计算复杂性高,大多数方法没有很好利用图像自身具有的一些特征或领域图像具有的特点等。除了传统的图像分割方法以外,近年来也产生了不少新的图像分割研究成果,包括基于语义的图像分割方法[27][28]、以及基于随机游走[29]和图割法[30]的扩展而来的图像分割方法等。这些方法,在大的方向上可以分为以下几类:基于图论的图像处理算法,基于像素点的图像处理方法以及基于图像语义的处理方法,对于每一类都有大量的学者人员在研究,目前来说也取得了一些很不错的成果。其中 wu[31]等人将复杂的图像分割的最优化的分割方法转化成图论中求图的最小分割。随着谱聚类的方法的拓展,LI[32]等人提出了一种时间复杂度为 O(N)的线性谱聚类的算法该算法显著的降低了谱聚类的时间复杂度。我们知道图和树之间存在很大的关系,将图转化成树的方法也得到了广泛的应用其中 Felzenswal[33]等人在处理图像分割问题时,就是将复杂的图像转化成无向图来处理最后构建图的最小生成树并且采用聚类算法进行分割,但由于分割效果的依赖于阈值的选择所以后面学者孟庆涛[34]等人引入了图像的纹理特征以及小波能量直方图等改变最小生成树的权值计算方式最终提高了图像分割的效果。基于像素理论这方面的图像分割研究,最早是由 Fukunaga[35]等人提出,它的思想主要是对于选取任意空间里的一点作为圆心,以任意半径画圆其中圆心和圆内的任一点可以构成一个向量即 Meanshift 向量。由于 Meanshift 向量的计算时间复杂度太高了因此李宏益[36]等人利用计算机硬件的多核以及 GPU的并行化计算大幅度的降低了这个算法运行的时间。由于 Meanshift 算法容易在图像分割的时候造成欠分割的现象后来 Levinshtein[37]等人提出了一种基于Turbopixels 的方法,有效的改善了 Meanshift 的不足并且能够处理百万级别像素的大图像应用。针对图像的语义分割方法,有基于候选区域的方法,其中Carreira[38]等人通过采用算法 CPMC[39]能够从原始图像中提取出若干个候选区域,最后对候选区域采用统计特征对图像进行分割。还有一些学者对图像目标进行检测以及语义分割如 Girshick[40]等人结合卷积神经网络分析图像目标,证明该方法对图像语义的分割的有效性。
........
 
第 2 章 系统需求分析与总体设计
 
2.1 项目需求范围和目标
本项目旨在扩展产品功能,方便网吧工作人员的使用,降低成本需要,提出网吧计费系统图像识别软件项目需求。该系统通过屏幕截图并对操作行为进行识别的方式,能连续记录本机中安装的网吧计费系统的文本信息(包括中文、英文、数字、符号),并识别软件的菜单、表格栏、窗体图标(如:最大化图标、最小化图标、关闭图标)、按钮、文本输入框及鼠标图形在截图中的坐标位置,并将识别到的信息,按约定的格式保存至文件。
..........
 
2.2 项目需求
研究一种有效的截图图像分割模型和实现方法,并基于所提出的分割模型和实现方法来设计并实现一套截图图像分割和文本信息识别的软件,该软件通过屏幕截图并对其进行识别的方式,能连续记录本机中安装的网吧计费系统的文本信息(包括中文、英文、数字、符号),并是被软件的菜单、表格栏、窗体图标(如:最大化图标、最小化图标、关闭图标)、按钮、文本输入框及鼠标图形在截图中的坐标位置,并将识别到的信息,按约定的格式保存至文件。具体一些需求包括:1、 定时对整个屏幕进行截图,并从截图中识别并提取有效信息保存至文件。截屏的时间间隔不以丢失计费系统的人机输入输出信息为准。2、 能识别计费系统中的文字信息,包括中文、英文、数字、符号,并转化成文本。3、 能识别截图中的表格,记录下表格中每行的首个文字在屏幕截图中的坐标位置。4、 能识别计费系统中的证件人头像。5、 能识别计费系统的菜单、按钮、文本输入框、及其在屏幕中的坐标位置。菜单、按钮只记录一串文字中首个字符的坐标,文本输入框的坐标位置需要在其范围内。6、 能识别计费系统中的指定窗体,例如:“激活临时卡”、“结账”等窗体。7、 能识别并记录指定窗体的窗体图标的坐标位置。8、 能识别截图中的鼠标图形,同时记录下鼠标图形在屏幕截图中的坐标位置。9、 识别截图中的汉字输入框体(如:拼音输入法框体、五笔输入法框体),同时记录下输入法窗体所在屏幕截图中的坐标位置。10、 识别截图中的汉字输入框体中的所有文字(如:拼音输入法框体、五笔输入法框体),同时记录下窗体中首个文字在屏幕截图中的坐标位置。
........
 
第3 章 面向网吧计费系统截图图像功能区域分割与识别方法........ 9
3.1 截图的稳定块定义........... 9
3.2 基于稳定区块的网吧计费系统截图中各功能区块分割与识别框架 .............. 14
3.3 基于稳定区块的网吧计费系统截图中菜单栏区域分割与识别算法 .............. 17
3.4 基于稳定块网吧计费系统截图中表格栏区域分割与识别算法 ........... 21
3.5 基于稳定区块的网吧计费系统截图中对话框区域分割与识别算法 .............. 26
3.6 基于 OPENCV 模式识别的截图图像中鼠标和输入法区域的分割与识别方法...........32
3.7 基于稳定区块的网吧计费系统截图中各功能区域分割与识别方法的测试............34
3.8 基于 OCR 识别软件对所有分割后子图的文本信息识别效果的测试.......... 41
3.9 基于 OPENCV 模式识别的网吧计费系统鼠标区域和输入法区域分割方法的测试.........42
3.10 本章小结 .............. 44
第 4 章 网吧计费系统截图图像的功能区域分割与文本识别演示系统的实现........45
4.1 系统开发环境介绍....... 45
4.2 系统主界面.......... 45
4.3 截图中功能区域分割与识别模块的实现......... 46
4.4 截图中菜单栏区域内信息分割与识别模块的实现..... 48
4.5 截图中表格栏区域内信息分割与识别模块的实现..... 49
4.6 截图中对话框区域内信息分割与识别模块的实现..... 50
4.7 截图中鼠标区域的分割与识别模块的实现........ 52
4.8 截图中输入法区域的分割与识别模块的实现....... 53
4.9 本章小结........... 54
第 5 章 总结与展望.............55
5.1 总结............. 55
5.2 展望............. 56
 
第4章 网吧计费系统截图图像的功能区域分割与文本识别演示系统的实现
 
4.1 系统开发环境介绍
应用的开发主要是在 windows 10 家庭版操作系统中完成,Windows 10 是美国微软公司所研发的新一代跨平台及设备应用的操作系统。Windows 10 是微软发布的最后一个独立 Windows 版本,于 2015 年 7 月 29 日正式推出。硬件上使用 Lenovo Y400N 笔记本电脑,CPU 采用的是 Intel 酷睿 i5 3230m处理器,主频为 2.3GHz,在存储上拥有 8×2 GB DDR3-1600MHz 内存和 256GB固态硬盘。应用的主体开发在 Visual Stdio 2013 Ultimate 中完成,Visual Stdio 提供了C++编译器、性能调试工具以及用于应用开发的大部分基础框架,还有 MFC 的开发控件及工具。还使用了 OPENCV 作为工具,OPENCV 是一个基于 BSD 许可(开源)发行的跨平台计算机视觉库,它实现了很多图像处理的通用算法,在 VC 开发环境上可以直接调用,简化了编程。截图中功能区域分割与识别模块可谓是整个系统的核心模块之一,大部分的图片处理过程是在这个阶段完成的,整个图片的编辑过程可以如图 4-2 所示,本模块的功能是,将图片其中的菜单栏、表格栏、内容框三大部分进行粗分割并标识,能方便对后续菜单栏、表格及对话框的再次精确分割。保存各框体(对话框,表格,菜单栏)如果存在的则将其左上角点坐标,以及长宽保存到指定的 txt 文件,各框体的截图存放到指定文件夹,如果不存在,则返回该框体不存在。我们在主界面的按键功能区定义了 IDC_Button 控件作为本模块的触发器,在检测到 WM_Click 鼠标点击事件后,执行 OnFrameCut()函数开始对图片进行框架分割。
.........
 
总结
 
本文面向网吧计费系统自动识别用户操作行为和内容的需要开展对截图图像中主要要素的分割和其中信息的自动识别研究与应用,所研究和应用的主要包括:(1)探讨了用户对截图图像分割的目的和研究内容,并对有关图像处理、图像分割和图像识别的理论方法进行了学习与初步应用。(2)提出了截图图像稳定行或列区块的概念。通过对网吧计费系统图像截图的深入研究和分析,基于截图相邻两行或列的颜色直方图相似度度量定义了截图图像稳定行或列区块的概念,这是本文创新点之一。(3)基于截图稳定行或列区块提出了截图图像三大功能区域的分割方法。通过深入研究截图图像具有的稳定行或列区块特征,本文构建了对截图图像进行三大功能区域(即截图图像表格栏区域、截图图像菜单栏区域和截图图像对话框区域)自动分割的模型,并设计了自动分割的算法。这是本文主要的创新点之一。(4)为了对基于上述得到的各功能区域内部进行细分割以获得最小子图,本文结合稳定行或列区块概念和二值化处理图像两者一起分别开展针对表格行分割、菜单行和菜单项分割、对话框人头像分割和对话框中文本行分割的方法研究,并设计了相应的分割算法,然后对得到的所有子图采用 OCR 识别软件进行文本信息的识别并进行结果的保存。(5)研究并利用模式匹配方法分别对截图中鼠标区域和文字输入法区域进行分割和识别的研究。(6)对上述所研究的分割方法在真实截图图像上进行了较全面的测试。测试结果表明所提出的分割模型和相应的实现方法是很有效的,尤其是基于稳定行或列的分割方法能有效进行功能区域的正确分割。
..........
参考文献(略)
(责任编辑:gufeng)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
栏目列表
点击提交代写需求
点击提交代写需求
点击提交代写需求
推荐内容