中国工程论文网
代写工程论文
当前位置:工程论文网 > 控制工程论文 > 基于视频的双人交互控制行为识别与理解算法研究

基于视频的双人交互控制行为识别与理解算法研究

时间:2017-11-18 22:28来源:www.e-lunwen.com 作者:lgg 点击:
本文是控制工程论文,本文针对基于视频的双人交互行为识别与理解的算法开展研究。分析与总结出该方向的研究现状以及待克服的难点问题,提出了解决问题的方法。
第 1 章   绪论 
 
1.1   课题的应用背景及意义 
近年来,由于高新技术产业的迅猛发展与智能设备的需求激增,以及计算机理论、传感技术和数学算法等学科的进步,极大地促进了计算机视觉技术的快速发展与深入研究[1],而人体的行为识别与理解则是计算机视觉方向最热门的研究课题之一,其研究成果在智能监控系统、视频检索、智能家居以及虚拟现实中有着广泛的应用前景[2-5],越
来越多的研究者已在该领域中做出了重要贡献。 该课题一般利用视频分析的方法,从存在人体行为的视频中检测、识别人体及动作对象,并对其人体行为进行识别与理解。人体行为识别研究[6]一般由四大部分组成,即人体行为的跟踪检测,前景运动人体的底层特征提取,人体行为的特征描述以及人体行为的识别与理解。 对人体行为识别与理解的研究大致分单人行为分析,双人交互行为分析以及人群行为分析[7]三种类别。目前有关单人行为的研究成果颇多[8-11],但对双人交互行为的研究以及人群行为[12]的研究还处于摸索阶段。由于现实生活中,人与人之间的交互行为较为普遍,比如相互拥抱,两人打架,彼此嬉闹等,因此,相对于单人行为识别的研究,双人交互行为的识别研究显得更有意义且富有价值。同时,随着国家天网视频监控系统工程[13]的日益成熟,大力倡导智能化安防[14],迫切的需求必将激发更多的研究者在交互行为识别与理解方向的深入研究。 
..........
 
1.2   双人交互行为识别难点与挑战 
天网工程[13]是针对市区安防与城市管理需要,采用专属硬件设备和监控软件,对特定敏感区域实时在线防控与信息录入的视频监控系统。因此,当下对视频中双人交互行为进行识别与理解的研究变得更有意义且势在必行。然而,由于在现实场景中背景较为复杂,如光照变化、非目标物体遮挡以及区分度不高的目标动作等问题,给研究带来了众多的困难。而更本质的难点在于对交互个体及个体交互间的复杂时空信息的描述与模型的建立,使得双人交互行为的识别研究更具挑战性。目前该方向的研究主要分为基于整体和基于个体分割的两种框架,现简要叙述该项研究中遇到的具体难点问题。 1)  基于整体的双人交互行为识别方法存在的问题:目前基于整体的识别方法大致分为单一特征的识别方法和多种复杂特征融合的识别方法。前者因使用的是单一特征,其计算复杂度较低,但对交互行为的识别准确性却不高。而后者的多种特征融合的方法虽然识别率提升较大,但是却无法满足对于算法的实时性要求。因此,基于整体框架下的识别方法需要兼顾识别速率和识别准确率两项性能指标。 2)  基于个体分割的双人交互行为识别方法存在的问题:相对于基于整体的方法,个体分割的方法采用了一种先分后合的思路。其难点问题在于,在将交互个体进行分割时,由于交互双方身体存在彼此遮挡,或前景与背景的混淆,都会给分割过程带来很大影响。而对于合的过程,如何将分离的个体提取到的特征进行有效的表述,使其包含特征间隐含的较多交互细节信息,从而提高识别准确率,也是一个亟待解决的难点问题。 3)  两种框架融合存在的问题:由于基于整体或基于个体分割的识别框架在处理交互行为识别问题中均具有一定的局限性。因此,如何找到一种研究思路,对识别框架进行改进,将基于整体和基于个体分割的识别框架合理融入到新的框架,并使基于整体和基于个体分割框架下提出的研究方法依然能够复用,从而兼顾这两种识别框架各自的优势,需要研究者进行进一步的研究。 
........
 
第 2 章   双人交互行为识别综述 
 
在大数据[15]时代的背景下,人体交互行为识别算法研究已成为热点问题。其研究具有较高的实用价值以及现实意义,它的研究成果在智能监控系统、视频检索、智能家居和虚拟现实中有着广泛的应用前景[16]。越来越多的研究者在该领域中做出了贡献。经过阅读与总结,现将人体交互行为识别方法按照识别框架分为两大类:基于整体的双人交互行为识别方法,以及基于个体分割的双人交互行为识别方法。
 
2.1   基于整体的交互行为识别方法 
一些学者在进行交互行为的研究时发现,可将交互行为看成一个不可分割的整体,在对其进行特征描述时,不破坏交互过程这个整体,这样获得的信息更符合实际场景。因此,这些研究形成了双人交互行为识别的一种处理框架,即基于整体的识别框架,经过文献的整理与分析可知,该框架下又可归类成单一特征的识别方法和多时空特征融合的识别方法。该类识别方法框架如图 2.1 所示。在基于整体框架的交互行为识别与理解研究中,鉴于目前动作识别的方法对特征提取和分类的计算复杂度较高,文献[17]提出了一种使用局部描述和结构信息的实时交互行为识别方法。语义基元森林(Sematic Texton Forest, STF)作为局部描述方法,是一种应用于具有时域中的具有很强区分能力的码本。由于 STF 对视频采用像素级操作,而并未使用时间代价很高的特征描述子,因此,能够快速使用 STF 生成视觉码本[18]。同时,为捕获交互行为的结构信息,提出了一种时空金字塔关系匹配(Pyramidal Spatiotemporal Relationship  Match, PSRM)方法,该方法对 STFs 的分层结构具有较强的处理能力,且结构匹配具有鲁棒性。最后,利用时空金字塔关系匹配理论,提出了 k-means 森林分类器,并与随机森林形成组合分类器来进行交互行为的识别。其过程如图 2.2 所示,首先,采用 V-fast 的算法[19]提取局部时空兴趣点[20] (Spatio-Temporal Interest Point, STIP);其次,利用时空语义基元森林将兴趣点生成视觉单词;然后分别采用 PSRM 捕获视觉单词中交互行为的结构信息;同时,利用语义基元词袋描述交互行为信息。最后使用金字塔匹配核的分层 K 均值完成交互行为识别与理解。该方法在 UT-interaction 国际标准数据库[21]进行算法验证。经验证,该方法具有良好的实时性和高精度的优势。
........
 
2.2   基于个体分割的交互行为识别方法
相对于基于整体的交互行为识别方法,另一些学者提出了基于个体分割的交互行为识别框架,大致是将双人交互的行为过程分解为两个人单独的动作过程。再采用一些高层的特征描述和交互识别的方法得到最终的交互结果。该框架下的识别方法又根据采用的识别算法不同大致可以分为三类:基于语义描述的识别方法、基于共生原子动作匹配的识别方法以及基于概率图模型的识别方法,基于个体分割的识别框架如图 2.4 所示。基于语义描述的识别方法更多是采用语义的形式,来表述原子动作、个体姿态以及整个交互行为。文献[35]提出了一种基于交互短语(Interaction  Phrases)来描述交互个体间的运动关系,进行交互行为识别的方法。利用交互短语可以建立具有很强描述性的模型。这种使用交互短语的识别方法流程如图 2.5 所示。该方法主要包括属性模型与交互模型。属性模型是用来检测同一时刻交互个体的运动属性,而交互模型是用来进行交互行为的识别。该算法首先检测定位视频中交互区域,并在该范围内提取时空兴趣点,并采用视觉单词直方图表征交互个体。然后,将动作特征作为属性模型的输入,动作的运动属性作为标签向量,属性向量中的每个元素表征不同的运动属性。最后,将运动属性和动作特征送入交互模型,并使用交互行为类别和单人动作类别作为标签,该模型定义了隐性变量交互行为单词来表征运动关系,并使用训练得到的交互模型,分别得到交互个体的交互单词统计直方图后,使用 SVM 分类器得到最终交互行为的识别结果。交互短语间的相关性能够较好地解决交互过程的运动模糊问题,从而获得描述交互动作间精确的细节信息,大大提高了识别的准确率。 
......
 
第 3 章   基于关键帧特征库统计特征的双人交互行为识别 ........ 12 
3.1   双人交互行为的底层特征表示 .......... 13
3.2   关键帧特征库统计特征描述 ...... 18 
3.3   双人交互行为识别 ...... 18 
3.4   实验与结果分析 .......... 19 
3.5   本章小结 ...... 23 
第 4 章   基于视觉共生矩阵序列的双人交互行为识别 ........ 24 
4.1   视觉共生矩阵序列的双人交互行为识别方法概述 .......... 24 
4.2   交互行为分割方法 ...... 25
4.3   视觉共生矩阵序列描述 ...... 26 
4.4   双人交互行为识别方法 ...... 29
4.5   实验与结果分析 .......... 31 
4.6   本章小结 ...... 33 
第 5 章   基于分阶段视觉共生矩阵序列的双人交互行为识别 .... 34 
5.1   分阶段视觉共生矩阵序列的双人交互识别方法概述 ...... 34 
5.2   交互行为的分段分割方法 .......... 35 
5.3   各阶段相似概率加权融合识别方法 .......... 35 
5.4   实验与结果分析 .......... 36  
 
第 5 章   基于分阶段视觉共生矩阵序列的双人交互行为识别 
 
第 4 章提出的基于视觉共生矩阵序列的双人交互行为识别,其得到的识别率仍有待提高。因此,本章从第 4 章提出的视觉共生矩阵序列的描述方法着手,尝试结合一种新的识别框架,创新地提出了基于分阶段视觉共生矩阵序列的双人交互行为识别方法,来提高识别的准确率。
 
5.1   分阶段视觉共生矩阵序列的双人交互识别方法概述
由于两个动作执行人交互的过程具有可分段特性,本文运用的识别框架是基于分阶段融合的识别框架。该框架有效结合了基于个体分割以及基于整体的识别方法,充分发挥各自优势,更准确地识别交互行为的类别。基本思想是依据交互个体间的距离远近及是否存在交互,将交互行为过程分为交互开始阶段、交互执行阶段以及交互结束阶段,并对不同阶段采用其最适合的识别框架。在交互开始阶段和交互结束阶段,交互双方较容易地分割成单一个体,这时采用基于个体分割的识别框架识别,并为了从两个单一个体的特征间获取更多交互的内在信息,本章采用了上一章提出的基于视觉共生矩阵序列的特征描述方法,该方法能充分描述两个动作执行人的共生交互信息,且简单有效。而在交互执行阶段,则将交互双方看成是一个整体,提取较为简单的 HOG 特征,采用基于整体的识别方法进行识别。最后,将三个不同交互阶段得到的识别概率进行分段概率融合,最终得到交互识别结果,具体算法过程如图 5.1 所示:
......
 
结     论 
 
目前,基于视频的双人交互行为识别与理解算法的研究已取得一些成果,但是算法复杂度和识别准确性还有待进一步提高。首先,本文采用基于整体的识别框架,创新提出了基于关键帧特征库统计特征的双人交互行为识别方法。然后,在基于个体分割的识别框架下,创新提出了基于视觉共生矩阵序列的双人交互行为识别方法。该方法能够更好地挖掘交互特征的关联共生关系。最后,采取一种分阶段的识别框架,并融入之前提出的视觉共生矩阵序列特征描述方法,进而提高了双人交互行为的整体识别精度。 全文的主要工作及得到的主要结论总结如下: 
1.  首先,针对双人交互行为识别速度较慢及识别准确率不高的问题,提出关键帧特征库统计特征的双人交互行为识别方法。该方法在基于整体的识别框架下,结合 BOW的处理方法,快速而准确地实现了双人交互行为的识别。在 UT-Interaction 数据库上的实验证明了该识别算法在保证一定识别速度的前提下提升识别的准确性。 
2.  其次,基于个体分割的识别框架下的视觉共生的识别方法存在准确性较低的问题,提出了基于视觉共生矩阵序列的双人交互行为识别方法。该方法有效结合共生原子动作方法以及概率图模型识别方法各自的特点和优势,丰富了视频中隐含内在信息的同时,也增强了不同交互行为区分度,有效地提高交互行为的识别准确性。 
3.  最后,针对交互行为识别框架存在的问题,提出了基于分阶段视觉共生矩阵序列的双人交互识别。该方法不仅充分的描述了两个动作执行人的共生交互信息,同时有效的加强了不同交互阶段动作模型间的约束关系,降低了算法对交互特征的依赖性。大量实验验证,该方法在识别双人交互行为时具有较好的识别性能。  
.........
参考文献(略)
(责任编辑:gufeng)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
栏目列表
点击提交代写需求
点击提交代写需求
点击提交代写需求
推荐内容