随着信息技术的发展和推广应用,模式识别所需处理的数据呈现出多源异构、海量混杂、时空动态演变的新特点,对模式识别系统的性能和安全要求越来越高。开放环境理解、智能人机交互、智能辅助系统等尤其需要先进的模式识别方法驱动的视听觉信息理解技术。从总体发展态势上,传统的难点基础理论问题和技术瓶颈问题尚未得到全面充分地解决;同时,在基于泛在感知与开放环境感知的智能信息处理过程中不断地产生着诸多新型的模式识别问题,需要新的学习方法加以解决。
现有的模式识别大多建立在样本充分的假设和贝叶斯决策理论的基础之上。即使在样本较充分的情形下,理想贝叶斯分类器逼近问题也一直未得到完全解决。这一问题在小规模样本条件下和信息不充分条件下显得更加突出。相反,人类对此则比较擅长。因此,除了拓展现有方法之外,尤其需要引入类人模式识别机理,发展高效的模式描述与分类方法。然而在传统的以贝叶斯决策为模式识别理论与方法的框架内,很难将样本统计量之外的注意、记忆等感知知识在现有模式识别方法中进行有效表示和高效嵌入。
当前,基于深度学习的模式识别方法显示了明显的优势,但深度学习模型显示可解释性、小样本泛化性、鲁棒性差等缺陷。现有深度学习方法强调对样本的拟合程度,缺乏在建模前、模型本身和模型效果三个环节的可解释性,即难以给出所需要的足够的可以理解的信息。深度学习模型的可解释性在理论研究方面有一些进展,但还没有实质性突破。
同时,现有的模式识别方法大多建立于静态的统计或明晰的模式结构信息之上。但是,这些假定往往与实际应用中的开放环境相去甚远。在开放环境下,与同一模式相关的数据类型通常是混杂的、时变的且呈现出多源异构特性;模式类别和结构也是动态变化的;同时,模式信息的不充分性和不确定性变得十分普遍。目前,尚缺乏普遍有效的理论与方法来处理模式类别、类条件概率密度函数和模式结构时变的情形。
总结起来,模式识别基础理论与方法研究呈现出以下几个趋势:
面向模式识别的认知机理与计算模型:如何模拟人类的认知机理,并从可表示、可嵌入的角度建立计算模型,提升模式识别的性能。 理想贝叶斯分类器逼近:突破有限样本、模式统计、结构特性动态变化等情形下模式识别决策新理论,并面向开放环境模式识别任务构建新的技术范式。 基于不充分信息的模式识别:面对“标记信息不充分”、“数据关系不明”、“目标类信息不充分”等典型应用情形,如何提升模式描述与分类能力。 开放环境下的自主进化学习:如何解决开放环境下现有模式识别方法与系统所面临的鲁棒性低、自适应能力差、多模态数据应用不充分和模态维度不平衡等难题。 知识嵌入的模式识别:如何在传统模式识别方法和新的理论与方法中对知识进行表示、嵌入和应用。 交互式学习的理论模型与方法:如何建立“交互式学习、人机协同混合、人在回路”与模式识别理论与方法的融合范式,提升模式识别系统的泛化能力。 可解释性深度模型:如何从理论上解释深度模型的有用性,并为构建新型模型提供理论指导。 新型计算架构下的模式识别:如何突破现有冯诺依曼计算机体系结构下的模式识别算法体系,构建诸如量子计算、DNA计算等新型计算构架下的模式识别理论与方法体系。 模式结构解释和结构模型学习:如何建立高效的元学习方法和新型结构模式描述与结构学习方法,提升模型的泛化能力、环境与任务自适应能力。 安全强化的模式识别理论与方法。如何提升模式识别方法的可对抗性和可抗侵入性,提升模式识别系统的安全性能。
1、面向模式识别的认知机理与计算模型
2、理想贝叶斯分类器逼近
贝叶斯分类是一类基于贝叶斯决策(最小风险决策,最大后验概率决策)的模式分类方法。在“各类先验分布”和“各类条件概率密度函数”均已知的理想情形下,基于贝叶斯决策规则所构建的分类器称为贝叶斯分类器,在理论上是性能最优的(期望风险或分类错误率最小)。但是,在实际应用中,上述两个已知的理想要素可能均未知,且由于训练样本数有限,很难得到准确的概率密度函数估计。因此,实际中不同类型的分类器只能对概率密度函数进行近似估计,或者绕过概率密度估计直接对判别函数或后验概率进行估计或近似。这些实际的分类器类型都可看作是贝叶斯分类器的近似,理论上其性能亚于贝叶斯分类器。如何在样本有限的情况下设计更优的分类器,使其性能尽量逼近贝叶斯分类器,是一个重要的研究课题和方向。
研究理想贝叶斯分类器的逼近,在理论和应用上都具有重要意义。理论上,从贝叶斯决策的角度对实际分类器进行分析,有助于探索出更优分类器设计方法;应用上,在性能上逼近贝叶斯分类器的分类器具有更好的实际应用性能。这些优势不仅仅只体现在分类精度,同时还具有鲁棒性、可解释性、可靠性等方面的优势。
理想的贝叶斯分类器要求基于无限多的样本对类先验概率和条件概率密度函数进行准确估计,这在实际中不可实现。因此,在有限样本情形下,采用结构和功能受限的分类器结构(函数),针对具体应用场景设计近似贝叶斯决策的分类器,是比较通行的做法。但是,设计出来的分类器对贝叶斯分类器到底近似到何种程度,如何更好地逼近贝叶斯分类器等问题没有得到解决。在实际应用中,面对高维空间有限样本、类条件概率密度函数动态变化、开放类别集、目标类信息不平衡等因素的综合作用和关联影响,贝叶斯分类器逼近会变得更加复杂。在研究途径上,可对已有的各种分类器或新设计的分类器从特征空间分析和概率密度估计的角度对分类器性能和贝叶斯分类器的逼近程度进行数学分析和多角度(不同样本条件、分类模型假设、不同性能指标)实验评价,给出逼近贝叶斯分类器的条件和实现指导。
3、基于不充分信息的模式识别
模式是指存在于时间和空间中可观测、可度量和可区分的信息。模式识别的核心任务是对模式进行分析与处理,进而实现描述、辨识、分类与解译。然而在现实应用中,由于各种原因对模式的观测往往不充分,通常情况下仅能获得有关同类模式的有限样例。在统计上,有限样例难以描述同类模式的真实分布。同时,受技术条件限制,所获取的模式信息可能不完备。另外,模式所关联的时空环境具有不确定性,决策环境的先验信息难以精确描述。这些不确定性因素导致人们在应用当前普遍遵循的贝叶决策理论与技术方法进行模式分类时存在决策器泛化能力不足的风险。
受客观条件以及问题自身性质等各方面因素的影响,数据信息的不充分性主要表现在以下几个方面。其一,标记信息不充分:数据概念标记的获取通常需要通过专家标注或科学实验等途径,从而消耗大量的人力和物力。因此,真实世界中的数据在很多情况下只具有有限的标记信息,从而导致标记信息的不充分。其二,关系信息不充分:真实世界中的数据其固有的关系信息在很多情况下并未充分地表达出来(比如,空间位置关系、相似关系、包含关系等),从而不利于学习系统泛化能力的提高。其三,目标类信息不充分:在真实世界中,人们感兴趣的目标类数据的出现频率通常远低于非目标类,从而产生类不平衡现象,导致目标类信息不充分。
不充分信息条件下的模式识别需要发展新的决策理论与方法体系。在研究途径上,在理论上,需要在现有的贝叶决策理论框架基础上发展结构化统计和知识推理型模式分类理论体系;在方法上,需要发展弱信息条件下的强模式识别方法、小规模样本模式识别方法、关系模式识别方法、信息不对称条件下的模式识别方法、生物启发的模式识别,并在实际应用中对理论与方法不断进行验证和更迭。
4、开放环境下的自适应学习
5、知识嵌入的模式识别
以深度学习为代表的主流模式识别模型往往都是基于大量数据的统计学习方法,一方面需要海量高质量标注数据进行学习,另一方面对数据中未能涵盖的模式泛化性能差。因此,如何将传统的领域知识嵌入到模式识别系统的学习过程中,是亟待研究的重要问题。通过知识和数据双驱动的方式可以进一步提升模型的泛化性和鲁棒性。同时,在学习过程中如何发现新知识并以此为基础实现系统的自学习自更新是需要进一步研究的问题。
人类认知机制可以高效地表征不同类型的知识及其相互关系,并将其有规律地组织起来。模式识别模型急需对感知知识的自主发现、结构化组织和层次化计算,通过建立知识运用的类人认知能力的计算方法,实现知识的可计算。可能的研究途径有:基于多模态信息融合的多类型知识联合发现框架,感知知识的组织范式、知识量化与度量、知识关联关系,图结构化感知知识表征模型,类人层次化知识凝练的计算策略,图知识层次化推理机制与计算方法等。传统模式识别方法大多将感知问题简单建模为从输入感知数据到输出类别信息的非线性映射。这类纯属数据驱动的感知模型将所有感知数据不加区分地进行整体处理,缺乏像类人记忆机制那样可选择性地对显著内容进行知识提取与组织,同时无法自适应地将提取的知识进行长时存储与更新,因此缺乏环境交互性和自适应性。因此研究感知数据与知识在记忆空间的协同表示显得尤为重要,通过建立感知模型和知识记忆交互的统一框架,实现知识融合的自适应感知与学习。可能的研究途径包括:研究感知数据和知识在同一记忆空间的协同表示、高效推理方法和注意机制;研究具有记忆机制的新型深度学习感知模型与方法,挖掘感知数据内部知识的关联性和依赖性,赋予其“学习-记忆-预测”机制;构建自适应感知深度学习模型框架,使其能够实现不同记忆状态间的信息协同和传递,具备信息可动态感知、表示可同步更新、知识可长期自主学习等类人自适应感知与学习能力。
6、交互式学习的理论模型与方法
7、可解释性深度模型
8、新型计算架构下的模式识别
现有的模式识别算法均是在冯诺依曼计算机体系结构下构建的,且大多是面向个人计算机的。当前,物理计算能力和计算构架正在发生深刻变化。超算平台、云计算、基于NPU的高性能计算、多集群分布式计算等已经得到广泛应用,但在模式识别算法开发与应用方面仍不充分。同时,在信息技术领域中,仿生生物计算机、量子计算机等概念相继推出。在这些新的计算构架下,模式识别问题描述与算法实现将会随之发生新变化。
一些新的需求和发展趋势也对模式识别技术提出了新的挑战。在边缘计算方面:随着万物互联的时代来临,越来越多的计算从中心向边缘转移,便于在边缘端支援繁重的数据分析应用,进而支援决策的即时制定。在内存驱动计算方面:传统计算架构中以CPU为中心不停地在部件间进行数据移动,数据处理效率低下,内存驱动计算架构将内存置于计算平台的中心,而非处理器,能够显著提高性能和效率,推动智能发展。在可重构计算方面:真正理想的计算应该是软件和硬件的架构一模一样,软件是什么样的拓扑结构,硬件就应该是怎样的拓扑结构;软件需要什么样的运算,硬件需要存在这样的运算资源,硬件功能和架构能够动态地按照软件实时进行改变。
另外,量子计算得到了蓬勃发展。基于量子力学态叠加原理和量子力学演化的并行性,调控量子信息单元,保持多个量子比特的量子相干性,进行超高精度的量子逻辑操作,实现大规模量子计算,提升计算机的计算效率和能力。同时,在DNA计算方面,对数据进行DNA编码,根据碱基配对原理,在溶液中实现大规模并行计算,以空间换时间,通过生化处理技术解决复杂模式分析与学习任务。针对这些特殊的应用场景和新兴计算技术,模式识别无论是从模型还是算法层面都要做出相应的调整以满足新时代的实际需求。
9、模式结构解释和结构模型学习
模式结构解释是指对输入模式内部的组成元素及元素间关系进行的分析。很多模式识别应用问题不仅要求模型给出预测或识别结果,同时还需要模型对预测给出解释。比如,在医疗问题中,模型不仅需要给出诊断结果,更重要的是给出支持结论的证据或原因;在文本、图像的检索和匹配问题中,模型不仅要给出两个对象之间的相似性评分,还要给出他们内部结构的对应关系。不仅在应用中有广泛需求,结构解释通常包含对模式内部的构成元素进行分析,对元素间的因果关系、组成关系、几何关系等进行建模,本质上,能够提供一种对模式的深层理解,因此,具有极高的理论意义。
模式结构解释和结构模型的学习一直是模式识别领域的核心问题之一。上世纪七十年代,华人学者傅京孙就提出了句法模式识别方法,使用语法表示数据间关系,通过语法分析进行推理和识别。此外,基于串匹配、图匹配的方法也是结构预测中一类重要的方法。但上述方法只对特定问题有效,而且串模板和图模板的自动学习至今尚无有效的方法。目前,应用最为广泛的是基于统计学习的结构模型。早期的方法,如LASSO、决策树,通过特征选择对预测结果提供一些简单的可解释性,但这些方法基于输入特征和输出结果之间的统计相关性并不能提供对模式内部的深层理解。概率图模型是最经典的统计结构模型,它通过对多随机变量联合分布的建模能够对变量间的各种关系进行表示、推理和学习。典型的概率图模型,如条件随机场、隐马尔可夫模型,在计算机视觉、语音识别、自然语言处理等领域有着广泛应用。深度学习兴起后,图神经网络逐渐成为一类新的结构学习方法。相比概率图模型,图神经网络在计算效率、灵活性、关系学习能力方面都具有优势。
10、安全强化的模式识别理论与方法
现有的统计模式识别主要以贝叶斯决策作为其理论依据。在该框架下所演化出的学习模型以平均(经验或期望)最小错误率或最小风险为学习目标,由此所建立的模式识别系统难以与安全性和可靠性量化评估策略进行有效关联。然而,在诸多现实应用中(如公共安全、国家安全、军事决策、临床医学等领域),不仅要求模式识别系统具有高精度的模式分类能力,并且要求其作出的决策是可行的,同时要求其系统具有可对抗性、抗侵入性和可靠性。因此,发展安全模式识别理论与方法具有十分重要的意义。
发展安全强化的模式识别理论与方法,涉及到诸多新的模式分析问题。首先,模式描述方法应具有鲁棒性和安全性。其次,模式识别系统应具有对抗无关模式的能力,发现伪模式和篡改模式的鉴别能力和抗侵入能力。另外,模式识别系统应具有对单模态和多模态联合或独立适应能力。因此,上述多个技术因素综合和应用环境的复杂性导致安全模式识别是一个十分复杂的问题。
在研究途径上,首先,应提高模式描述的鲁棒性,发展具有几何变换、非线性变换不变性、跨模态不变性、跨模态距离度量鲁棒学习方法和扰动分析方法;其次,可采用生成对抗网络提升模式识别系统的可对抗性和可抗侵入性,提高模式演变轨迹的描述能力;另外,研究模式识别方法的安全性验证体系,发展模式识别因果连锁理论、能量意外转移理论、变化-失误理论,提升模式识别方法与系统的安全性和可靠性。

