人工智能

人工智能标准化白皮书（2018）》给出了答案

1 机器学习

机器学习（Machine Learning）是一门涉及统计学、系统辨识、逼近理论、 神经网络、优化理论、计算机科学、脑科学等诸多领域的交叉学科，研究计算机 怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识 结构使之不断改善自身的性能，是人工智能技术的核心。基于数据的机器学习是 现代智能技术中的重要方法之一，研究从观测数据（样本）出发寻找规律，利用 这些规律对未来数据或无法观测的数据进行预测。根据学习模式、学习方法以及 算法的不同，机器学习存在不同的分类方法。

（1）根据学习模式将机器学习分类为监督学习、无监督学习和强化学习等。

• 监督学习

监督学习是利用已标记的有限训练数据集，通过某种学习策略/方法建立一 个模型，实现对新数据/实例的标记（分类）/映射，最典型的监督学习算法包括 回归和分类。监督学习要求训练样本的分类标签已知，分类标签精确度越高，样 本越具有代表性，学习模型的准确度越高。监督学习在自然语言处理、信息检索、 文本挖掘、手写体辨识、垃圾邮件侦测等领域获得了广泛应用。

• 无监督学习

无监督学习是利用无标记的有限数据描述隐藏在未标记数据中的结构/规律， 最典型的非监督学习算法包括单类密度估计、单类数据降维、聚类等。无监督学 习不需要训练样本和人工标注数据，便于压缩数据存储、减少计算量、提升算法 速度，还可以避免正、负样本偏移引起的分类错误问题。主要用于经济预测、异 常检测、数据挖掘、图像处理、模式识别等领域，例如组织大型计算机集群、社 交网络分析、市场分割、天文数据分析等。

• 强化学习

强化学习是智能系统从环境到行为映射的学习，以使强化信号函数值最大。 由于外部环境提供的信息很少，强化学习系统必须靠自身的经历进行学习。强化 学习的目标是学习从环境状态到行为的映射，使得智能体选择的行为能够获得环 境最大的奖赏，使得外部环境对学习系统在某种意义下的评价为最佳。其在机器 人控制、无人驾驶、下棋、工业控制等领域获得成功应用。

（2）根据学习方法可以将机器学习分为传统机器学习和深度学习。

• 传统机器学习

传统机器学习从一些观测（训练）样本出发，试图发现不能通过原理分析获 得的规律，实现对未来数据行为或趋势的准确预测。相关算法包括逻辑回归、隐 马尔科夫方法、支持向量机方法、K 近邻方法、三层人工神经网络方法、Adaboost 算法、贝叶斯方法以及决策树方法等。传统机器学习平衡了学习结果的有效性与 学习模型的可解释性，为解决有限样本的学习问题提供了一种框架，主要用于有 限样本情况下的模式分类、回归分析、概率密度估计等。传统机器学习方法共同 的重要理论基础之一是统计学，在自然语言处理、语音识别、图像识别、信息检 索和生物信息等许多计算机领域获得了广泛应用。

• 深度学习

深度学习是建立深层结构模型的学习方法，典型的深度学习算法包括深度置 信网络、卷积神经网络、受限玻尔兹曼机和循环神经网络等。深度学习又称为深 度神经网络（指层数超过 3 层的神经网络）。深度学习作为机器学习研究中的一 个新兴领域，由 Hinton 等人于 2006 年提出。深度学习源于多层神经网络，其实 质是给出了一种将特征表示和学习合二为一的方式。深度学习的特点是放弃了可 解释性，单纯追求学习的有效性。经过多年的摸索尝试和研究，已经产生了诸多 深度神经网络的模型，其中卷积神经网络、循环神经网络是两类典型的模型。卷 积神经网络常被应用于空间性分布数据；循环神经网络在神经网络中引入了记忆 和反馈，常被应用于时间性分布数据。深度学习框架是进行深度学习的基础底层 框架，一般包含主流的神经网络算法模型，提供稳定的深度学习 API，支持训练 模型在服务器和 GPU、TPU 间的分布式学习，部分框架还具备在包括移动设备、云平台在内的多种平台上运行的移植能力，从而为深度学习算法带来前所未有的 运行速度和实用性。目前主流的开源算法框架有 TensorFlow、Caffe/Caffe2、CNTK、 MXNet、Paddle-paddle、Torch/PyTorch、Theano 等。

（3）此外，机器学习的常见算法还包括迁移学习、主动学习和演化学习等。

• 迁移学习

迁移学习是指当在某些领域无法取得足够多的数据进行模型训练时，利用另 一领域数据获得的关系进行的学习。迁移学习可以把已训练好的模型参数迁移到 新的模型指导新模型训练，可以更有效的学习底层规则、减少数据量。目前的迁 移学习技术主要在变量有限的小规模应用中使用，如基于传感器网络的定位，文 字分类和图像分类等。未来迁移学习将被广泛应用于解决更有挑战性的问题，如 视频分类、社交网络分析、逻辑推理等。

• 主动学习

主动学习通过一定的算法查询最有用的未标记样本，并交由专家进行标记， 然后用查询到的样本训练分类模型来提高模型的精度。主动学习能够选择性地获 取知识，通过较少的训练样本获得高性能的模型，最常用的策略是通过不确定性 准则和差异性准则选取有效的样本。

• 演化学习

演化学习对优化问题性质要求极少，只需能够评估解的好坏即可，适用于求 解复杂的优化问题，也能直接用于多目标优化。演化算法包括粒子群优化算法、 多目标演化算法等。目前针对演化学习的研究主要集中在演化数据聚类、对演化 数据更有效的分类，以及提供某种自适应机制以确定演化机制的影响等。

2 知识图谱

知识图谱本质上是结构化的语义知识库，是一种由节点和边组成的图数据结 构，以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体 —关系—实体”三元组，以及实体及其相关“属性—值”对。不同实体之间通过 关系相互联结，构成网状的知识结构。在知识图谱中，每个节点表示现实世界的 “实体”，每条边为实体与实体之间的“关系”。通俗地讲，知识图谱就是把所有不同种类的信息连接在一起而得到的一个关系网络，提供了从“关系”的角度 去分析问题的能力。

知识图谱可用于反欺诈、不一致性验证、组团欺诈等公共安全保障领域，需 要用到异常分析、静态分析、动态分析等数据挖掘方法。特别地，知识图谱在搜 索引擎、可视化展示和精准营销方面有很大的优势，已成为业界的热门工具。但 是，知识图谱的发展还有很大的挑战，如数据的噪声问题，即数据本身有错误或 者数据存在冗余。随着知识图谱应用的不断深入，还有一系列关键技术需要突破。

3 自然语言处理

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向，研究能 实现人与计算机之间用自然语言进行有效通信的各种理论和方法，涉及的领域较 多，主要包括机器翻译、机器阅读理解和问答系统等。

（1）机器翻译

机器翻译技术是指利用计算机技术实现从一种自然语言到另外一种自然语 言的翻译过程。基于统计的机器翻译方法突破了之前基于规则和实例翻译方法的 局限性，翻译性能取得巨大提升。基于深度神经网络的机器翻译在日常口语等一 些场景的成功应用已经显现出了巨大的潜力。随着上下文的语境表征和知识逻辑 推理能力的发展，自然语言知识图谱不断扩充，机器翻译将会在多轮对话翻译及 篇章翻译等领域取得更大进展。

目前非限定领域机器翻译中性能较佳的一种是统计机器翻译，包括训练及解 码两个阶段。训练阶段的目标是获得模型参数，解码阶段的目标是利用所估计的 参数和给定的优化目标，获取待翻译语句的最佳翻译结果。统计机器翻译主要包 括语料预处理、词对齐、短语抽取、短语概率计算、最大熵调序等步骤。基于神 经网络的端到端翻译方法不需要针对双语句子专门设计特征模型，而是直接把源 语言句子的词串送入神经网络模型，经过神经网络的运算，得到目标语言句子的 翻译结果。在基于端到端的机器翻译系统中，通常采用递归神经网络或卷积神经 网络对句子进行表征建模，从海量训练数据中抽取语义信息，与基于短语的统计 翻译相比，其翻译结果更加流畅自然，在实际应用中取得了较好的效果。

（2）语义理解

语义理解技术是指利用计算机技术实现对文本篇章的理解，并且回答与篇章 相关问题的过程。语义理解更注重于对上下文的理解以及对答案精准程度的把控。 随着 MCTest 数据集的发布，语义理解受到更多关注，取得了快速发展，相关数 据集和对应的神经网络模型层出不穷。语义理解技术将在智能客服、产品自动问 答等相关领域发挥重要作用，进一步提高问答与对话系统的精度。

在数据采集方面，语义理解通过自动构造数据方法和自动构造填空型问题的 方法来有效扩充数据资源。为了解决填充型问题，一些基于深度学习的方法相继 提出，如基于注意力的神经网络方法。当前主流的模型是利用神经网络技术对篇 章、问题建模，对答案的开始和终止位置进行预测，抽取出篇章片段。对于进一 步泛化的答案，处理难度进一步提升，目前的语义理解技术仍有较大的提升空间。

（3）问答系统

问答系统分为开放领域的对话系统和特定领域的问答系统。问答系统技术是 指让计算机像人类一样用自然语言与人交流的技术。人们可以向问答系统提交用 自然语言表达的问题，系统会返回关联性较高的答案。尽管问答系统目前已经有 了不少应用产品出现，但大多是在实际信息服务系统和智能手机助手等领域中的 应用，在问答系统鲁棒性方面仍然存在着问题和挑战。

自然语言处理面临四大挑战：一是在词法、句法、语义、语用和语音等不同 层面存在不确定性；二是新的词汇、术语、语义和语法导致未知语言现象的不可 预测性；三是数据资源的不充分使其难以覆盖复杂的语言现象；四是语义知识的 模糊性和错综复杂的关联性难以用简单的数学模型描述，语义计算需要参数庞大 的非线性计算。

4 人机交互

人机交互主要研究人和计算机之间的信息交换，主要包括人到计算机和计算 机到人的两部分信息交换，是人工智能领域的重要的外围技术。人机交互是与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关的综合学科。传统的人与计算机之间的信息交换主要依靠交互设备进行，主要包括键盘、鼠标、 操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等输入设备，以及打印机、绘图仪、显示器、头盔式显示器、音箱等输出设备。人机交互技术 除了传统的基本交互和图形交互外，还包括语音交互、情感交互、体感交互及脑 机交互等技术，以下对后四种与人工智能关联密切的典型交互手段进行介绍。

（1）语音交互

语音交互是一种高效的交互方式，是人以自然语音或机器合成语音同计算机 进行交互的综合性技术，结合了语言学、心理学、工程和计算机技术等领域的知 识。语音交互不仅要对语音识别和语音合成进行研究，还要对人在语音通道下的 交互机理、行为方式等进行研究。语音交互过程包括四部分：语音采集、语音识 别、语义理解和语音合成。语音采集完成音频的录入、采样及编码；语音识别完 成语音信息到机器可识别的文本信息的转化；语义理解根据语音识别转换后的文 本字符或命令完成相应的操作；语音合成完成文本信息到声音信息的转换。作为 人类沟通和获取信息最自然便捷的手段，语音交互比其他交互方式具备更多优势， 能为人机交互带来根本性变革，是大数据和认知计算时代未来发展的制高点，具 有广阔的发展前景和应用前景。

（2）情感交互

情感是一种高层次的信息传递，而情感交互是一种交互状态，它在表达功能 和信息时传递情感，勾起人们的记忆或内心的情愫。传统的人机交互无法理解和 适应人的情绪或心境，缺乏情感理解和表达能力，计算机难以具有类似人一样的 智能，也难以通过人机交互做到真正的和谐与自然。情感交互就是要赋予计算机 类似于人一样的观察、理解和生成各种情感的能力，最终使计算机像人一样能进 行自然、亲切和生动的交互。情感交互已经成为人工智能领域中的热点方向，旨 在让人机交互变得更加自然。目前，在情感交互信息的处理方式、情感描述方式、 情感数据获取和处理过程、情感表达方式等方面还有诸多技术挑战。

（3）体感交互

体感交互是个体不需要借助任何复杂的控制系统，以体感技术为基础，直接 通过肢体动作与周边数字设备装置和环境进行自然的交互。依照体感方式与原理 的不同，体感技术主要分为三类：惯性感测、光学感测以及光学联合感测。体感 交互通常由运动追踪、手势识别、运动捕捉、面部表情识别等一系列技术支撑。与其他交互手段相比，体感交互技术无论是硬件还是软件方面都有了较大的提升， 交互设备向小型化、便携化、使用方便化等方面发展，大大降低了对用户的约束， 使得交互过程更加自然。目前，体感交互在游戏娱乐、医疗辅助与康复、全自动 三维建模、辅助购物、眼动仪等领域有了较为广泛的应用。

（4）脑机交互

脑机交互又称为脑机接口，指不依赖于外围神经和肌肉等神经通道，直接实 现大脑与外界信息传递的通路。脑机接口系统检测中枢神经系统活动，并将其转 化为人工输出指令，能够替代、修复、增强、补充或者改善中枢神经系统的正常 输出，从而改变中枢神经系统与内外环境之间的交互作用。脑机交互通过对神经 信号解码，实现脑信号到机器指令的转化，一般包括信号采集、特征提取和命令 输出三个模块。从脑电信号采集的角度，一般将脑机接口分为侵入式和非侵入式 两大类。除此之外，脑机接口还有其他常见的分类方式：按照信号传输方向可以 分为脑到机、机到脑和脑机双向接口；按照信号生成的类型，可分为自发式脑机 接口和诱发式脑机接口；按照信号源的不同还可分为基于脑电的脑机接口、基于 功能性核磁共振的脑机接口以及基于近红外光谱分析的脑机接口。

5 计算机视觉

计算机视觉是使用计算机模仿人类视觉系统的科学，让计算机拥有类似人类 提取、处理、理解和分析图像以及图像序列的能力。自动驾驶、机器人、智能医 疗等领域均需要通过计算机视觉技术从视觉信号中提取并处理信息。近来随着深 度学习的发展，预处理、特征提取与算法处理渐渐融合，形成端到端的人工智能 算法技术。根据解决的问题，计算机视觉可分为计算成像学、图像理解、三维视 觉、动态视觉和视频编解码五大类。

（1）计算成像学

计算成像学是探索人眼结构、相机成像原理以及其延伸应用的科学。在相机 成像原理方面，计算成像学不断促进现有可见光相机的完善，使得现代相机更加 轻便，可以适用于不同场景。同时计算成像学也推动着新型相机的产生，使相机 超出可见光的限制。在相机应用科学方面，计算成像学可以提升相机的能力，从 而通过后续的算法处理使得在受限条件下拍摄的图像更加完善，例如图像去噪、去模糊、暗光增强、去雾霾等，以及实现新的功能，例如全景图、软件虚化、超 分辨率等。

（2）图像理解

图像理解是通过用计算机系统解释图像，实现类似人类视觉系统理解外部世 界的一门科学。通常根据理解信息的抽象程度可分为三个层次：浅层理解，包括 图像边缘、图像特征点、纹理元素等；中层理解，包括物体边界、区域与平面等； 高层理解，根据需要抽取的高层语义信息，可大致分为识别、检测、分割、姿态 估计、图像文字说明等。目前高层图像理解算法已逐渐广泛应用于人工智能系统， 如刷脸支付、智慧安防、图像搜索等。

（3）三维视觉

三维视觉即研究如何通过视觉获取三维信息（三维重建）以及如何理解所获 取的三维信息的科学。三维重建可以根据重建的信息来源，分为单目图像重建、 多目图像重建和深度图像重建等。三维信息理解，即使用三维信息辅助图像理解 或者直接理解三维信息。三维信息理解可分为，浅层：角点、边缘、法向量等； 中层：平面、立方体等；高层：物体检测、识别、分割等。三维视觉技术可以广 泛应用于机器人、无人驾驶、智慧工厂、虚拟/增强现实等方向。

（4）动态视觉

动态视觉即分析视频或图像序列，模拟人处理时序图像的科学。通常动态视 觉问题可以定义为寻找图像元素，如像素、区域、物体在时序上的对应，以及提 取其语义信息的问题。动态视觉研究被广泛应用在视频分析以及人机交互等方面。

（5）视频编解码

视频编解码是指通过特定的压缩技术，将视频流进行压缩。视频流传输中最 为重要的编解码标准有国际电联的 H.261、H.263、H.264、H.265、M-JPEG 和 MPEG 系列标准。视频压缩编码主要分为两大类：无损压缩和有损压缩。无损压 缩指使用压缩后的数据进行重构时，重构后的数据与原来的数据完全相同，例如 磁盘文件的压缩。有损压缩也称为不可逆编码，指使用压缩后的数据进行重构时， 重构后的数据与原来的数据有差异，但不会影响人们对原始资料所表达的信息产 生误解。有损压缩的应用范围广泛，例如视频会议、可视电话、视频广播、视频监控等。

目前，计算机视觉技术发展迅速，已具备初步的产业规模。未来计算机视觉 技术的发展主要面临以下挑战：一是如何在不同的应用领域和其他技术更好的结 合，计算机视觉在解决某些问题时可以广泛利用大数据，已经逐渐成熟并且可以 超过人类，而在某些问题上却无法达到很高的精度；二是如何降低计算机视觉算 法的开发时间和人力成本，目前计算机视觉算法需要大量的数据与人工标注，需 要较长的研发周期以达到应用领域所要求的精度与耗时；三是如何加快新型算法 的设计开发，随着新的成像硬件与人工智能芯片的出现，针对不同芯片与数据采 集设备的计算机视觉算法的设计与开发也是挑战之一。

6 生物特征识别

生物特征识别技术是指通过个体生理特征或行为特征对个体身份进行识别 认证的技术。从应用流程看，生物特征识别通常分为注册和识别两个阶段。注册 阶段通过传感器对人体的生物表征信息进行采集，如利用图像传感器对指纹和人 脸等光学信息、麦克风对说话声等声学信息进行采集，利用数据预处理以及特征 提取技术对采集的数据进行处理，得到相应的特征进行存储。识别过程采用与注 册过程一致的信息采集方式对待识别人进行信息采集、数据预处理和特征提取， 然后将提取的特征与存储的特征进行比对分析，完成识别。从应用任务看，生物 特征识别一般分为辨认与确认两种任务，辨认是指从存储库中确定待识别人身份 的过程，是一对多的问题；确认是指将待识别人信息与存储库中特定单人信息进 行比对，确定身份的过程，是一对一的问题。

生物特征识别技术涉及的内容十分广泛，包括指纹、掌纹、人脸、虹膜、指 静脉、声纹、步态等多种生物特征，其识别过程涉及到图像处理、计算机视觉、 语音识别、机器学习等多项技术。目前生物特征识别作为重要的智能化身份认证 技术，在金融、公共安全、教育、交通等领域得到广泛的应用。下面将对指纹识 别、人脸识别、虹膜识别、指静脉识别、声纹识别以及步态识别等技术进行介绍。

（1）指纹识别 指纹识别过程通常包括数据采集、数据处理、分析判别三个过程。数据采集 通过光、电、力、热等物理传感器获取指纹图像；数据处理包括预处理、畸变校正、特征提取三个过程；分析判别是对提取的特征进行分析判别的过程。

（2）人脸识别 人脸识别是典型的计算机视觉应用，从应用过程来看，可将人脸识别技术划 分为检测定位、面部特征提取以及人脸确认三个过程。人脸识别技术的应用主要 受到光照、拍摄角度、图像遮挡、年龄等多个因素的影响，在约束条件下人脸识 别技术相对成熟，在自由条件下人脸识别技术还在不断改进。

（3）虹膜识别 虹膜识别的理论框架主要包括虹膜图像分割、虹膜区域归一化、特征提取和 识别四个部分，研究工作大多是基于此理论框架发展而来。虹膜识别技术应用的 主要难题包含传感器和光照影响两个方面：一方面，由于虹膜尺寸小且受黑色素 遮挡，需在近红外光源下采用高分辨图像传感器才可清晰成像，对传感器质量和 稳定性要求比较高；另一方面，光照的强弱变化会引起瞳孔缩放，导致虹膜纹理 产生复杂形变，增加了匹配的难度。

（4）指静脉识别 指静脉识别是利用了人体静脉血管中的脱氧血红蛋白对特定波长范围内的 近红外线有很好的吸收作用这一特性，采用近红外光对指静脉进行成像与识别的 技术。由于指静脉血管分布随机性很强，其网络特征具有很好的唯一性，且属于 人体内部特征，不受到外界影响，因此模态特性十分稳定。指静脉识别技术应用 面临的主要难题来自于成像单元。

（5）声纹识别 声纹识别是指根据待识别语音的声纹特征识别说话人的技术。声纹识别技术 通常可以分为前端处理和建模分析两个阶段。声纹识别的过程是将某段来自某个 人的语音经过特征提取后与多复合声纹模型库中的声纹模型进行匹配，常用的识 别方法可以分为模板匹配法、概率模型法等。

（6）步态识别 步态是远距离复杂场景下唯一可清晰成像的生物特征，步态识别是指通过身 体体型和行走姿态来识别人的身份。相比上述几种生物特征识别，步态识别的技术难度更大，体现在其需要从视频中提取运动特征，以及需要更高要求的预处理 算法，但步态识别具有远距离、跨角度、光照不敏感等优势。

7 虚拟现实/增强现实

虚拟现实（VR）/增强现实（AR）是以计算机为核心的新型视听技术。结合 相关科学技术，在一定范围内生成与真实环境在视觉、听觉、触感等方面高度近 似的数字化环境。用户借助必要的装备与数字化环境中的对象进行交互，相互影 响，获得近似真实环境的感受和体验，通过显示设备、跟踪定位设备、触力觉交 互设备、数据获取设备、专用芯片等实现。

虚拟现实/增强现实从技术特征角度，按照不同处理阶段，可以分为获取与 建模技术、分析与利用技术、交换与分发技术、展示与交互技术以及技术标准与 评价体系五个方面。获取与建模技术研究如何把物理世界或者人类的创意进行数 字化和模型化，难点是三维物理世界的数字化和模型化技术；分析与利用技术重 点研究对数字内容进行分析、理解、搜索和知识化方法，其难点是在于内容的语 义表示和分析；交换与分发技术主要强调各种网络环境下大规模的数字化内容流 通、转换、集成和面向不同终端用户的个性化服务等，其核心是开放的内容交换 和版权管理技术；展示与交换技术重点研究符合人类习惯数字内容的各种显示技 术及交互方法，以期提高人对复杂信息的认知能力，其难点在于建立自然和谐的 人机交互环境；标准与评价体系重点研究虚拟现实/增强现实基础资源、内容编 目、信源编码等的规范标准以及相应的评估技术。

目前虚拟现实/增强现实面临的挑战主要体现在智能获取、普适设备、自由 交互和感知融合四个方面。在硬件平台与装置、核心芯片与器件、软件平台与工 具、相关标准与规范等方面存在一系列科学技术问题。总体来说虚拟现实/增强 现实呈现虚拟现实系统智能化、虚实环境对象无缝融合、自然交互全方位与舒适 化的发展趋势。