与人类视听觉感知密切相关的图像、语音和文本（语言）信息在社会、经济和国家安全等领域中扮演着重要角色，并在今后一段时间内仍将迅猛增长。这类信息可被人类直接感知和理解，也可用计算机进行处理，但计算机的处理能力远逊于人类且处理效率远不能满足当今社会的发展需求。如何借鉴人类的认知机理和相关数学的最新研究成果，建立新的计算模型和方法，从而大幅度提高计算机对这类信息的理解能力与处理效率，不仅可有力推动信息科学的快速发展，也将为国民经济和社会发展做出重大贡献。
一、科学目标
本重大研究计划的总体科学目标是：围绕国家重大需求，充分发挥信息科学、生命科学和数理科学的交叉优势，从人类的视听觉认知机理出发，研究并构建新的计算模型与计算方法，提高计算机对非结构化视听觉感知信息的理解能力和海量异构信息的处理效率，克服图像、语音和文本（语言）信息处理所面临的瓶颈困难，为确保国家安全与公共安全、推动信息服务及相关产业发展以及提高国民生活和健康水平做出重要贡献。具体表现为：在视听觉信息处理的基础理论研究方面取得重要进展；在视听觉信息协同计算、自然语言（汉语）理解以及与视听觉认知相关的脑―机接口等三项关键技术方面取得重大突破；集成上述相关研究成果，研制具有自然环境感知与智能行为决策能力的无人驾驶车辆验证平台，主要性能指标达到世界先进水平，从而提升我国在视听觉信息处理领域的整体研究实力，培养具有国际影响力的优秀人才与团队，为国家安全和社会发展提供相关研究环境与技术支撑。
二、核心科学问题
本重大研究计划将围绕“感知特征提取、表达与整合”、“感知数据的机器学习与理解”和“多模态信息协同计算”等核心科学问题，组织并实施如下四个主要方面的研究工作。
（一）图像与视觉信息计算。
主要研究图像与视觉信息计算的认知机理，视觉基本特征的提取与选择，物体识别与图像内容理解，复杂场景下运动目标的行为分析等。提出若干图像与视觉信息的高效计算模型，取得国际公认的原创性研究成果（在Nature, Science, IEEE Trans. PAMI等刊物上发表高水平论文），培养具有国际影响力的优秀人才与研究团队。
（二）语音与听觉信息计算。
主要研究听感知机理与音频场景分析，自然环境下的语音识别与合成，口语对话分析与理解等。取得国际上有影响的原创性研究成果，提出若干语音与听觉信息的有效计算模型，在本领域国际权威刊物上发表高水平论文，培养具有国际影响力的优秀人才与研究团队。
（三）自然语言（汉语）理解。
主要研究语言加工的认知机理，语言知识建模和语义计算模型，基于语义理解的机器翻译方法，面向网络的汉语适度理解模型和系列分析工具，支持自然环境下口语对话分析、识别与理解的关键技术等。在国内已有相关成果的基础上，统筹构建大规模高标准汉语语义知识库。将上述研究成果应用到语言（汉语）信息处理典型系统中，显著提高对自然语言（句子、段落、篇章）的理解能力，并在网络信息检索、过滤和知识获取方面得到验证。
（四）多模态信息的协同计算与脑—机接口。
主要研究多模态感知信息协同的认知机理与计算模型，基于视听觉信息融合的模式识别与环境交互方法，跨模态视频信息检索与网络敏感信息过滤技术等。大幅度提高跨模态视频信息检索的查准率，显著提升本领域整体研究实力。
研究与视听觉认知相关的脑信号提取、脑区定位与脑功能网络分析方法和技术，脑—机交互中的信号传输、处理与控制技术，与视听觉认知相关的脑—机接口典型应用。在改善残疾人生活质量和功能康复等方面得到验证或应用，为延伸和提高人类行为控制能力提供新技术。
三、关键技术与集成验证平台
在上述研究工作的基础上，本重大研究计划进一步开展与视听觉信息处理相关的关键技术和集成验证平台研究。
（一）视听觉信息协同计算的关键技术。
研究机器视听觉信息的协同计算模型及系统实现技术，基于视听觉信息融合的模式识别技术与验证系统，跨模态视频信息检索与网络敏感信息过滤技术及应用。基于多模态协同计算模型的网络视频信息搜索的查准率比同期国外最好水平高5%—10%，并在网络信息安全与服务等领域得到验证。
（二）自然语言（汉语）理解关键技术。
研究汉语通用词汇的规范化语义知识库及其构建技术，面向网络的汉语适度理解模型及系列分析工具的实现技术，支持自然环境下口语对话分析、识别与理解的关键技术。在国内现有相关成果的基础上，统筹构建汉语语义知识库，汉语通用词汇规模不小于5万词，带有语义标注的汉语平衡语料库规模不小于1千万字。将研究成果应用到网络环境下的汉语处理系统中，信息检索与知识获取的准确率比现有最好技术提高20%以上。
（三）与视听觉认知相关的脑―机接口关键技术。
研究与视听觉认知相关的脑信号提取、脑区定位与脑功能网络分析技术，脑—机交互中的信号传输、处理、控制技术及系统实现，与视听觉认知相关的脑—机接口典型应用。所提无创脑―机接口信息提取与分析等技术处于同期国际领先水平，在改善残疾人生活质量和功能康复等方面得到验证或应用。
（四）无人驾驶车辆集成验证平台。
集成上述基础理论与关键技术的相关研究成果，将传统视觉计算模型与新的视觉认知模型相结合，实现环境感知与建模方法新突破；实现多传感器跨模态跨尺度信息融合，生成高质量三维场景认知地图，构建高性能智能车辆无人驾驶验证平台；提供新的基于人—车—路状态综合分析的智能辅助安全驾驶关键技术；在国防、智能辅助安全驾驶等相关领域得到验证或应用并产生重要影响。