2017年4月26日上午中共北京市委、市人民政府在北京会议中心隆重举行2016年度北京市科学技术奖励大会，北京市委书记郭金龙、市长蔡奇等出席大会并为获奖代表颁奖。由北京大学作为牵头单位，计算机科学技术研究所彭宇新教授等完成的“互联网多模态内容分析与识别关键技术及应用”项目荣获北京市科学技术奖技术发明类一等奖。本项目的合作完成单位是北大方正集团有限公司。

根据Gartner统计，图像、视频等多模态数据已经占到大数据的80%以上，一方面多模态数据的有效利用是发挥大数据价值的关键问题，另一方面如何分析识别其中隐藏的大量涉恐、涉暴等有害信息，是维护国家安全和社会稳定所亟需解决的重大难题。针对上述问题，该项目主要发明创新包括：1. 针对图像视频概念检测问题，发明了基于注意力模型和增量深度学习的分类方法，解决了新增概念的训练加速和动态扩容难题。2. 针对复杂场景下视觉目标检测问题，发明了级联分类器与极角拓扑约束相结合的判别方法，提高了低分辨率、形变、仿射变换等复杂情况下的检测效果。3. 针对多模态数据分析与识别问题，发明了一套基于多模态融合与增量多索引磁盘哈希的语义协同方法，通过跨模态语义互补性实现多模态数据的综合利用。4. 针对互联网舆情监测问题，发明了基于知识元的多模态语义分析方法和基于情感观点的话题追踪方法，实现了对海量动态互联网舆情话题的准实时监测与传播分析。

基于上述成果，该项目发表论文100多篇，其中国际顶级的ACM/IEEE Trans.期刊和CCF A类论文26篇，受到来自斯坦福大学、卡内基梅隆大学、加州大学伯克利分校、加州大学洛杉矶分校、牛津大学、谷歌、微软等同行学者的广泛关注和30余位院士及ACM/IEEE Fellow的正面引用。获发明专利授权50项，软件著作权16项。6次参加由美国国家标准技术局举办的国际权威评测TRECVID和TREC，每次均获得第一名，参赛队伍包括斯坦福大学、卡内基梅隆大学、哥伦比亚大学、牛津大学、IBM Watson研究中心等。以上述技术为核心，形成了互联网多模态内容分析与监管系统、方正智思互联网舆情监测分析系统等系列产品，实现了对互联网网页、图像、视频等多模态内容的全面监测与数据利用。已推广应用于中央办公厅、中央宣传部、中央网信办、国务院新闻办、工信部、教育部、统战部、国家新闻出版广电总局等上百家重要单位，直接经济效益10.3亿元，并在维护我国互联网内容安全、促进网络文化健康发展等方面产生了显著的社会效益。