2017年11月13日至15日，计算机所博士生黄鑫赴美国盖瑟斯堡参加TRECVID Workshop 2017。TRECVID由美国国家标准技术局（NIST）举办，是迄今为止影响力最大的全球视频内容分析比赛，得到了包括美国国防部高级研究计划局（DARPA）在内的美国多个政府部门的支持。

在TRECVID 2017中，计算机所彭宇新教授带领的多媒体信息处理团队（PKU_ICST）参加了视频搜索比赛（Instance Search，简称INS）的全部2项任务：自动式搜索和交互式搜索，均获第一名。INS比赛内容是要求计算机在图片查询条件下，从人类语义的角度搜索语义相关的视频，是计算机“语义鸿沟”的关键问题，也是下一代多媒体搜索引擎研究的关键技术。参赛队伍包括日本国立情报学研究所（NII）、南洋理工大学、北京大学等单位。该团队自2009年以来，多次参加TRECVID并取得多项第一。

图1： INS比赛结果排名，彭宇新团队（PKU_ICST）获第一名

黄鑫在会上作了Instance Search（INS）比赛的口头报告，介绍了多媒体信息处理团队在TRECVID 2017 INS任务中采用的方法，包括相似性计算、结果重排序两大阶段。在相似性计算阶段中，团队采用了基于近似K-means算法的关键点特征与深度特征的场景检索，以及基于深度人脸识别与文本信息匹配的人物检索，之后通过双向融合策略，综合场景、人物检索结果得到语义事件检索结果。在结果重排序阶段，团队采用基于半监督学习的重排序方法，有效过滤结果中存在的噪声，进一步提高了搜索准确率。

图2：黄鑫作口头报告

图3：黄鑫作海报展示