咨讯息 · 2022年7月30日 0

第一个超音波下的小样品检验计算方法和弱特征进一步增强网络,清华、讯飞新研究入围ACMMM2022

责任编辑中,清华、讯飞的人类学家们构筑了第一个 X 光情景下的小样品检验统计数据集 ——X-ray FSOD 统计数据集。同时又明确提出了些微特点进一步增强网络,为小样品检验增添捷伊思索。

小样品检验各项任务(few-shot detection)意在解决真实世界轻工业情景中样品以获取困难情况下数学模型普遍化力强的关键点,试著通过小量的训练样品获得具备普遍化潜能的数学模型。小样品检验各项任务一直是学界科学研究的关注点,传统的方法主要著眼于光线统计数据,在常见的 COCO 统计数据K568进行评估结果。由于光线统计数据样品通常具备色调艳丽、目标明晰等特点,即使样品数量有限,传递函数脊髓网络依然可以抽取到较为可信的辨识度特点。我的当今世界

近日,计算机系统影音世界顶级全会 ACM Multimedia 2022 转交学术论文结果已经正式公布,全会转交了一则由西安交通大学、华大基因科学研究所合写的组织工作。此项组织工作以 X 光登机情景为例,特别针对一些危险物品类型出现振幅较高导致样品难以以获取的事实上,构筑了 X-ray FSOD 统计数据集,为 X 光下小样品检验各项任务提供数学模型检验潜能评估结果计算方法我的当今世界

人类学家在构筑评估结果计算方法的基础上明确提出了些微特点进一步增强网络,利用蓝本学习和特点取舍的思想减轻些微特点增添的性能损失,为小样品检验增添捷伊思索。

打开金沙新闻,查阅更多高画质相片

一、X 光下小样品检验评估结果计算方法(X-ray FSOD 统计数据集)

评估结果计算方法的构筑对于几项各项任务的科学研究是不可或缺的。责任编辑特别针对 X 光登机情景下的小样品检验各项任务,明确提出了第一个轻工业情景下的小样品检验各项任务评估结果计算方法,X-ray FSOD 统计数据集。我的当今世界

在构筑计算方法的过程中,责任编辑遵从了经典之作的小样品检验统计数据集 Pascal VOC 的增设(类型数目为 20,当中 15 类到派生类,5 类到jv)我的当今世界,从现有公开的统计数据集中选择了 14 穆劳县型,当中 5 穆劳县源自 OPIXray 统计数据集(ACM MM2020),5 穆劳县源自 HiXray 统计数据集(ICCV 2021),余下 4 穆劳县源自 EDS 统计数据集(CVPR 2022),并新贡献了附加的 6 穆劳县型,重新组建了一个总计 20 穆劳县型的 X 光登机情景下的标准小样品检验各项任务评估结果计算方法

X-ray FSOD 统计数据集中各穆劳县型在光线和 X 光下的对照图如图 1 所示。

图 1 X-ray FSOD 统计数据集中不同类型的光线和 X 光样例示意图.

二、些微特点进一步增强网络

由于遮挡严重、色调匮乏等原因,X 光下的小样品检验各项任务面临着目标特点非常些微的问题。由于判别信息些微,传统的小样品检验方法在该情景下很难达到令人满意的效果。我的当今世界

受蓝本学习聚合辨识度信息的启发,责任编辑明确提出的些微特点进一步增强网络。些微特点进一步增强网络包含两个核心模块,即蓝本感知模块(PA)和特点取舍模块(FR)

蓝本感知模块对待检验目标周围的关键区域进行聚合,进而抽取目标本身的可依据特点,并建立类型蓝本库以生成每穆劳县型的可依据特点。

特点取舍模块自适应调整不同类型相对应蓝本的影响程度,将蓝本感知模块抽取出的辨识度信息选择性地融合至特定对象本身的特点中。我的当今世界

蓝本感知模块(PA)

蓝本感知模块的主要各项任务是通过聚合生成类型蓝本,建立全局蓝本库的方式,来抽取出不同类型的可依据特点。首先,该模块将属于不同目标的候选框特点根据与目标真实世界标注框的 IoU 值加权聚合,形成目标的特点蓝本,公式如下:

随后,该模块将属于相同类型的目标特点蓝本聚合。紧接着,利用得到的类型蓝本集合建立并更新全局蓝本库中对应类型的蓝本,公式如下:

为了进一步进一步增强不同类型之间抽取出可依据特点的区别,人类学家们对全局蓝本库设计了损失函数,计算每两穆劳县型特点蓝本之间余弦相似度的平均值,通过最小化损失函数可以让不同类型蓝本的特点向量趋于正交,公式如下:我的当今世界

特点取舍模块(FR)

特点取舍模块(FR)所做的是将蓝本库中存储的类型蓝本特点与候选框特点进行不同程度融合,从而进一步增强主干网络抽取出的表示特点

取舍过程首先需要确定的是由主干网络生成的候选框特点需要融合全局蓝本库中对应的哪一种类型特点蓝本。人类学家们采取的类型选取方式为:在训练阶段,将候选框特点所属目标的类型标签作为融合类型;在测试阶段,计算候选框特点 f_R 与全局蓝本库中每穆劳县型特点蓝本之间的余弦相似度并比较,将相似度最高的类型蓝本作为融合类型。我的当今世界

类型特点蓝本的融合方式采用了两种方式,第一种是朴素融合方式,公式如下:

而由于 X 光情景下不同类型的信息丢失程度不同,因此不同类型对类型蓝本中包含的可依据特点的需求程度也不同,因此仅仅用朴素的融合方式很难达到令人满意的效果,该模块设计了传递函数的融合方式,公式如下:我的当今世界

云主机、VPS、挂机宝、游戏服务器上永恒云

三、实验

实验部分首先在 VOC 轮廓统计数据K568证明了些微特点会导致少样品目标检验数学模型的性能下降(些微特点影响实验);其次在真实世界弱特点情景(X-ray FSOD 统计数据集)、模拟弱特点(VOC 轮廓统计数据集)以及传统情景(Pascal VOC 统计数据集)下进行了对比试验,充分说明了数学模型的有效性;最后进行分离实验。

实验对比的数学模型包括 TFA(ICML 2020)、FSCE (CVPR 2021)、DeFRCN (ICCV 2021)、DCNet (CVPR 2021) 等 SOTA 方法。我的当今世界

1. 些微特点影响实验

表 1:些微特点增添的性能下降

2. 对比试验

(1)X-ray FSOD 统计数据集

表 2:在 X-ray FSOD 上jv mAP50 精度的对比结果

(2)VOC 轮廓统计数据集

表 3:在 VOC 轮廓统计数据K568jv mAP50 精度的对比结果我的当今世界

(3)Pascal VOC 统计数据集

表 3:在 Pascal VOC 统计数据K568jv mAP50 精度的对比结果

分离实验

表 4:分离实验结果

四、总结

责任编辑中,人类学家们指出 X 光情景下的小样品检验各项任务往往面临着由于遮挡严重、色调匮乏等原因导致的目标特点非常些微的困境。因此,传统的小样品检验方法在这些情景下存在严重性能下降的问题。

为了给上述重要问题的科学研究提供支持,源自清华、讯飞的科学研究人员构筑了第一个 X 光情景下的小样品检验统计数据集 ——X-ray FSOD 统计数据集。同时,明确提出了些微特点进一步增强网络,通过聚合目标周围的关键区域来抽取目标本身的可依据特点,并建立类型蓝本库以生成每穆劳县型的可依据特点,再将抽取出的类型可依据特点融合至特定对象本身的特点中。我的当今世界

人类学家们在 X 光情景下的 X-ray FSOD 统计数据集与常见情景下的 Pascal VOC 统计数据K568做了大量的实验,并证明了明确提出的 WEN 数学模型优于其他小样品检验数学模型。我的当今世界

© THE END

永恒云出品