云从科技此前披露的一项视觉研究中,基于视觉基础大模型的目标检测器在COCO测试集上的平均精度(mAP)达到0.662,位列当时榜单第一。报道提到,团队与微软研究院(MSR)、上海人工智能实验室、智源人工智能研究院等研究机构同场比较。

同一研究还报告了验证集结果:单尺度mAP为0.656,多尺度测试时增强(TTA)后达到0.662。测试集与验证集的数据不同,报道分别列出了两组结果。

团队介绍,云从视觉基础大模型使用超过20亿的数据,包括大量无标签数据集和图文多模态数据集。研究还对自监督学习算法作了多方面改进,使其更适用于检测、分割等细粒度任务。这些内容构成报道对目标检测成绩背后数据与方法的说明。

报道也谈到开放目标检测和零次学习检测:从容大模型能够基于大规模图文多模态数据训练,支持上千类别目标的zero-shot检测,覆盖能源、交通和制造等行业。零次学习的例子是根据已有类别知识与文字描述,寻找具备相应特征的新对象。

这项工作把目标检测精度、视觉基础模型训练和开放类别识别放在同一研究脉络中。COCO上的0.662是其中明确列出的评测数据;数据规模与自监督算法则是团队介绍的研究基础。