第649章 玉泉路扛把子登顶榜首（1 / 2）

会议室里再次陷入了沉默。

一个没有任何机构背景，用着中国大众邮箱，名字极其随意的队伍，直接把当前计算机视觉的最高记录翻了一倍。

这听起来就像是一个拙劣的愚人节玩笑。

但数据偏偏是铁打的事实。

「有没有可能是我们自己团队的谁，不小心把内部测试的某个超前结果传上去了？」李飞飞抛出了第一个假设。

约翰直接摇头。

「不可能，李老师。」约翰苦笑，「我们团队现在最好的模型，昨天晚上刚跑完一轮，Top-1才刚过30%。连人家的尾灯都看不到。这结果跟我们完全不在一个量级上。」

「那会不会是测试集的标注答案泄露了？」大卫提出了第二个假设，「如果是有人拿到了标准答案，直接把答案改个名字上传，也能得到这个分数。甚至可以故意答错一些，控制在60%左右，避免百分之百太显眼。」

李飞飞立刻看向陈冉。

「陈冉，联系ImageNet项目的数据管理员，调取测试集所在的最高权限访问日志。我要看从发布到现在的所有记录。」

陈冉立刻拿起手机开始打电话。

会议室里的气氛压抑得让人喘不过气。

如果真的是测试集泄露，那整个ImageNet项目的公信力将遭到毁灭性的打击。

十分钟后，数据管理员把日志文件发了过来。

陈冉打开文件，快速浏览。

「没有泄露。」陈冉指着屏幕上的记录，「日志显示，测试集从发布到现在，只有三个经过授权的内部高级帐号下载过。而且这三次下载记录，都是在项目启动初期为了做本地环境配置。最近三个月内，没有任何人访问过测试集原始数据所在的安全分区。」

「黑客攻击呢？」大卫追问。

「防火墙没有报警记录。」陈冉说，「而且我们的测试集伺服器是不对公网开放的物理隔离节点，想要拿到数据，除非有人亲自跑到机房拔硬碟。」

假设再次被推翻。

「既然不是答案泄露，那这就见鬼了。」约翰双手抱头，「如果不是作弊，那这个正确率意味着什么？」

大卫看着电脑屏幕上的乱码发呆。

「意味着他们用的方法，已经跟我们不在同一个理论框架里了。」大卫说。

「陈冉，你最了解中国那边的情况。」

李飞飞问，「会不会是中国那边找了大量的人力，对着测试集一张一张标注出来的？重赏之下必有勇夫，为了那三万美元的奖金，这种人海战术在理论上是可行的。」

陈冉还没说话，约翰先反驳了。

「这绝对不可能。」约翰语气坚定。

「为什么？」陈冉问。

「ImageNet的分类不是区分猫和狗那么简单。」约翰语速飞快，「李老师，您忘了测试集的分类都是什么吗，一百二十种不同的狗！普通的数据标注工，哪能分得清诺威奇梗和凯恩梗？哪能分得清阿拉斯加雪橇犬和西伯利亚哈士奇在模糊背景下的区别？」

约翰指着屏幕上的一个分类标签。

「再看看植物类，普通标注工能看出一张带点反光的叶子到底是哪种蕨类植物吗？这需要专业的生物学知识！普通人盯着看一天也分不出个所以然。」

约翰越说越激动。

「要达到接近六成的Top-1准确率，他们不仅需要找人看，还需要找动物学家丶植物学家丶汽车型号鉴定专家一起来看！普通人根本做不到这种精度，更不用说还要保证几千张图片的一致性了。」

大卫在旁边跟着点头。

「我算一笔经济帐。」大卫补充说，「如果他们真的用人力标注，要请这么多专家来会诊十五万张图片，还要保证绝对的保密不走漏风声，这个成本早就远远超过了三万美元的奖金。逻辑上完全说不通。没有人会花三十万美元去赚三万美元。」

人海战术的假设也被彻底推翻。

李飞飞深吸了一口气。

「参赛系统是允许参赛队伍提交论文和源码的，对吧？」李飞飞问。

「对，这是选填项。」陈冉点头。

「我们看一下他们的详情页。」李飞飞说。

四个人同时点进「玉泉路扛把子」这个ID的提交详情页。