測試作弊，百度人工智能被禁賽一年

5月份的時候，雷鋒網(wǎng)曾報道，百度超級計算機Minwa在計算機視覺挑戰(zhàn)賽（ILSVRC）上取得了“世界最好的成績”，他們的系統(tǒng)在測試ImageNet分類數(shù)據(jù)集中的錯誤率僅為4.58%，擊敗了谷歌、微軟等競爭對手。

而在6月2日，ILSVRC的組織者指出，百度在測試過程中作弊，測試的頻率遠超規(guī)定次數(shù)。ImageNet允許參賽方每周提交兩組測試結果。然而，百度在3月份的5天內(nèi)提交了逾40次測試結果。據(jù)了解，負責這個項目的并不是來自百度深度學習研究院IDL的科學家，而是百度美國研發(fā)中心的異構計算研究團隊。對此，百度承認違規(guī)行為，并且已經(jīng)就此事道歉。

曾在ImageNet測試中獲勝的人工智能公司Clarifai CEO Matthew Zeiler表示：

“這種做法十分糟糕，這正是為什么要將測試數(shù)據(jù)獨立服務器上，并限制訪問次數(shù)的原因。如果你知道了測試數(shù)據(jù)，你就會修改你的模型參數(shù)，怎么優(yōu)化都可以。” 

目前，ImageNet組織方已經(jīng)要求百度停止在明年提交ImageNet測試成績。 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。