被谷歌開除半年后，米切爾加入初創(chuàng)公司Hugging Face

瑪格麗特·米切爾 (Margaret Mitchell) 于 4 月在華盛頓州西雅圖市

攝影師：Chona Kasinger/彭博社

雷鋒網(wǎng)8月25日消息，谷歌Ethical AI人工智能倫理研究小組前負(fù)責(zé)人瑪格麗特·米切爾(Margaret Mitchell)將加入人工智能創(chuàng)業(yè)公司Hugging Face，幫助企業(yè)開發(fā)確保其算法公平的工具。她因與他人合著的一篇重要論文引起爭議而在今年2月被谷歌解雇。

Hugging Face有何吸引力？

Hugging Face 是一家總部位于紐約的聊天機(jī)器人初創(chuàng)服務(wù)商，專注于NLP技術(shù)，擁有大型的開源社區(qū)。尤其是在github上開源的自然語言處理，預(yù)訓(xùn)練模型庫 Transformers，已被下載超過一百萬次，github上超過24000個star。Transformers 提供了NLP領(lǐng)域大量state-of-art的預(yù)訓(xùn)練語言模型結(jié)構(gòu)的模型和調(diào)用框架。

Transformers最早的名字叫做pytorch-pretrained-bert，推出于google BERT之后。顧名思義，它是基于pytorch對BERT的一種實(shí)現(xiàn)。pytorch框架上手簡單，BERT模型性能卓越，集合了兩者優(yōu)點(diǎn)的pytorch-pretrained-bert吸引了大批的追隨者和貢獻(xiàn)者。

其后，在社區(qū)的努力下，GPT、GPT-2、Transformer-XL、XLNET、XLM等一批模型也被相繼引入，整個家族愈發(fā)壯大，這個庫更名為pytorch-transformers。

2019年6月Tensorflow2的beta版發(fā)布，Huggingface實(shí)現(xiàn)了TensorFlow 2.0和PyTorch模型之間的深層互操作性，可以在TF2.0/PyTorch框架之間隨意遷移模型。之后也發(fā)布2.0版本,并更名為 transformers 。到目前為止，transformers 提供了超過100+種語言的，32種預(yù)訓(xùn)練語言模型。

Hugging Face維護(hù)著一個存儲庫，人們可以在儲存庫中共享AI模型并進(jìn)行合作。這是一個開放源代碼平臺，目前已經(jīng)有5000多家機(jī)構(gòu)使用，其中包括谷歌、Facebook、和微軟。米切爾計劃在10月份啟動，并將首先開發(fā)一套工具，以確保用于訓(xùn)練人工智能算法的數(shù)據(jù)集不存在偏見。目前用于“教導(dǎo)”模型如何進(jìn)行預(yù)測或確定的數(shù)據(jù)集，通常因為原始數(shù)據(jù)的不完整會導(dǎo)致AI軟件在女性、少數(shù)群體成員還有老年人中表現(xiàn)不佳。

米切爾和Hugging Face已經(jīng)建立了關(guān)系，因為為了確保模型的公平性，Hugging Face建議工程師和科學(xué)家在發(fā)布項目時使用米切爾在谷歌開發(fā)的名為“Model Cards”的工具來評估人工智能系統(tǒng)，以揭示優(yōu)缺點(diǎn)。Hugging Face首席執(zhí)行官兼聯(lián)合創(chuàng)始人克萊門特·德蘭吉（Clement Delangue）表示，放在Hugging Face上的20000個項目中，約有四分之一使用了Model Cards工具。

Hugging Face 在其 50 人的員工中還有幾位人工智能倫理專家，但 CEO 德蘭格（Delangue ）計劃讓所有員工對這項工作負(fù)責(zé)并努力。

德蘭格表示：“我們不想建立一個輔助的人工智能倫理團(tuán)隊，而是真正讓它成為公司的核心，并確保它真正融入每個人的工作。米切爾不會建立一個由少數(shù)人組成，只是偶爾提供咨詢的團(tuán)隊。”

米切爾在一次采訪中表示，在用軟件評估人工智能系統(tǒng)方面，"要用非常嚴(yán)肅和積極的態(tài)度去工作。“這對我來說是一個非常好的機(jī)會，可以幫助模型構(gòu)建者更好地理解他們正在構(gòu)建的模型的危害和風(fēng)險。”

米切爾在從谷歌離職后表示，她希望在一家規(guī)模較小的公司工作，這樣可以從一開始就將人工智能倫理納入在考慮內(nèi)。她說，在Hugging Face中，“已經(jīng)有很多基本的道德價值觀”?！昂苊黠@，我不必強(qiáng)行插手或改進(jìn)倫理流程?！?/span>

米切爾究竟為何被解雇？

米切爾的解雇源于谷歌人工智能倫理研究團(tuán)隊的動蕩。去年，谷歌公司就解雇了該團(tuán)隊的另一位聯(lián)合負(fù)責(zé)人蒂姆尼特·格布魯(Timnit Gebru)，原因是她拒絕撤回與米切爾等人共同撰寫的一篇論文，這篇文章涉及到對谷歌技術(shù)的批評。Gebru離職后，作為團(tuán)隊剩余負(fù)責(zé)人的米切爾公開強(qiáng)烈批評谷歌及其管理層，指責(zé)谷歌未能認(rèn)真對待對其人工智能產(chǎn)品的問題，以及解雇Gebru的做法，因為Gebru是人工智能研究領(lǐng)域為數(shù)不多的杰出黑人女性之一。谷歌則表示， Gebru 已辭職，Mitchell 違反了谷歌的行為準(zhǔn)則和安全政策。

谷歌的員工對其處理此事的方式表示憤慨，今年早些時候，對十多名現(xiàn)任和前任員工以及人工智能學(xué)術(shù)研究人員的采訪表明，在兩年多的時間里谷歌的人工智能的工作，在處理騷擾、種族主義和性別歧視指控方式上一直陷于爭議之中。

提到這篇論文，大致集中攻擊了大規(guī)模語言模型（如BERT）的消極影響，而BERT模型是谷歌的王牌AI產(chǎn)品之一。

這篇論文名為《On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?》。

據(jù)了解，這篇論文基于其他研究人員的工作，參考了128篇學(xué)術(shù)文獻(xiàn)，展示了自然語言處理的發(fā)展歷史與大型語言模型的四大危害，呼吁對語言模型進(jìn)行更深入的研究。

這四大危害包括：

1、訓(xùn)練大型AI模型會消耗大量能源；（訓(xùn)練一個BERT模型大約會產(chǎn)生1,438磅二氧化碳，相當(dāng)于在紐約與舊金山之間的一次往返航班所產(chǎn)生的碳排放量。）

2、大型語言模型是基于大量文本進(jìn)行訓(xùn)練，無法避免偏見的存在，包括那些涉及種族歧視的、具有性別歧視色彩的與其他虐待性的語言；

3、大型語言模型無法理解語言，但公司由于利益關(guān)系會加大這方面的投入，從而帶來機(jī)會成本；

4、由于大型語言模型非常擅長模仿真實(shí)的人類語言，所以很容易被用來欺騙人類。

谷歌在許多基礎(chǔ)研究上遙遙領(lǐng)先，這帶來了大型語言模型的最新爆炸式增長。如果真的如論文所說大規(guī)模語言模型“危害大于利益”，而谷歌解雇一系列人員，那對這件事的態(tài)度也就不言而喻了?；蛟S從這個角度就能理解米切爾加入Hugging Face的原因了。

（公眾號：雷鋒網(wǎng)）雷鋒網(wǎng)

參考資料

https://www.bloomberg.com/news/articles/2021-08-24/fired-at-google-after-critical-work-ai-researcher-mitchell-to-join-hugging-face

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。