用AI分析姓名識別男女，Genderify為啥被罵到服務下線？

上周剛面世的一項服務Genderify，號稱能通過AI分析姓名、用戶名或電郵地址來判斷某人性別，結果因為算法偏差實在離譜，在社交媒體上引起了廣泛關注。

我們來看看Genderify的一小部分“成績單”：

輸入“Meghan Smith”，評估結果為“男性：39.60%，女性：60.40%”；

但輸入“Dr.Meghan Smith”，評估就會變為：“男性：75.90%，女性：24.10%”。

其他名字加上“Dr”，也會讓系統給出更偏向男性的結果。

有網友試著輸入了一些單詞或名人姓名，Genderify也表現得令人失望：

比如輸入“scientist”，評估結果為“男性：95.7%，女性：4.3%”；

輸入“Oprah Winfrey”（美國著名脫口秀女主持），評估結果為“男性：78.3%，女性：21.7%”；

Genderify的首席運營官Arevik Gasparyan是一名女性，但系統連自家高管都不認得，給出了“男性：91.2%，女性：8.8%”的結果。

群眾抗議情緒之強烈，已經迫使Genderify徹底關閉了這項服務，網站現已脫機，其免費API也無法再訪問。

一位代表通過電子郵件向媒體回應：“如果大家不想要，這樣的結局也許是公平的。”

盡管類似的性別偏見經常出現在機器學習中，但Genderify這種“不過大腦”的程度似乎讓該領域的許多專家感到驚訝。Meredith Whittaker是紐約大學 AI Now的聯合創始人，專注研究AI對社會造成的影響，她的反應就非常典型：“科技圈的愚人節來了？這是一種干擾科技與司法世界的心理戰嗎？”

為什么Genderify會引發大規模吐槽？就因為它根據某人的名字對其性別做出假設？并非如此。業界指出，其實人類也會通過名字猜性別，有時也會在這個過程中犯錯誤，這就需要了解人們的自我認同感，思考對方希望得到怎樣的稱呼，才能降低冒犯對方的可能。

Genderify的問題在于，它自動化了這些假設，顯得太過“想當然”了，加深了這個過程中的性別刻板印象。比如前文提到的，在名字前加Dr.的情況，意味著系統認為：如果你是醫生，那你大概率是個男人。

雖然創始人Arevik Gasparyan強調這是一個用于營銷的數據分析工具，但有觀點認為，它在特定的應用方式和地點下，會出現潛在危害。

例如這項服務被集成到醫療聊天機器人中，它對用戶性別的假設，可能會導致聊天機器人發出誤導性的醫療建議。

用戶們對產品的性別歧視色彩表示擔憂，有提問稱：“如果我選擇了既不是男性也不是女性，你如何處理這個問題？你如何避免性別歧視？你是如何處理性別偏見的？”

對此，Gasparyan稱，服務是基于“已經存在的姓名/性別數據庫”，公司也“正在積極尋求解決辦法，以改善跨性別者等群體的用戶體驗”，試圖將姓名/用戶名/電子郵件的概念與性別身份區分開來。

一位代表也通過電子郵件給出了較為詳細的回應：

“我們明白，我們的模型永遠不會提供理想的結果，算法需要顯著改進。為了讓它更好地發揮作用，我們非常期待LGBTQ等群體的反饋，以協助我們盡可能地改進性別分析算法。我們的目標是建立一個自學習的人工智能，它將不會像任何現有的解決方案那樣帶有偏見。”

雷鋒網編譯，參考來源：

https://www.theverge.com/2020/7/29/21346310/ai-service-gender-verification-identification-genderify

https://baijiahao.baidu.com/s?id=1673625518588393349&wfr=spider&for=pc

雷鋒網雷鋒網雷鋒網

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。