AI翻譯存在歧視?這里是我們的測試
長假期間,www.twshmhelmet.com,Twitter上有個消息火爆一時。
吶,就是下面這張圖了。
這張圖被當做AI有歧視的證據。簡而言之,神經網絡在背后提供支持的Google翻譯,在把一句性別中立的語言(此處是土耳其語)翻譯成英文時,會出現非性別中立的情況;蛘哒f,Google翻譯會猜測主語的性別。
在這個案例中,庫卡機器人驅動器維修,Google翻譯的結果是:
她是一個保姆
他是一個醫生
這條Twitter獲得了上萬的轉發,也引發了本文作者JecelynYeen的注意。Jecelyn是馬拉西亞華人,所以她用馬來語和中文進行了幾次測試,其中馬來語是性別中立的語言,而中文是混合的。
下面咱們看看她的測試。
馬來語測試
這是一個簡單的三級測試,測試對象是Google翻譯和微軟翻譯。
Level1:不交代語境
馬來語->英語
Google翻譯和微軟翻譯都給出同樣的結果,如圖所示:
Level2:交代語境
這次特意在前一句中交代了性別。不過沒什么用,測試結果同上。
Level3:句號換逗號
這次有一個微小的調整,兩個句子之間的連接,使用了逗號,代替了句號。
結果顯示:Google翻譯更勝一籌,完美地翻譯對了主語的性別。
但是微軟翻譯表現不佳,第二句話還是沒有翻譯對。
中文測試
大多數情況下,中文的代詞一般都表明了性別,所以翻譯結果相對準確。
測試結果略。
所以,這是個問題么?
人工智能(AI)存在性別偏見么?我覺得不是。AI從數據中學習,給予人類設計的模型返回更符合邏輯的結果。所以,我認為機器翻譯在統計學上是正確的。數據如下。
比方說上述測試中提到的程序員(Programmer)。來自StackOverflow今年的數據顯示,參與調查的開發者或程序員中有88.8%是男性。
還有護士(Nurse)。網站Minoritynurse的數據顯示,其上282萬注冊護士中,只有9.1%為男性。
從這個角度講,AI給出的翻譯結果是有道理的。
但對我來說,這是一個問題,是一個需要改進的方面,庫卡機器人驅動器維修,統計學上的正確并不意味著它是正確的。
那么如何改善?
坦白講我不知道。
CharlesWheelan在《赤裸裸的統計學》一書中,談到了統計歧視和理性歧視。他提到即便我們建了一種模型,能以80%的正確率識別出毒販,那還有20%無辜的人會被反復騷擾。我們有時計算正確,但卻導向了一個危險的方向。