原創(chuàng) 劉河慶 定量群學(xué)

引言

大數(shù)據(jù)時(shí)代算法對(duì)我們個(gè)體的生活有著愈來愈重要的影響，從簡(jiǎn)歷篩選、貸款申請(qǐng)?jiān)俚叫淌滤痉ㄏ到y(tǒng)，算法都在不斷幫助人類做出決策。雖然算法在提高決策準(zhǔn)確性方面表現(xiàn)出了相當(dāng)大的潛力，但在某些情況下，算法可能會(huì)對(duì)特定社會(huì)群體(如女性、黑人)施加不公平對(duì)待。

例如隨著深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)等一系列算法的出現(xiàn)，人們發(fā)現(xiàn)本應(yīng)毫無偏見的計(jì)算機(jī)也習(xí)得了人類社會(huì)中的各種偏見。在計(jì)算機(jī)視覺領(lǐng)域，不同性別用戶發(fā)布的圖片內(nèi)容不同，導(dǎo)致視覺語義標(biāo)注中也存在性別偏見，如在廚房中的人物總是被識(shí)別為女性。對(duì)自然語言處理領(lǐng)域的研究發(fā)現(xiàn)算法不僅準(zhǔn)確復(fù)制了訓(xùn)練數(shù)據(jù)中的性別偏見，甚至還在下游應(yīng)用任務(wù)中放大了偏差(Zhao et al.， 2017)。本期推文將以詞向量算法中反映的社會(huì)偏見為例，為大家介紹目前測(cè)量以及分析算法中偏見的相關(guān)研究。

01

測(cè)量詞向量算法中的社會(huì)偏見

詞向量模型是目前眾多自然語言處理模型的重要組成部分，以word2vec模型為例，該模型將文本作為單詞序列提供給單詞嵌入層，該層將每個(gè)單詞映射為向量空間中的實(shí)數(shù)向量，從而獲得每個(gè)詞匯的向量表示?；谠~匯的向量表示，我們可以直接測(cè)量模型中的單詞或短語之間的類比或關(guān)聯(lián)，這些類比許多都是符合預(yù)期的，因此被廣泛應(yīng)用于文檔分類、問答系統(tǒng)等下游任務(wù)。如根據(jù)詞匯的向量表示可以得出等式king - man + woman = queen，實(shí)現(xiàn)單詞的類比。

圖1

然而，也有些關(guān)聯(lián)或類比可能會(huì)有問題，如Bolukbasi等人使用基于 Google 新聞?wù)Z料庫的Word2Vec模型，定量地證明了單詞嵌入在其幾何上的偏差反映了在更廣泛的社會(huì)中存在的性別刻板印象，發(fā)現(xiàn)即使訓(xùn)練數(shù)據(jù)為專業(yè)性較強(qiáng)的谷歌新聞數(shù)據(jù)，詞向量算法仍習(xí)得并放大了傳統(tǒng)關(guān)于性別的刻板印象。具體而言，作者發(fā)現(xiàn)對(duì)于訓(xùn)練完成的向量空間中，會(huì)發(fā)現(xiàn)man - woman = computer programmer – homemaker，也即如果男性對(duì)應(yīng)程序員，女性則更可能對(duì)應(yīng)家庭主婦。同時(shí)，他們也發(fā)現(xiàn)如果父親對(duì)應(yīng)醫(yī)生，那母親會(huì)對(duì)應(yīng)什么呢？訓(xùn)練完成的詞向量給出的答案是護(hù)士。

為了準(zhǔn)確量化詞向量所學(xué)習(xí)到的性別偏見，Bolukbasi等同時(shí)計(jì)算一個(gè)詞向量和一對(duì)性別特定詞的向量之間的語義距離，例如同時(shí)計(jì)算護(hù)士與父親、母親這一對(duì)性別特征詞的語義距離（類似的性別特征詞對(duì)還包括哥哥-姐姐，男商人-女商人，男孩-女孩等），這樣能準(zhǔn)確量化不同性別在向量空間中與不同職業(yè)的語義距離。如何圖1左側(cè)具體呈現(xiàn)了w2vNEWS中分別與she和he最相關(guān)（語義距離更近）的職業(yè)，可以明顯看到男性和女性相關(guān)職業(yè)的巨大差異。圖2右側(cè)展示了詞向量模型中可以與she和he類比的詞對(duì)（詞對(duì)在向量空間中余弦距離近似即為可類比），上半部分為明顯帶有性別刻板印象的詞對(duì)，下半部分為不帶有性別刻板印象的詞對(duì)。

圖2

02

詞向量除偏

如何消除或緩解算法所習(xí)得的社會(huì)偏見呢，Bolukbasi等人嘗試通過消除性別刻板印象，例如服務(wù)員和女性之間的聯(lián)系，同時(shí)保留所期望的聯(lián)系，比如女王和女性之間的關(guān)聯(lián)，來減少性別偏差。

他們區(qū)分了與性別相關(guān)的性別特定詞，如祖父，祖母、兄弟、姐妹，以及與性別不直接相關(guān)的性別中性詞。此后，他們確定了兩個(gè)正交維度，即性別特定詞與性別中性詞間的差別，進(jìn)而通過折疊性別中立的方向去除性別中性詞和性別的關(guān)聯(lián)。也即是說作者將doctor或nurse等性別中性詞通過移動(dòng)其在向量空間中的位置來減少或是消除他們的性別歧視趨勢(shì)。以圖3為例，圖中上半部分代表在向量空間中有性別偏見的中性詞，其中左側(cè)的詞匯跟女性語義距離更近，右側(cè)的詞匯跟男性的語義距離更近，作者通過將左側(cè)和右側(cè)的詞匯向中間移動(dòng)來達(dá)到減少詞向量模型中性別偏見的目的。

圖3

03

討論

算法經(jīng)常被質(zhì)疑的一個(gè)點(diǎn)是其根據(jù)人們過往的行為數(shù)據(jù)或人們所在群體過往的行為數(shù)據(jù)來進(jìn)行決策，這往往會(huì)強(qiáng)化傳統(tǒng)的群體間的不平等。從本期所推薦的文章可以看到，除行為數(shù)據(jù)外，算法也可以直接學(xué)習(xí)到現(xiàn)實(shí)社會(huì)關(guān)于不同群體的刻板印象。詞向量作為當(dāng)前眾多自然語言處理任務(wù)的底層訓(xùn)練模型，因其能準(zhǔn)確學(xué)習(xí)詞匯間的語義關(guān)系而得到廣泛應(yīng)用，但另一方面也會(huì)導(dǎo)致基于詞向量模型所得到的詞匯的向量表示，不僅復(fù)制了訓(xùn)練數(shù)據(jù)中的性別偏見，甚至還在下游應(yīng)用任務(wù)中放大了偏差。

本期所推薦的文章從技術(shù)角度對(duì)如何消除或緩解算法所習(xí)得的社會(huì)偏見進(jìn)行了研究，后續(xù)也有研究進(jìn)一步從模型改進(jìn)、提高訓(xùn)練數(shù)據(jù)質(zhì)量等角度進(jìn)一步嘗試消除或緩解算法中的偏見，這些研究從表面上減少或隱藏了算法中的偏見，但這種偏見的隱藏在現(xiàn)實(shí)實(shí)踐中究竟是否起作用，如何更好的平衡算法的公平與效率仍是需要我們不斷思考的問題。

參考文獻(xiàn)

Bolukbasi, T., Chang, K. W., Zou, J. Y., Saligrama, V., & Kalai, A. T. (2016). Man is to computer programmer as woman is to homemaker? debiasing word embeddings. Advances in neural information processing systems, 29, 4349-4357.

Zhao, J., Wang, T., Yatskar, M., Ordonez, V., & Chang, K. W. (2017). Men also like shopping: Reducing gender bias amplification using corpus-level constraints. arXiv preprint arXiv:1707.09457.

原標(biāo)題：《算法習(xí)得并強(qiáng)化了人類偏見嗎——如何測(cè)量、分析算法中的偏見》

閱讀原文