信用評分演算法的兩個種族/性別群體之間的預測結果差異是否構成資料收集過程中的偏差或演算法的偏差?
我認為信用評分結果的差異既是資料問題,也是演算法偏差. 讓我們先來看一下資料集中的偏差. 我認為模型本身就是一個黑<unk>子, 產生出口來實現某些目標. 對於信用評分來說, 目標是準確性,回憶力和違約風險預測的精度. 這種未經訓練的模式不歧視外籍工人,婦女或年輕人:事實上,它不像人類那樣對這些 (社會構造的) 標籤進行認知. 儘管如此, 模型訓練的資料集卻充滿了社會構造的偏見. 例如,社會規範將女性視為無能者,外國工人視為不可信賴者,年輕人視為缺乏經驗者,導致這些群體的失業率上升,生活條件惡化. 它們在過去更高的違約概率不太可能源於人口學相關的能力差異, 而是社會刻板印象所產生的惡性迴圈. 刻板印象使資料集偏見,反過來又會偏見演算法:考慮到最大化預測準確性的目標,模型學習資料集中的"模式",並將社會構建的差異作為其預測演算法的一部分. 畢竟,這個模型只限於"歷史", 沒有對歷史上受歧視群體潛力的想象能力. 基本上我們有一個"垃圾進來,垃圾出去"的場景,  另一方面,我認為結果差異仍然構成演算法偏差. 我認為我們仍然可以"責怪"模型必須實現的目標和約束 (即使我們人類首先設定了它們). 如上所示,用準確度作為評估指標,整個基於歷史資料集的預測/預測演算法旨在重複歷史,而不需要尋找潛在的或挑<unk>的社會規範. <unk> 如果我們能辨別出由社會製造的神話 (弱小的女性,魯<unk>的青年和仇外心理) 創造和再現的惡性迴圈, 一個積極學習和傳播某些社會刻板印象的模型肯定應該因其偏見而受到譴責! 然而,我們在模型中設定了優化這些目標的方法, 為了解決指標中固有的偏差, 我們人類負責修改目標並新增適當的約束. 例如,在程式設計任務中,我們遇到緩解技術, 拒絕在特定決策邊界內的預測. 除了積極拒絕等技術之外, 我們還可以增加限制, 如果沒有這些約束, 我會說結果差異也構成物件規範部分的演算法偏差.