信用評分演算法對兩種種族/性別群體的預測結果的差異是否在資料收集過程或演算法本身中造成偏差?
我認為信用評分結果的差異既是資料問題, 也是演算法偏差. 我們先來看一下資料集中的偏差. 我認為該模型本身就是一個黑<unk>子, 這種模式並不歧視外籍工人,女性或年輕人, 但模型所使用的資料集充滿了社會所造成的偏見. 社會規範將女性視為無能,外籍勞工視為不可信任,年輕人視為缺乏經驗, 他們的歷史性債務不履行可能性較高, 刻板印象使得資料集有偏見, 這反過來又會偏向演算法:因為目標是最大限度地提高預測準確性, 模型會學習資料集中的"模式", 並將社會所造成的差異作為預測演算法的一部分. 畢竟這個模型只限於"歷史", 我們有"垃圾入,垃圾出"的情景,  我認為這些結果的差異仍是演算法偏差. 我們仍可以"責怪"模型必須滿足的目標和限制 (即使是我們人類首先提出的目標和限制). 整個預測/預測演算法是建立在歷史資料集上的, <unk> 如果我們能辨別由社會所創造的神話 (弱小的女性,無謀的年輕人,仇外) 造成的惡性迴圈, 我們將模型編輯成最佳化目標, 為瞭解決指標中固有的偏差, 我們會在某個決定邊界內拒絕預測的減輕技術. 我們是否能加上一些限制, 沒有這些限制, 我會說結果的差異也在客觀的說明部分構成演算法偏差.