هل يمثل الاختلاف في نتائج التنبؤ بين مجموعتين عرقيتين/جنسين من خوارزمية تقدير الائتمان تحيزًا في عملية جمع البيانات أو الخوارزمية نفسها؟
أنا أجادل بأن الاختلافات في نتائج تقييم الائتمان تشكل على حد سواء قضية بيانات وتحيز الخوارزمي. دعونا أولاً ندرس التحيز في مجموعة البيانات. أنا أفكر في النموذج نفسه كصندوق أسود الذي يولد نتائج لتحقيق أهداف معينة <unk> في حالة تقييم الائتمان، الهدف هو دقة، واستدعاء، ودقة التنبؤات مخاطر التخلف عن السداد. النموذج في نسخته غير المدربة لا يميز ضد العمال الأجانب أو النساء أو الشباب: في الواقع ، فإنه لا يتصور هذه التسميات (المصممة اجتماعيا) بالطريقة التي يقوم بها البشر. ومع ذلك، فإن مجموعة البيانات التي يتم تدريب النموذج عليها مليئة بالتحيزات التي تم بناؤها اجتماعياً. فعلى سبيل المثال، تعتبر المعايير الاجتماعية النساء غير قادرات، والعمال الأجانب غير جديرين بالثقة، والشباب عديمي الخبرة، مما يؤدي إلى ارتفاع معدل البطالة وأسوأ الظروف المعيشية لهذه المجموعات. ونتيجة لذلك، فإن احتمال ارتفاع الإخفاق التاريخي ينبع على الأرجح أقل من الاختلافات في القدرات المرتبطة بالتركيبة السكانية من الدورات الشريرة الناتجة عن الصور النمطية الاجتماعية. تعطي النماذج النمطية مجموعات البيانات منحازة ، والتي بدورها تحيز الخوارزميات: بالنظر إلى الهدف المتمثل في زيادة دقة التنبؤ ، يتعلم النموذج "الأنماط" في مجموعة البيانات ويمتص الاختلافات المبنية اجتماعياً كجزء من خوارزمية التنبؤ الخاصة به. هل يمكن أن نلوم الخوارزمية؟ <unk> بعد كل شيء، النموذج مقيد بـ <unk> التاريخ<unk> وليس لديه قدرة تخيلية على إمكانات المجموعات التي تعرضت للتمييز التاريخي. في الأساس لدينا سيناريو "القمامة في، القمامة خارج" ناجم عن التحيز التاريخي والتمثيلي في مدخلات البيانات.  من ناحية أخرى، أنا أجادل بأن الاختلافات في النتائج لا تزال تشكل تحيزًا خوارزميًا. أعتقد أنه لا يزال بإمكاننا "إلقاء اللوم" على النموذج بسبب الأهداف والقيود التي يتعين عليه الوفاء بها (على الرغم من أننا البشر وضعناها في المقام الأول). كما هو موضح أعلاه ، مع الدقة كمقياس للتقييم ، فإن خوارزمية التنبؤ / التنبؤ بأكملها المبنية على مجموعات البيانات التاريخية تهدف إلى تكرار التاريخ دون البحث عن المعايير الاجتماعية المحتملة أو المتميزة. هل الهدف من تحقيق أقصى قدر من الدقة يشكل تحيزًا في حد ذاته؟ <unk> إذا كان بإمكاننا تمييز الدورة الشريرة التي تم إنشاؤها من خلال الأساطير التي تم صياغتها اجتماعيًا (النساء الضعيفة والشباب المتهورين وكراهية الأجانب) ، فإن النموذج الذي يتعلم بنشاط وينشر أنواع معينة من الصور النمطية المجتمعية يجب أن يُدعى بالتأكيد بسبب تحيزه! ومع ذلك، فإننا نقوم بتعزيز النماذج لتحسين هذه الأهداف، وللتصدي للتحيز المتأصل في المقاييس، نحن البشر مسؤولون عن تعديل الأهداف وإضافة القيود المناسبة. على سبيل المثال، في مهمة البرمجة نقابل تقنية التخفيف التي ترفض التنبؤات داخل حدود قرار معينة. بالإضافة إلى تقنيات مثل الرفض النشط، هل يمكننا إضافة قيود مثل تعزيز نمو الفئات المحرومة كهدف؟ بدون هذه القيود ، أود أن أقول أن الاختلافات في النتائج تشكل أيضًا تحيزًا خوارزميًا في جزء المواصفات الموضوعية.