¿Una diferencia en los resultados de predicción entre dos grupos étnicos/género a partir de un algoritmo de puntuación crediticia constituye un sesgo en el proceso de recopilación de datos o en el propio algoritmo?
Sostengo que las diferencias en los resultados de la calificación crediticia constituyen tanto un problema de datos como un sesgo algorítmico. Examinemos primero el sesgo en el conjunto de datos. Pienso en el propio modelo como una caja negra que genera resultados para cumplir determinados objetivos -en el caso de la calificación crediticia, el objetivo es la exactitud, la recuperación y la precisión de las predicciones del riesgo de impago-. El modelo en su versión no entrenada no discrimina a los trabajadores extranjeros, las mujeres o los jóvenes: de hecho, no concibe estas etiquetas (socialmente construidas) como lo hacen los humanos. Sin embargo, el conjunto de datos sobre el que se entrena el modelo está plagado de sesgos socialmente construidos. Por ejemplo, las normas sociales tachan a las mujeres de incapaces, a los trabajadores extranjeros de indignos de confianza y a los jóvenes de inexpertos, lo que conlleva una mayor tasa de desempleo y peores condiciones de vida para estos grupos. Es menos probable que su mayor probabilidad histórica de impago se deba a las diferencias de capacidad relacionadas con la demografía que a los círculos viciosos generados por los estereotipos sociales. Los estereotipos hacen que los conjuntos de datos estén sesgados, lo que a su vez sesga los algoritmos: dado el objetivo de maximizar la precisión de la predicción, el modelo aprende los "patrones" del conjunto de datos y absorbe las diferencias construidas socialmente como parte de su algoritmo de predicción. ¿Podemos culpar al algoritmo? - Al fin y al cabo, el modelo está limitado a la "historia" y no tiene capacidad imaginativa para el potencial de los grupos históricamente discriminados. Esencialmente, tenemos un escenario de "basura entrante, basura saliente" causado por los sesgos históricos y de representación en las entradas de datos.

Por otra parte, sostengo que las diferencias de resultados siguen constituyendo un sesgo algorítmico. Creo que aún podríamos "culpar" al modelo de los objetivos y limitaciones que tiene que cumplir (aunque los humanos los establezcamos en primer lugar). Como se ha ilustrado anteriormente, con la precisión como métrica de evaluación, todo el algoritmo de predicción/pronóstico construido sobre conjuntos de datos históricos tiene como objetivo repetir la historia sin buscar el potencial ni discernir las normas sociales. ¿Constituye el objetivo de maximizar la precisión un sesgo en sí mismo? - Si podemos discernir el círculo vicioso que crean y reifican los mitos creados socialmente (mujeres débiles, jóvenes imprudentes y xenofobia), ¡un modelo que aprende y propaga activamente ciertos tipos de estereotipos sociales debería ser denunciado por su sesgo! Sin embargo, cableamos los modelos para optimizar esos objetivos, y para abordar el sesgo inherente a las métricas, los humanos somos responsables de modificar los objetivos y añadir las restricciones apropiadas. Por ejemplo, en la tarea de programación nos encontramos con la técnica de mitigación que rechaza las predicciones dentro de un determinado límite de decisión. Además de técnicas como el rechazo activo, ¿podemos añadir restricciones como promover el crecimiento de los grupos desfavorecidos como objetivo? Sin estas restricciones, yo diría que las diferencias de resultados también constituyen un sesgo algorítmico por parte de la especificación de objetivos.