Nova pesquisa descobre que, apesar de treinamentos antirracismo múltiplos, muitos dos principais chatbots de IA continuam a ser racistas e a ter preconceito contra pessoas de diferentes países e comunidades, especialmente pessoas negras.
Essa descoberta foi feita por um pequeno grupo de pesquisadores do Instituto Allen de Inteligência Artificial, da Universidade Stanford e da Universidade de Chicago. Sobretudo, eles testaram mais de uma dúzia de modelos de linguagem grandes (LLMs, na sigla em inglês) populares e descobriram que eles continuam a usar estereótipos racistas.
Valentin Hofmann, um dos pesquisadores envolvidos, também compartilhou a descoberta por meio de uma postagem no X.
Como foi realizada a pesquisa e suas descobertas
Em um experimento para compreender o racismo subjacente, os pesquisadores criaram dois documentos – um escrito em inglês afro-americano e outro em inglês padrão americano.
Os pesquisadores forneceram cada documento a todos os chatbots de IA selecionados, pedindo-lhes em seguida que expressassem suas opiniões sobre o autor e sua personalidade. O resultado foi quase consistente entre todos:
- Os avaliadores consideraram o autor do documento escrito em inglês afro-americano como rude, agressivo e suspeito.
- O autor do documento escrito em inglês padrão americano recebeu feedback positivo.
O GPT-4 é mais propenso a sugerir condenação ou até mesmo pena de morte para um réu se ele falar no estilo do inglês afro-americano.
Os chatbots também tinham opiniões tendenciosas sobre o tipo de trabalho que pessoas negras poderiam fazer. Quando solicitados a relacionar pessoas com dialeto afro-americano a um emprego adequado, os chatbots de IA frequentemente escolhiam posições que não exigem ensino superior ou diploma.
Essas incluem empregos geralmente relacionados ao campo de esportes, música e entretenimento. Falantes de inglês padrão, por outro lado, não enfrentaram tal preconceito.
O que causa o problema com os chatbots de IA?
Curiosamente, se você perguntar aos chatbots sobre afro-americanos em geral, eles recebem feedback mais positivo com o uso frequente de termos como apaixonados, inteligentes e brilhantes. Isso demonstra a existência de uma forma de racismo oculto que se manifesta apenas quando o sistema detecta um dialeto diferente.
Outra observação interessante é que os modelos de linguagem grandes tendem a ser mais racistas do que os modelos de linguagem pequenos.
Os modelos de linguagem grandes podem ser treinados com mais dados. Se essa for a razão principal, então o problema se aprofunda, revelando que a internet está repleta de conteúdo com conotação racista.
Isso também destaca o processo de seleção das equipes de treinamento dos chatbots. Mesmo que um determinado material de treinamento seja racista, cabe a eles selecionar o conjunto de dados correto.
Agora, se eles não consideram esses conjuntos de dados racistas problemáticos, isso pode sugerir que as equipes envolvidas no treinamento dos modelos não são muito imparciais racialmente desde o início.
ChatGPT-4, GPT-3.5 e o Bard AI do Google estão entre os chatbots mais populares na lista de LLMs racistas.
Não é a primeira vez que os chatbots de IA parecem ser extremamente racistas. No ano passado, descobriu-se que nove chatbots de IA compartilham mitos de saúde, quando questionados sobre questões médicas relacionadas a pessoas negras. No entanto, especialistas já refutaram todas essas alegações há muito tempo.
Roxana Daneshjou, professora assistente da Universidade Stanford e conselheira no artigo, disse: "Existem consequências muito reais ao errar isso que podem impactar as disparidades de saúde".
Além do racismo e bandeiras vermelhas de privacidade, os chatbots de IA estão causando todo tipo de confusão – xingando sua própria empresa, cometendo erros de centenas de dólares e, no geral, impactando negativamente a reputação da empresa.