以下は、MLのバイアスに対処するために実装できる手法とプロセスの一部です。

匿名化と直接キャリブレーション：
保護されたクラスの明確なマーカーを除外しているように、ドキュメントが処理されたときに名前と性別の代名詞をドキュメントから削除することは、良い最初のステップです。これは重要なスタートですが、完全な解決策ではありません。これらの信号は、完全に解くことが不可能な多くの場所にまだ表示されます。調査によると、バイアスは単語間の2次関連のままであることが示されています。たとえば、「女性」と「男性」に関連する単語が依然としてクラスター化され、結果としてアルゴリズムの望ましくない信号を形成することができます。それにもかかわらず、モデルにデータをフィードするときに名前をランダム化すると、アルゴリズムが意思決定の名前について先入観を使用することが妨げられます。これは、人間によって行われた場合でも、最初の履歴書スクリーニングにおける良い実践でもあります。

線形モデル：
ディープモデルと決定ツリーは、線形モデルよりもバイアスをより簡単に隠すことができます。これにより、検討中の各機能の直接的な重みが提供されます。したがって、一部のタスクでは、従来のアプローチの簡単な説明のために、より近代的な方法の精度を交換することが適切かもしれません。他の場合には、ディープラーニングを線形分類器の「教師」アルゴリズムとして使用できます。少量の注釈付きデータを使用して、深いネットワークをトレーニングし、さらに多くのドキュメントの予測を生成します。次に、線形分類器をトレーニングします。これにより、深い学習の精度に近づくことができますが、人間は分類の理由を見ることができ、使用中の潜在的に偏った機能にフラグを立てます。

敵対学習：
モデルが性別や人種を確実に決定できない場合、偏った方法で実行することは困難です。敵対学習は、2つの分類器間で深いネットワークの重みを共有しています。1つは関心のある問題を解決し、もう1つは著者の性別などの事実を決定します。メイン分類器は通常のように訓練されていますが、性別分類器などの敵対的な分類器は、モデルが一貫して失敗するまでモデルが正しい予測を行うと重みをペナルティします。ドキュメントの内部表現に性別信号が含まれている場合、2番目の分類子が最終的にそれを発見すると予想されます。できないので、最初の分類子がこの情報を利用していないと仮定できます。

データクリーニング：
多くの点で、モデルのバイアスを減らす最良の方法は、ビジネスのバイアスを減らすことです。言語モデルで使用されるデータセットは、手動で検査するには大きすぎますが、それらのクリーニングは価値があります。さらに、人間を訓練して、より少ない偏った決定と観察を行うことは、同じことをするデータの作成に役立ちます。歴史的なデータのレビューでタンデムでの従業員のトレーニングは、モデルを改善しながら、他の職場の問題に間接的に取り組む素晴らしい方法です。従業員は、それらの一般的なバイアスとソースについて教えられ、偏った決定や言語の例を探してトレーニングデータをレビューします。トレーニングの例は剪定または修正できますが、従業員は将来の自分の仕事でより慎重になることを願っています。

監査とKPI：
機械学習は複雑であり、これらのモデルは、独自の複雑さと課題を持つより大きな人間のプロセス内に存在します。ビジネスプロセスの各部分は許容できるように見えるかもしれませんが、集計は依然としてバイアスを表示します。監査とは、ビジネスの側面や、例がプロセス全体をどのように移動するかについて、時折より深い調査であり、問題を積極的に探しています。主要なパフォーマンスインジケーター（KPI）は、毎年宣伝されている女性の割合など、物事が正しい方向に向かっているかどうかを観察するために監視できる値です。監査済みの例は非定型であり、KPIは自然に変動しますが、考えられる問題を探すことはそれらを解決するための最初のステップですが、それは達成される可能性があります。

人間の探査：
これは、実際のシステムで問題を見つける最良の方法の1つです。雇用主に唯一の変数として、ステレオタイプの白と黒の名前で同一の履歴書を送信した研究は、企業アメリカで雇用バイアスを実証しています。人々が入力を使用したり、集計統計を検索したりできるようにすることは、未知の体系的な問題を発見するための貴重な方法です。特に重要なタスクのために、「バイアスバウンティ」を実装することもでき、実装で明確な欠陥を見つける人々に現金報酬を提供します。データの感度に応じて、これは実際のモデルの結果にアクセスできる可能性があるため、研究者はモデルが過去に偏った方法を統計的に実証することができます。モデルによる動作。
Below are some of the techniques and processes that we can implement to address bias in ML.

Anonymization and Direct Calibration: 
Removing names and gendered pronouns from documents as they’re processed is a good first step, as is excluding clear markers of protected classes. Although this is an important start, it’s not a complete solution. These signals still show up in many places that are impossible to wholly disentangle. Research has shown that the bias remains in second-order associations between words: For example, “female” and “male” associated words still cluster and can still form undesired signals for the algorithms as a result. Nevertheless, randomizing names as we feed data into a model prevents the algorithm from using preconceptions about the name in its decision making. This is also a good practice in initial resume screening even when done by humans.

Linear Models: 
Deep models and decision trees can more easily hide their biases than linear models, which provide direct weights for each feature under consideration. For some tasks, then, it may be appropriate to trade the accuracy of more modern methods for the simple explanations of traditional approaches. In other cases, we can use deep learning as a “teacher” algorithm for linear classifiers: a small amount of annotated data is used to train a deep network, which then generates predictions for many more documents. These then train the linear classifier. This can approach deep learning accuracy, but allows a human to view the reasons for a classification, flagging potentially biased features in use.

Adversarial Learning: 
If a model can’t reliably determine gender or race, it’s difficult for it to perform in a biased manner. Adversarial learning shares the weights in a deep network between two classifiers: One solves the problem of interest, and the other one determines some fact such as the author’s gender. The main classifier is trained like usual, but the adversarial classifier, for example a gender classifier, penalizes weights when the model makes a correct prediction until that classifier consistently fails. If the internal representation of the document contained gender signal, we’d expect the second classifier to eventually discover it. Since it can’t, we can assume the first classifier isn’t making use of this information.

Data Cleaning: 
In many ways, the best way to reduce bias in our models is to reduce bias in our businesses. The data sets used in language models are too large for manual inspection, but cleaning them is worthwhile. Additionally, training humans to make less biased decisions and observations will help create data that does the same. Employee training in tandem with review of historic data is a great way to improve models while also indirectly addressing other workplace issues. Employees are taught about common biases and sources of them, and review training data looking for examples of biased decisions or language. The training examples can be pruned or corrected, while the employees hopefully become more careful in their own work in the future.

Audits and KPI: 
Machine learning is complicated, and these models exist within larger human processes that have their own complexities and challenges. Each piece in a business process may look acceptable, yet the aggregate still displays bias. An audit is an occasional deeper examination of either an aspect of a business or how an example moves through the whole process, actively looking for issues. Key performance indicators, or KPIs, are values that can be monitored to observe whether things are trending in the right direction, such as the percentage of women promoted each year. Audited examples may be atypical, and KPIs fluctuate naturally, but looking for possible issues is the first step toward solving them, however that may end up being accomplished.

Human Exploration: 
This is one of the best ways of finding issues in real systems. Studies that sent employers identical resumes with stereotypically white and Black names as their only variable have demonstrated hiring biases in corporate America. Allowing people to play with inputs or search through aggregate statistics is a valuable way to discover unknown systemic issues. For particularly important tasks, you can even implement “bias bounties,” offering cash rewards to people who find clear flaws in an implementation. Depending on data sensitivity, this could be access to the results of models in practice, so researchers can statistically demonstrate ways the models acted biased in the past, or an opportunity to create fake data in an effort to show that some pattern of use causes undesired behavior by the model.