焦点を合わせるメトリックは、達成しようとしているデータマイニングの目標によって異なります。交差検証を使用して、過度にフィッティングが行われているかどうかを検出することが重要です。相互検証はデータセットを取り、それをランダムに分割（または層別サンプリングを使用して）複数の検証データセットに分割します。次に、モデルはこれらの検証セットを使用して予測を作成し、各データセットのメトリックを計算します。過剰適合が発生した場合、これらの検証データセット間のモデルのメトリックは大幅に異なります。それが行われない場合、検証データセット間のメトリックは類似している必要があります。
The metric to focus on depends on the data mining goal you are trying to achieve. It is important to use cross-validation to detect if over-fitting is taking place. Cross-validation takes a dataset and splits it randomly (or using a stratified sampling) into multiple validation datasets. Then the models creates its predictions using these validation sets to calculate the metrics for each dataset. If overfitting takes place, the metrics of your model between these validation datasets will differ substantially. If it does not take place, the metrics between the validation datasets should be similar.