human
再発したMLパイプラインの1つは、最近の毎日のトレーニングで絶えず過度に適合しています。MLモデルは、eコマースWebサイトの広告パーソナライズモデルです。何が問題になると思いますか？
gpt
機械学習モデルの過剰適合は、以下を含むいくつかのものによって引き起こされる可能性があります。

1.あまりにも多くのパラメーター - モデルが必要以上に多くのパラメーターを持っている場合、一般化可能な原則を学習する代わりにトレーニングデータを「記憶」するだけで、割り当てられたタスクを「チート」することを学ぶかもしれません。
2.データが少なすぎる - データセットが小さく、まばらであるか、特に低電位が低い場合、モデルがそれに過釣りに簡単になるかもしれません。トレーニングセットにデータを追加し、データ増強を使用すると、これを相殺することができます。
3.正規化の欠如 - ドロップアウトなどの技術は、モデルがデータを記憶する代わりに一般原則を学ぶのに役立ちます。常に銀の弾丸ではありませんが、人気のあるモデルの正規化手法をトレーニング連隊に統合することを実験する価値があります。
human
私はそれが私のデータセットだとは思わない、私は30の例を持っている、そして私のモデルには128Bパラメーターしかない。どのようなドロップアウト率を提案しますか？
gpt
ドロップアウト率の設定は、データの種類やモデルの目標など、多くの要因に依存します。一部の人々は、ドロップアウト率を20％（5分の1）に設定することに成功しましたが、モデルの正しいドロップアウト率を見つけるために試してみる必要があるでしょう。通常、MLモデルでは、モデルパラメーターよりも少なくとも10倍多くのトレーニングデータが必要です。あなたの場合、少なくとも1.28tの例を挙げることをお勧めします。最初に例の数を増やし、それが機能しない場合。異なるドロップアウト率をテストします。