データセットが小さすぎて、モデルがタスクには大きすぎると思います。30の例は、ドロップアウトであっても、128Bパラメーターを使用してモデルをトレーニングするのに十分ではありません。データに過度に適合し、一般化のパフォーマンスが低い可能性があります。データセットサイズを増やすか、モデルサイズを削減することをお勧めします。ここではドロップアウト率は主な問題ではありませんが、試してみたい場合は、0.1のレートから始めて、検証またはテストメトリックが改善されるまで徐々に増やすことができます。
I think your dataset is too small and your model is too large for the task. 30 examples are not enough to train a model with 128B parameters, even with dropout. You are likely to over-fit the data and have poor generalization performance. I would suggest you either increase your dataset size or reduce your model size. Dropout rate is not the main issue here, but if you want to try it, you can start with a rate of 0.1 and increase it gradually until you see improvement in your validation or test metrics.