言語モデルの「新しいデータの低精度」の下では、モデルを特定のデータセットでトレーニングし、このデータセットで高い精度を示すことができることを意味しますが、以前に満たしていないデータの精度が低いことを示すことができます。

これを説明するために、あなたがニュースで訓練された言語モデルを持っていると想像してください。このモデルにニュースから提案を与えると、おそらくその意味を正しく決定できるでしょう。ただし、彼女に口語のスピーチや、たとえば薬などの狭いテーマ領域から提案を行うと、そのようなデータを正しく処理するのに十分な情報がないため、モデルは低精度を示すことができます。

規制に関しては、これはモデルの再訓練を防ぐために使用される手法です。言語モデルのコンテキストでは、トレーニングデータの精度が高すぎることを回避するために、学習プロセスのモデルパラメーターに追加の制限を追加することで規制を実現できます。これは、損失の機能にL1またはL2の調節を追加したり、学習プロセスにドロップアウトを追加するなど、さまざまな方法で達成できます。
Под "низкой точностью на новых данных" для языковых моделей я имею в виду, что модель может быть обучена на некотором наборе данных, и показывать высокую точность на этом наборе данных, но она может показать низкую точность на данных, которые ей ранее не встречались.

Чтобы проиллюстрировать это, представьте, что у вас есть языковая модель, обученная на новостях. Если вы дадите этой модели предложение из новостей, то она вероятно сможет правильно определить его смысл. Однако, если вы дадите ей предложение из разговорной речи или из какой-то узкой тематической области, например, медицины, то модель может показать низкую точность, потому что ей не хватает информации, чтобы правильно обработать такие данные.

Относительно регуляризации, это методика, которая используется для предотвращения переобучения модели. В контексте языковых моделей, регуляризация может быть достигнута путем добавления дополнительных ограничений на параметры модели в процессе обучения, чтобы избежать слишком высокой точности на тренировочных данных, которые могут привести к переобучению и низкой точности на новых данных. Это может быть достигнуто различными способами, такими как добавление L1 или L2 регуляризации к функции потерь, или добавление дропаута в процессе обучения.