こんにちは、
私は、鉄筋学習（TRLXライブラリ）を使用してFlan-T5を訓練しようとしました。例として、感情分析や要約タスクがあることを見てきましたが、私の場合はそれは一般的な生成タスクです。データセットを使用しようとすると、config：ppo_config_cnn_daily.ymlを試しました。

私が得た結果はこれであり、それは要約作業のようです：

プロンプト：「[いくつかのテキスト] ... 1978年から、終了年を除く62を除く」
出力：「年に着信62着信62着信62着信62着信62着信62着信62着信62着信」
そして、私は私の個人的なプロンプトでこのコードを使用しています：

trlx.train（
    reward_fn = reward_fn、
    プロンプト= train_prompts、
    eval_prompts = valid_prompts、
    config = config
））
私には2つの問題がありますが、たぶん要約タスクによって引き起こされたのかもしれません。

最初に最後の繰り返し
第二に、予想される出力は非常に異なります
コードを変更する必要がありますか、それとも一般的な例はありますか？

私の構成は次のとおりです。
gen_kwargs：
    max_new_tokens：100
  gen_experience_kwargs：
    max_new_tokens：100
    do_sample：true
    温度：1.0
    TOP_K：50
    TOP_P：0.95

これは要約に適しています。一般的なテキスト2のテキストタスクのこれらのパラメーターを変更する方法についての提案は、要約ではありませんか？
Hello,
I tried to use reinforcement learning (trlx library) to train a FLAN-T5. I have seen that as examples there are sentiment analysis or summarization tasks, but in my case it is a generic generation task. Trying to use my dataset, I tried the config: ppo_config_cnn_daily.yml.

The result I got is this, and it seems to be a summarization task:

Prompt: "[some text] ... from 1978, excluding finishing years incoming 62"
Output: "years incoming 62 incoming 62 incoming 62 incoming 62 incoming 62 incoming 62 incoming 62 incoming 62 incoming 62 incoming"
And I'm using this code with my personal prompts:

trlx.train(
    reward_fn=reward_fn,
    prompts=train_prompts,
    eval_prompts=valid_prompts,
    config=config
)
I have two problems, maybe caused by summarization task:

First the repetition at the end
Second, the expected output is very different
Should I change the code or are there generic examples?

My configuration is:
gen_kwargs:
    max_new_tokens: 100
  gen_experience_kwargs:
    max_new_tokens: 100
    do_sample: True
    temperature: 1.0
    top_k: 50
    top_p: 0.95

That works well for summarization. Any suggestion about how to change these parameters for generic text 2 text tasks and not summarization?