human
補強学習を実際の問題に適用する際の課題と制限は何ですか？また、どのように克服できますか？
gpt
####現実世界の軌跡を収集する際の課題
多くの現実世界のタスクでは、ランダムなアクションをとるポリシーから始まる軌跡を収集するのは非常に時間がかかり、費用がかかり、危険な場合があります。これを緩和するいくつかの可能な方法には、ロボットハンドを使用した紙のルービックキューブのソルビング、現実世界の軌跡から世界モデルを学習し、学習モデルでモデルフリーのRLを実行するなど、手作りのシミュレーションでポリシーをトレーニングすることが含まれます。物理的なロボット学習の世界モデルのように、物理的ロボットが動くことができる速度から学習速度を切り離し、最後に、専門家の軌跡（生成されたものなどの動作クローンまたはオフラインの強化学習を使用して初期ポリシーを作成するロボットを操作する専門家の人間による）。
    
####高次元観測とアクションスペース
現実の世界には、ピクセル値を表す数字を含む観測スペースなど、非常に高次元の観測スペースとアクションスペースを持つタスクが含まれています。手作りの関数を使用するか、状態と行動の学習された低次元表現を使用して、観測およびアクションスペースから不必要な情報を削除するためのいくつかの手順を実行できます。
 
####非常に長いまたは無期限の長さのエピソード
Real Worldのタスクには非常に長いエピソードがあるかもしれません。大規模な深い補強学習_を備えた論文_dota 2では、フルエピソードよりもはるかに短いさまざまな地平線を試すことでこれに対処しました。