####現実世界の軌跡を収集する際の課題
多くの現実世界のタスクでは、ランダムなアクションをとるポリシーから始まる軌跡を収集するのは非常に時間がかかり、費用がかかり、危険な場合があります。これを緩和するいくつかの可能な方法には、ロボットハンドを使用した紙のルービックキューブのソルビング、現実世界の軌跡から世界モデルを学習し、学習モデルでモデルフリーのRLを実行するなど、手作りのシミュレーションでポリシーをトレーニングすることが含まれます。物理的なロボット学習の世界モデルのように、物理的ロボットが動くことができる速度から学習速度を切り離し、最後に、専門家の軌跡（生成されたものなどの動作クローンまたはオフラインの強化学習を使用して初期ポリシーを作成するロボットを操作する専門家の人間による）。
    
####高次元観測とアクションスペース
現実の世界には、ピクセル値を表す数字を含む観測スペースなど、非常に高次元の観測スペースとアクションスペースを持つタスクが含まれています。手作りの関数を使用するか、状態と行動の学習された低次元表現を使用して、観測およびアクションスペースから不必要な情報を削除するためのいくつかの手順を実行できます。
 
####非常に長いまたは無期限の長さのエピソード
Real Worldのタスクには非常に長いエピソードがあるかもしれません。大規模な深い補強学習_を備えた論文_dota 2では、フルエピソードよりもはるかに短いさまざまな地平線を試すことでこれに対処しました。
#### Challenges with collecting real-world trajectories
For many real world tasks, it can be very time-consuming, costly, and dangerous to collect trajectories starting from a policy that takes random actions. Several possible ways to mitigate this include training your policy in a hand-crafted simulation, like in the paper _Solving Rubik’s Cube with A Robot Hand_, learning a world model from the real world trajectories, then running model-free RL on the learned model to decouple your learning speed from the speed at which your physical robot can move, like in the paper _DayDreamer: World Models of Physical Robot Learning_, and finally, creating a initial policy using behavior cloning or offline Reinforcement learning on expert trajectories(such as those produced by an expert human tele-operating a robot).
    
#### High dimensional observation and action spaces
The real world often contains tasks that have extremely high dimensional observation and action spaces, such as observations spaces that contain numbers representing pixel values. Some steps can be taken to remove unnecessary information from the observation and action spaces, either using hand-crafted functions, or using learned low-dimensional representations of states and actions.
 
#### Extremely long or indefinite length episodes
Real world tasks may have extremely long episodes. In the paper _Dota 2 with Large Scale Deep Reinforcement Learning_, they addressed this by trying different horizons which were much shorter than a full episode.