QラーニングとディープQラーニングは、どちらも、状態、アクション、および報酬を受け取るモデルフリーの強化学習アルゴリズムであり、次のアクションを決定するために使用されるQ値を計算し、取るべき次のアクションを決定するために使用されるべきです。アクション選択ポリシー。どちらのアルゴリズムにも、マルコフの決定プロセスを与えられた将来の状態を予測するモデルが含まれていないため、それらはモデルフリーです。

Qラーニングは、Qテーブルを使用して、特定の状態アクションペアのQ値を保存します。これは、両方のすべての可能な組み合わせを保存し、それらを更新する必要があるため、状態またはアクションスペースが大きくなるとメモリにコストがかかります。トレーニングエピソードの終わり。

ディープQラーニングは、ディープニューラルネットワークを使用してQ値を学習することにより、このメモリ制限を解決しようとします。これにより、効果的に大きなQテーブルを学習できることの利点が得られ、トレーニング中に見られなかった状態に一般化し、連続状態空間を使用できるようになります。
Q-Learning and Deep Q-Learning are both model-free reinforcement learning algorithms that take in a state, action, and reward to calculate a Q value which is used to determine the next action that should be taken to maximize the total return of an action-selection policy. They are model-free because neither algorithm contains a model that predicts future states given a Markov decision process.

Q-Learning uses a Q-Table to store the Q values for any given State-Action pair, which becomes costly in memory when the state or action space become large because it must store all possible combinations of both and update them as well at the end of any training episode.

Deep Q-Learning attempts to solve this memory limitation by using Deep Neural Networks to learn the Q values instead. This provides the benefits of being able to learn effectively larger Q tables, generalizing to states that were never seen during training, and being able to use continuous state spaces.