マルコフプロセスとも呼ばれるマルコフ連鎖は、進化（つまり、次の構成）がシステムの現在の構成のみに依存する特定のタイプの確率的プロセスです。言い換えれば、モデルの各ステップについて、異なる可能な結果構成を関連付ける遷移のすべての確率は、現在の構成によってのみ依存します。新しい確率。
マルコフプロセスには、離散変数と連続変数、および離散パラメーターまたは連続パラメーター（つまり時間）で定義されている場合、マルコフプロセスにはわずかに異なる技術的定義があります。たとえば、離散値 /離散パラメーターの例は、格子上のランダムウォークですが、その連続したカウンターパートはブラウン運動を表すウィナープロセスです。別の例は、ギャンブラーの破滅です。これは、特定の賭け戦略が数学的に保証された損失であることを説明するために使用されるモデルです。
A Markov chain, also sometimes referred to as Markov process, is a specific type of a stochastic process in which the evolution (i.e. the next configuration) only depends on the current configuration of the system. In other words, for each step of the model, all the probabilities of transitions that relate the different possible outcome configurations only depend on the current configuration: there is no "memory" of what led the system in the current configuration that is propagated to the new probabilities.
There are slightly different technical definitions for Markov processes when they are defined on discrete versus continuous variables, and with discrete or continuous parameters (i.e. time). For example a discrete value / discrete parameter example is the random walk on a lattice, while its continuous counterpart is the Wiener process that describes Brownian motion. Another example is the Gambler's ruin, a model that is used to describe how certain betting strategies are a mathematically guaranteed loss.