Data Science, Statistics, Python, Sampling.
次出現狀態的機率僅與上一次有關，至於其他性質我們下面再講，馬可夫鏈是個非常值得深入探討的題目。其應用也非常廣泛，舉凡本文要提到的積分與採樣方法，甚至到強化學習的發展，都與其有分不開的關係，而關於強化學習的一些雛形，我們留到下一篇再說，銜接上一篇，我們先回到積分問題，並引入馬可夫的概念。 馬可夫鏈性質與MCMC方法 上一篇的積分問題中，我們估計積分值的思路是從某特定分布中取樣，也就是將積分轉化成某機率密度下的期望值。在這篇我們則導入馬可夫鏈的概念，當馬可夫鏈收斂至平穩狀態 f(t) 時，可從其中抽樣來估計積分值。 整個問題在於， f(t)