馬可夫過程

馬可夫過程範例

在概率論及統計學中，馬可夫過程（英語：Markov process）是一個具備了馬可夫性質的隨機過程，因為俄國數學家安德雷·馬可夫得名。馬可夫過程是不具備記憶特質的（memorylessness）。換言之，馬可夫過程的条件概率僅僅與系统的當前狀態相關，而與它的過去歷史或未來狀態，都是獨立、不相關的。

具備離散狀態的馬可夫過程，通常被稱為馬可夫鏈。馬可夫鏈通常使用離散的時間集合定義，又稱離散時間馬可夫鏈。有些學者雖然採用這個術語，但允許時間可以取連續的值。

概論

	可數或有限的狀態空間	連續或一般的狀態空間
離散時間	在可數且有限狀態空間下的馬可夫鏈	Harris chain (在一般狀態空間下的馬可夫鏈)
連續時間	Continuous-time Markov process	任何具備馬可夫性質的連續隨機過程，例如维纳过程

數學模型

主条目：马尔可夫性质

对于某些类型的随机过程，很容易通过状态定义列方程推导出是否具有马尔可夫性质，但对于另外一些，需要使用马尔可夫性质中描述的一些更加复杂的数学技巧。举一个简单的例子，设某个随机过程他的状态X可取到一个离散集合中的值，该值随时间t变化，可将该值表示为X(t)。在这里，时间变量是离散或连续不影响讨论的结果。考虑任意一个“过去的时间”集合(...,p₂, p₁), 任何“当前时间”s, 以及任何“未来时间” t, 同时所有这些时间全都在X的取值范围之内，若有

$\cdots <p_{2}<p_{1}<s<t.\,$

则马尔可夫性质成立, 并且该过程为马尔可夫过程, 如果式

$\Pr {\big [}X(t)=x(t)\mid X(s)=x(s),X(p_{1})=x(p_{1}),X(p_{2})=x(p_{2}),\dots {\big ]}$

$=\Pr {\big [}X(t)=x(t)\mid X(s)=x(s){\big ]}$

对于所有的取值( ... ,x(p₂), x(p₁), x(s), x(t) ), 以及所有的时间集合成立。 则可用条件概率计算得出

$\Pr {\big [}X(t)=x(t)\mid X(s)=x(s),X(p_{1})=x(p_{1}),X(p_{2})=x(p_{2}),\dots {\big ]}$

与任何过去的取值( ... ,x(p₂), x(p₁) )不相关，这恰好就是所谓的未来的状态与任何历史的状态无关，仅与当前状态相关。

二阶马尔可夫过程

在某些情况下，如果将“现在”和“未来”的概念扩展，某些明显的非马尔可夫过程仍然可能具有某些马尔可夫过程的性质。举例来说，令X是一个非马尔可夫过程，现在构造一个过程Y，使其每个状态对应于X的一个时段的状态。从而有如下形式：

$Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.$

如果Y具有马尔可夫性质，则称X为二阶马尔可夫过程，据此也可定义更高阶马尔可夫过程。一个高阶马尔可夫过程的例子是移动平均的时间序列

马尔可夫性质

馬可夫性质是概率论中的一个概念。当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态；换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么此随机过程即具有马尔可夫性质。具有马尔可夫性质的过程通常称之为马尔可夫过程。

数学上，如果$X(t),t>0$为一个随机过程，则马尔可夫性质就是指

$\mathrm {Pr} {\big [}X(t+h)=y\,|\,X(s)=x(s),s\leq t{\big ]}=\mathrm {Pr} {\big [}X(t+h)=y\,|\,X(t)=x(t){\big ]},\quad \forall h>0.$

马尔可夫过程通常称其为（时间）齐次，如果满足

$\mathrm {Pr} {\big [}X(t+h)=y\,|\,X(t)=x{\big ]}=\mathrm {Pr} {\big [}X(h)=y\,|\,X(0)=x{\big ]},\quad \forall t,h>0,$

除此之外则被称为是（时间）非齐次的。齐次马尔可夫过程通常比非齐次的简单，构成了最重要的一类马尔可夫过程。

某些情况下，明显的非马尔可夫过程也可以通过扩展“现在”和“未来”状态的概念来构造一个马尔可夫表示。设$X$为一个非马尔可夫过程。我们就可以定义一个新的过程$Y$，使得每一个$Y$的状态表示$X$的一个时间区间上的状态，用数学方法来表示，即，

$Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.$

如果$Y$具有马尔可夫性质，则它就是$X$的一个马尔可夫表示。 在这个情况下，$X$也可以被称为是二阶马尔可夫过程。更高阶马尔可夫过程也可类似地来定义。

具有马尔可夫表示的非马尔可夫过程的例子，例如有移动平均时间序列。

最有名的马尔可夫过程为马尔可夫链，但不少其他的过程，包括布朗运动也是马尔可夫过程。

参见

• 圖模式
• 马尔可夫链
• 马尔可夫逻辑网络