转移熵

转移熵（英語：transfer entropy）是测量两个随机过程之间有向（时间不对称）信息转移量的一种非参数统计量。过程X到另一个过程Y的转移熵可定义为：在已知Y过去值的情况下，了解X的过去值所能减少Y未来值不确定性的程度。更具体地说，假定$X_{t}$和$Y_{t}$（$t\in \mathbb {N}$）表示两个随机过程，并用香农熵来度量信息量，则转移熵可定义为：

$T_{X\rightarrow Y}=H\left(Y_{t}\mid Y_{t-1:t-L}\right)-H\left(Y_{t}\mid Y_{t-1:t-L},X_{t-1:t-L}\right),$

其中H ( X ) 表示X的香农熵。此外，还可以使用其他类型的熵度量（例如雷尼熵）对上述定义进行扩展。

转移熵可看作一种条件互信息，其条件为受影响变量的历史值$Y_{t-1:t-L}$：

$T_{X\rightarrow Y}=I(Y_{t};X_{t-1:t-L}\mid Y_{t-1:t-L}).$

对向量自回归过程而言，转移熵可简化为格兰杰因果关系。 因而，转移熵适用于非线性信号分析等格兰杰因果关系的模型假设不成立的场合。然而，它通常需要更多的样本才能进行准确估计。熵公式中的概率可以使用分箱、最近邻等不用方法来估计，或为了降低复杂性而使用非均匀嵌入方法。虽然转移熵的原始定义是建立在双变量分析基础上的，但后来也扩展到多变量分析中。这种扩展可以以其他潜在源变量为条件 ，或考虑从一组源进行转移，不过这些都需要更多的样本。

转移熵被用于估计神经元的功能连接、社交网络中的社会影响以及武装冲突事件之间的统计因果关系等。转移熵是有向信息的有限形式，于1990年由詹姆斯·马西定义为$I(X^{n}\to Y^{n})=\sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})$，其中$X^{n}$表示向量$X_{1},X_{2},...,X_{n}$，$Y^{n}$则表示$Y_{1},Y_{2},...,Y_{n}$ 。有向信息在描述具有或没有反馈的通信信道的基本极限（信道容量）中起着关键作用。

参见

• 互信息
• 因果关系
• 潜在结果模型