机器学习——贝叶斯网络

贝叶斯网络贝叶斯网络结构

贝叶斯网络

贝叶斯网络是一种概率图模型，于1985年由Judea Pearl首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图。

贝叶斯网络的有向无环图中的节点表示随机变量，它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。

贝叶斯网络结构

1、tail -to-tail

$P(a,b|c)=P(a,b,c)/P(c)$，然后将$P(a,b,c)=P(c)\ast P(a|c)\ast P(b|c)$带入式子中，得到：$P(a,b|c)=P(a,b,c)/P(c)=P(a|c)\ast P(b|c)$，即给定c时，a、b独立。

2、head-to-head $P(a,b,c)=P(a)\ast P(b)\ast P(c|a,b)$，两边对c求和得$P(a,b)=P(a)\ast P(b)$，则a,b独立。

3、head-to-tail $P(a,b|c)=P(a)\ast P(c|a)\ast P(b|c)/P(c)=P(a|c)\ast P(b|c)$ 即给定c时：a,b相互独立（条件独立）