贝叶斯统计与频率统计
先验分布 它是总体分布参数θ的一个概率分布。贝叶斯学派的根本观点，是认为在关于θ的任何统计推断问题中,除了使用样本X所提供的信息外，还必须对θ规定一个先验分布，它是在进行推断时不可或缺的一个要素。贝叶斯学派把先验分布解释为在抽样前就有的关于θ的先验信息的概率表述，先验分布不必有客观的依据，它可以部分地或完全地基于主观信念。例如，某甲怀疑自己患有一种疾病A,在就诊时医生对他测了诸如体温、血压等指标,其结果构成样本X。引进参数θ：有病时,θ=1;无病时,θ=0。X的分布取决于θ是0还是1,因而知道了X有助于推断θ是否为1。按传统（频率）学派的观点,医生诊断时,只使用X提供的信息;而按贝叶斯学派观点,则认为只有在规定了一个介于0与1之间的数p作为事件｛θ=1｝的先验概率时，才能对甲是否有病（即θ是否为1）进行推断。p这个数刻画了本问题的先验分布,且可解释为疾病A的发病率。先验分布的规定对推断结果有影响，如在此例中，若疾病A的发病率很小,医生将倾向于只有在样本X显示出很强的证据时,才诊断甲有病。在这里先验分布的使用看来是合理的，但贝叶斯学派并不是基于 “p是发病率”这样一个解释而使用它的，事实上即使对本病的发病率毫无所知，也必须规定这样一个p，否则问题就无法求解。
后验分布 根据样本 X 的分布Pθ及θ的先验分布π(θ)，用概率论中求条件概率分布的方法,可算出在已知X=x的条件下,θ的条件分布 π(θ|x)。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯学派认为:这个分布综合了样本X及先验分布π(θ)所提供的有关的信息。抽样的全部目的，就在于完成由先验分布到后验分布的转换。如上例,设p=P(θ=1)=0.001,而π(θ=1|x)=0.86,则贝叶斯学派解释为：在某甲的指标量出之前,他患病的可能性定为0.001，而在得到X后,认识发生了变化：其患病的可能性提高为0.86，这一点的实现既与X有关，也离不开先验分布。
先验概率 由以往的数据分析得到的概率
后验概率 得到信息之后，再重新加以修正的概率
贝叶斯定理 这个是广为人知的常识
所以，Bayes` theorem was used to convert a prior probability into a posterior probability!
我们给出一个似然(likelihood）的定义，我们可以把贝叶斯定理用下面的word来阐释：
posterior 正比于 likehood * prior
上述有所的这些值都可以看成是先验概率的函数！ P(D)仅仅是一个归一化的常量！
将贝叶斯公式两边积分得到：(先验概率的表示不同，上面写成了H,现在写成了w)
上面有这个式子的离散化表述！
我们平时所说的最大似然估计，就是最大化我们的似然函数 p(D|w) （P(D|H)）
那么频率统计和贝叶斯统计的区别在哪里？ 先验分布问题！
关于贝叶斯方法的争论 贝叶斯学派与频率学派争论的焦点在于先验分布的问题。所谓频率学派是指坚持概率的频率解释的统计学家形成的学派。贝叶斯学派认为先验分布可以是主观的，它没有也不需要有频率解释。而频率学派则认为，只有在先验分布有一种不依赖主观的意义，且能根据适当的理论或以往的经验决定时，才允许在统计推断中使用先验分布，否则就会丧失客观性。另一个批评是：贝叶斯方法对任何统计问题都给以一种程式化的解法，这导致人们对问题不去作深入分析，而只是机械地套用公式。贝叶斯学派则认为：从理论上说，可以在一定条件下证明，任何合理的优良性准则必然是相应于一定先验分布的贝叶斯准则，因此每个统计学家自觉或不自觉地都是“贝叶斯主义者”。他们认为，频率学派表面上不使用先验分布，但所得到的解也还是某种先验分布下的贝叶斯解，而这一潜在的先验分布，可能比经过慎重选定的主观先验分布更不合理。其次，贝叶斯学派还认为，贝叶斯方法对统计推断和决策问题给出程式化的解是优点而非缺点，因为它免除了寻求抽样分布，（见统计量）这个困难的数学问题。而且这种程式化的解法并不是机械地套公式，它要求人们对先验分布、损失函数等的选择作大量的工作。还有，贝叶斯学派认为，用贝叶斯方法求出的解不需要频率解释，因而即使在一次使用下也有意义。反之，根据概率的频率解释而提供的解,则只有在大量次数使用之下才有意义,而这常常不符合应用的实际。这两个学派的争论是战后数理统计学发展中的一个特色。这个争论目前还远没有解决，它对今后数理统计学的发展还将产生影响。
在我们平常使用的贝叶斯定理中，关于先验概率一般都是像：对以往数据分析结果表明。。。。。根据以往的临床记录。。。。。之类的。。