第3章 Bayes决策理论

随机模式分类识别，通常称为Bayes(贝叶斯)判决。主要依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。准则函数不同，所导出的判决规则就不同，分类结果也不同。本章主要论述分类识别的一般原理、几种重要的准则和相应的判决规则，正态分布模式类的判决函数以及它们的性能。Bayes公式：设实验E的样本空间为S，A为E的事件，B1,B2,…,Bn为S的一个划分，且P(A)>0，P(Bi)>0，(i=1,2,…,n)，则:“概率论”有关概念复习条件概率“概率论”有关概念复习先验概率：P(i) 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示类i出现的先验概率，简称类i的概率。后验概率：P(i|x)表示x出现条件下类i出现的概率,称其为类别的后验概率，对于模式识别来讲可理解为x来自类i的概率。类概密：p(x|i)表示在类i条件下的概率密度，即类i模式x的概率分布密度，简称为类概密。第3章Bayes决策理论3.1最小错误概率的Bayes决策3.2　最小风险的Bayes决策3.3　Bayes分类器和判别函数3.4正态分布时的Bayes决策法则3.1最小错误概率的Bayes决策在模式识别问题中，感兴趣的往往是尽量减小分类错误的概率。为此，我们可以建立一个能得到最小错误率的决策 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 。看一个简单的例子。假设某工厂生产两种大小，外形都相同的螺丝钉，一种是铜的，一种是铁的。两种产品混在一起，要求对它们自动分类。分两种情况讨论：（1）先验概率已知；（2）先验概率和条件概率密度函数均已知。返回本章首页先验概率已知铁螺丝出现的概率——铜螺丝出现的概率——它们反映了我们在下一个样品出现前对它的类别可能性的先验知识，称这种先于事件的概率为先验概率。合理的决策规则：决策错误的概率：返回本章首页先验概率和条件概率密度函数均已知铁螺丝出现的概率——铜螺丝出现的概率——铁螺丝出现的概率——铜螺丝出现的概率————螺丝背光源照射后反射光的亮度特征求取后验概率：返回本章首页对待分类模式的特征我们得到一个观察值，合理的决策规则：决策错误的条件概率（随机变量的函数）：模式特征是一个随机变量，在应用Bayes法则时，每当观察到一个模式时，得到特征，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策的平均错误概率应是的数学期望。返回本章首页平均错误概率从式可知，如果对每次观察到的特征值，是尽可能小的话，则上式的积分必定是尽可能小的。这就证实了最小错误率的Bayes决策法则。下面从理论上给予证明。以两类模式为例。返回本章首页返回本章首页返回本章首页结束放映对于两类1，2问题，直观地，可以根据后验概率做判决：式中，p(x|i)又称似然函数(likelihoodfunctionofclassi)，可由已知样本求得。Bayes法则－最大后验概率准则根据Bayes公式，后验概率可由类i的先验概率P(i)和条件概率密度来表示，即将P(i|x)代入判别式，判别规则可表示为或改写为l12称为似然比（likelihoodratio），12称为似然比的判决阀值。原则：要确定x是属于ω1类还是ω2类，要看x是来自于ω1类的概率大还是来自ω2类的概率大。对于多类问题，最小误判概率准则有如下几种等价的判决规则:⑵若，则判⑴若，，则判（后验概率形式）⑶若，，则判⑷若，则判（条件概率形式）⑸若，,则判（似然比形式）⑹如果，，则判（条件概率的对数形式）例：对一批人进行癌症普查，患癌症者定为属1类，正常者定为属2类。统计资料表明人们患癌的概率，从而。设有一种诊断此病的试验，其结果有阳性反应和阴性反应之分，依其作诊断。化验结果是一维离散模式特征。统计资料表明：癌症者有阳性反映的概率为0.95即，从而可知，正常人阳性反映的概率为0.01即,可知。问有阳性反映的人患癌症的概率有多大？解：说明有阳性反应的人其患癌的概率有32.3%写成似然比形式：已知：（统计结果）先验概率：P(1)=1/3（鲈鱼出现的概率）P(2)=1-P(1)=2/3（鲑鱼出现的概率）条件概率：p(x|1)见图示（鲈鱼的长度特征分布概率）p(x|2)见图示（鲑鱼的长度特征分布概率）求：后验概率：P(|x=10)=?（如果一条鱼x＝10，是什么类别？）解法1：利用Bayes公式写成似然比形式解法2：例题1图示鲈鱼鲑鱼100.050.55.58.5例题1图示103.2最小风险的Bayes决策在上一节我们介绍了最小错误率的Bayes决策，并且证明了应用这种决策法则时，平均错误概率是最小的。但实际上有时需要考虑一个比错误率更为广泛的概念——风险。毋庸置疑，任何风险都会带来一定损失。举例如下：返回本章首页返回本章首页返回本章首页——观察或测量到的d维模式特征向量；——自然状态（类别）或模式类空间——决策空间——损失函数，表示真实状态为而所采取的决策为时所带来的某种损失。根据Bayes公式，后验概率为：返回本章首页对于刚才的决策表考虑如下的一个条件期望损失，即给定，我们采取决策情况下的条件期望损失（条件风险）：采取那种决策呢？最小风险Bayes决策规则：返回本章首页综上，可知该规则的进行步骤为：（1）根据已知，计算出后验概率；（2）利用计算出的后验概率及决策表（专家根据经验确定），计算条件风险（3）最小风险决策返回本章首页这样按最小风险的Bayes决策规则，采取的决策将随的取值而定，引入函数，表示对的决策。对整个特征空间上所有的取值采取相应的决策所带来的平均风险显然，我们对连续的随机模式向量按最小风险Bayes决策规则采取的一系列决策行动可以使平均风险最小。到此为止，我们已经 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 了两种分别使错误率和风险达到最小的Bayes决策规则，下面分析一下两种决策规则的关系。返回本章首页两类情况下的最小风险Bayes决策返回本章首页在两类问题中，若有，决策规则变为这时最小风险的Bayes决策和最小错误率的Bayes决策规则是一致的。返回本章首页一般的多类问题中，设损失函数为0-1损失函数返回本章首页返回本章首页例设在许多模式分类问题中，可以将某个模式分到类中的某一类，也可以由于其不可分性而拒绝将其分到任何类别。如果拒绝的开销不太高，则拒绝是一种可行的措施，设，其中是当选择第种行为（即拒绝）时的损失，是产生任何替代错误时的损失。证明：如果对任意的j，有，且，则决策，否则作拒绝决策，此时可获得最小风险；返回本章首页证明：不考虑拒绝决策时的最小条件风险为引入拒绝决策的条件风险为返回本章首页联立①、②两式可知，在考虑拒绝决策的情况下若，且则决策否则作拒绝决策，此时可获得最小风险；例：在军事目标识别中，假定有灌木丛和坦克两种类型，它们的先验概率分别是0.7和0.3，损失函数如下表所示，其中，类型w1和w2分别表示灌木和坦克，判决a1=w1，a2=w2，a3表示拒绝判决。现在做了四次试验，获得四个样本的类概率密度如下：P(x|w1):0.1,0.15,0.3,0.6,P(x|w2):0.8,0.7,0.55,0.31.51.5a31.04.0a22.02.5a1w2w1（1）用最小误判概率准则，判断四个样本各属哪一个类型。问：（3）把拒绝判决考虑在内，重新考核四次试验的结果。（2）假定只考虑前两种情况，试用最小损失准则判断四个样本各属于哪一个类型。类型判决损失答:求出四个样本两类的似然比。最小误判概率准则时的阈值：（1）因此按最小误判概率准则判决时，第一、第二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。（2）按最小损失准则判决因此按最小损失准则判决时，第一、第二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。最小损失准则时的阈值：（3）带拒绝的最小损失准则判决由于是比较大小,可忽略p(x),即只需计算（3）带拒绝的最小损失准则判决因此第一、第二、第三、第四样本均拒判。=2.5*0.7*(0.1,0.15,0.3,0.6)+2.0*0.3*(0.8,0.7,0.55,0.3)=(0.655,0.683,0.855,1.23)=4.0*0.7*(0.1,0.15,0.3,0.6)+1.0*0.3*(0.8,0.7,0.55,0.3)=(0.52,0.63,1.005,1.77)=1.5*0.7*(0.1,0.15,0.3,0.6)+1.5*0.3*(0.8,0.7,0.55,0.3)=(0.465,0.473,0.563,0.765)3.3Bayes分类器和判别函数返回本章首页前面我们介绍了四种决策规则，这里结合第二章中介绍的判别函数和决策面的概念来 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 分类器。对于n维空间中的c个模式类别各给出一个由n个特征组成的单值函数，这叫做判别函数。在c类的情况下，我们共有c个判别函数，记为判别函数的性质假如一个模式X属于第i类，则有而如果这个模式在第i类和第j类的分界面上，则有返回本章首页1多类情况最小错误率的Bayes决策规则：可设判别函数为：返回本章首页最小风险的Bayes决策规则，可设判别函数为决策面方程分类器框图返回本章首页返回本章首页返回本章首页2两类情况可设判别函数为：可将其任意分类，或拒绝3.4正态分布时的Bayes决策法则返回本章首页在前面我们提到设计Bayes分类器的两个先决已知条件：（1）先验概率；（2）条件概率密度函数。先验概率的估计并不困难，关键是条件概率密度函数。这里我们以正态分布概率密度函数为主进行讨论，因为Ⅰ在实际问题中，大量的随机变量都服从或近似地服从正态分布；Ⅱ即使统计总体不服从正态分布，但是它的许多重要的样本特征可能是渐进正态分布的；Ⅲ正态分布分析起来比较方便。返回本章首页正态分布概率密度函数的定义及性质（1）单变量正态分布单变量正态分布概率密度函数，有两个参数和完全决定，常简记为。期望方差返回本章首页（2）多维变量正态分布均值向量协方差矩阵返回本章首页多维变量正态分布密度函数的性质（1）多维变量正态分布密度函数由均值向量和协方差矩阵完全确定，包含的参数个数为。（2）等密度点的轨迹为一超椭球面，且它的主轴方向由阵的特征向量所确定，主轴的长度与相应的协方差矩阵的本征值成正比。返回本章首页返回本章首页设在超椭球上，到超椭球中心的距离为，求主轴长度即是求其条件极值，构造Lagrange函数返回本章首页所以，第i个主轴的长度与的第i个特征值的平方根成正比，如图所示。定义为向量到均值向量的马氏距离。等概率密度点的轨迹是一个到均值向量的马氏距离为常数的超球体。（3）不相关性等价于独立性。（4）边缘分布和条件分布的正态性。（5）线性变换的正态性。（6）线性组合的正态性。返回本章首页多维变量正态概率型下的最小错误率Bayes判别函数和决策面返回本章首页下面根据上式对以下三种情况进行讨论。…………………决策面方程返回本章首页（1），即每类的协方差矩阵都相等，而且类内各特征间相互独立，具有相等的方差Ⅰ如果先验概率不等，那么平方距离（欧氏距离）必须通过方差进行归一化，并通过增加进行修正。返回本章首页Ⅱ如果先验概率相等称其为最小距离分类器。对以上两类情况进行化简返回本章首页下面来看线性分类器的决策面方程返回本章首页对其，我们用一个二维二类模式例子，设先验概率相等，从几何上表示其关系（不相等的情况请参照教材P32）返回本章首页（2），即各类的协方差矩阵都相等如果先验概率相等，只要计算到各类的均值点的马氏距离平方，然后把归于距离平方最小的类别。返回本章首页对以上两类情况进行化简返回本章首页决策面方程返回本章首页对其，我们用一个二维二类模式例子，设先验概率相等，从几何上表示其关系返回本章首页（2）各类的协方差矩阵不相等返回本章首页返回本章首页例考虑一个对两类二维正态分布的样本进行分类的Bayes分类器，设而且，。（1）分别求出两类判别函数的表达式与；（已知，）（2）求出两类样本之间的决策面方程，并根据该方程决定样本，的模式类别。返回本章首页解：（1）两类判别函数的表达式返回本章首页（2）两类样本之间的决策面方程，，已知两个一维模式类别的类概率密度函数为先验概率P(1)=P(2)=0.5。(1)求Bayes判决函数（用0-1损失函数）；(2)求总误判概率P(e)。作业THANKYOUVERYMUCH！本章到此结束下一章“概率密度函数的估计”返回本章首页结束放映