模式识别考试题

一：监督模式识别与费监督模式识别：监督模式识别：有一个已知样本集（集合中每个样本的类别已知），作为训练样本集，并通过控制先验已知信息来指导 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 分类器，这种情况下建立分类器的问题属于监督学习问题，称作监督模式识别。非监督模式识别：没有已知类别的标签的训练数据可用，通过挖掘样本中潜在的相似性分类，这种学习过程成为非监督模式识别，在统计中通常被称作聚类，所得到的类别也称作聚类，由于没有类别已知的训练样本，在没有其他额外信息的情况下，在用不同的 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 或不同的假定可能会获得不同的结果，聚类结果只是数学上的划分，对应的实际问题需结合更多的专业知识进行解释。二：聚类分析的基本思想，C-均值动态聚类算法的思想及步骤1.聚类分析是无监督分类：（1）假设：对像集客观存在着若干个自然类，每个自然类中个体的属性具有较强的相似性。（2）原理：将给定模式分成若干组，每组内的模式是相似的，而组间各模式差别较大。（3）方法：a根据带分类的模式属性或特征相似程度进行分类，相似的模式归为一类，不相似的模式划分为不同的类，将带分类的模式集分成若干个不重叠的子集。b定义适当的准则函数，运用有关的数学工具，或利用有关的统计概念和原理进行分类。2.C-均值法（1）条件及约定：设待分类的模式特征矢量集为{1x…nx}，类的数目C是事先取定的。（2）算法思想：该方法取定C个类别和选取C个初始聚类中心，按最小距离原则将各模式分配到C类中的某一类，之后不断的计算类心和调整个模式的类别，最终使各模式到其判属性类别中心的距离平方之和最小。（3）原理步骤：a任选C个模式特征矢量作为初始聚类中心：)0()0(2)0(1,,,czzz，令k=0。b将待分类的模式特征矢量集{ix}中的模式按最小距离原则分化给C类中的某一类，即：如果)(kild=jmin[)(kijd](i=1,2,3…N)，则(1)kilx。式中)(kijd 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示ix和)(jkw的中心)(kjz的距离，上角标表示选代次数。于是产生新聚类)1(jkw（j=1,2，…C）。c计算重新分类后的各类心，)1(kjz=)1(1kjn)1(kjiwxix，（j=1,2，…C），式中)1(kjn为类)1(kjw中所含模式的个数。d如果)1(kjz=)(kjz，j=1,2，….C，则结束，否则k=k+1，转至b。三：说明线性判别函数的正负以及数值大小在分类中的意义并 证明 住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问 。n维特征空间nx中，两类问题的线性判别界面方程为‘0wx+1nw=0判别函数为d（x）=’0wx+1nw此方程表示一超平面兀。它有以下三个性质:意义：(1)系数矢量，是该平面的法矢量。（1）判别函数d（x）的绝对值正比于x到超平面d（x）=0的距离。（2）判别函数值的正负表示出特征点位于哪个半空间中，即若为正，在超平面的正侧，若为负，在超平面的负侧。证明：（1）平面兀的方程可以写成||||0'0wwx=||||01wwn设平面兀的单位法矢量n=||||0'0ww（等号上有小三角）上式可以写成n*x=||||01wwn设p是平面兀中的任一点，x是特征矢量nx中的任一点点x到平面兀的距离为差矢量（x-p）在n上投影的绝对值，即：xd=|n‘（x-p）|=|n’*x-n‘*p|=|||||0'0wwx-||||0'0wwp|=|||||0'0wwx+||||01wwn|=||||10w|d（x）|上式表明，d（x）的值|d（x）|正比于x到超平面d（x）=0的距离xd（2）两矢量n和（x-p）的数积为n‘*（x-p）=||n||||x-p||cos（n，（x-p））=||||01'0wwxwn当n和（x-p）夹角小于o90时，即x在n指向的那个半空间中，cos（n，（x-p））>0；反之，n和（x-p）夹角大于o90时，x在n背向的那个半空间中cos（n，（x-p））<0；由于||||0w>0，故n‘（x-p）和1'0nwxw同号；即x在n指向的半空间中时，010nwxw即x在n背向的半空间中时，10nwxw<0;说明判别函数d（x）=1'0nwxw值的正负分别对应特征点位于超平面的正负侧。四：Fisher线性判别分析的思想和定理的推导过程1.Fisher线性判别的思想训练样本集X={1x…nx}，每个样本是一个d维向量其中1w类的样本是1X={11x…..11Nx}，2w类的样本是2X={21x…..22Nx}寻找投影方向w，投影以后样本变成iy=Tw·1x，ix=1,2，…N。…①在原样本空间，类均值向量im=iN1ijxxjx，i=1,2各类的类内离散度矩阵is=ijxxTjijmxmx))((i,i=1,2总类内离散度矩阵为ws=21ss类间离散度矩阵定义为bs=（1m-2m）Tmm)(21投影以后的一维空间，两类的均值分别为im~=iN1iiYyiy=iN1ijxxTw·jx=wim，i=1,2类内离散度2~is=iYyimyj2j)~(，i=1,2②总类内离散度ws~=21~s+22~s类间离散度bs~=221)~~(mm，i=1,2③投影后两类尽可能分开，类内尽可能聚集即：max)(wJF=wbss~~=2221221~~)~~(ssmm将①代入②③bs~=Twbswws=Twwsw因此：max)(wJF=wswwswwTbT2.Fisher判别准则下的最佳投影方向max)(wJF=wswwswwTbT由于w的幅值不影响方向，设其分母为非零常数，最大化分子可转化为：maxTwbswS.t.Twwsw=c0转化为拉格朗日函数的无约束极值问题L（w，l）=Twbsw-l（Twwsw-c）极值处满足：wlwL),(=0极值解*w满足bs·*w-lws*w=0设ws非奇异，则1ws·bs*w=l*w，即*w是1ws·bs的本征向量又bs=（1m-2m）Tmm)(21则l*w=1ws（1m-2m）即为最优投影方向五：以一维两类问题的分类为例，证明最大后验概率Bayes决策等价于最小错误率Bayes决策。证明：以为样本x，两类1w，2w先验概率P（1w），P（2w），类条件概率p（x|1w），p（x|2w）根据Bayes公式：P（iw|x）=)()()|(xpwPwxpiii=1,2则最大后验概率Bayes决策为：若P（1w|x）><P（2w|x）,则x2ww最小错误率Bayes决策判决域示意图所示：图中阴影面积表示错误率P（e）=p（x2w，1w）①+p（x1w，2w）②即P（e）=P（1w）dxwxpt)|(1+P（2w）dxwxpt)|(2由dtdp=0得p（x|1w）P(1w)=p（x|2w）P(2w)即当p（x|1w）P(1w)=p（x|2w）P(2w)时为判别门限t，此时P(e)最小即若p（x|1w）P(1w)><p（x|2w）P(2w),x2ww又Bayes公式，分母p（x）为常数可见p（x|1w）><p（x|2w）p（x|1w）P(1w)><p（x|2w）P(2w),即结论六：以两类问题的分类为例，推到最小错误率Bayes决策的似然比形式的判别规则解：一维样本x，两类1w，2w先验概率为P（1w），P（2w）类条件概率p（x|1w），p（x|2w）均为已知后验概率为P（1w|x），P（2w|x）错误概率为p（e|x）=2112),|(),|(wxxwPwxxwP若若①最小错误率Bayes决策及为最大后验概率决策若由Bayes公式P（iw|x）=)()()|(xpwPwxpiii=1,2②由①+②得若)()()|(11xpwPwxp><)()()|(22xpwPwxp则x21ww即p（x|1w）P(1w)><p（x|2w）P(2w)则x21ww即)()()|()|(1221wPwPwxpwxp则x21ww可得：最小错误率Bayes决策的似然比形式：若L（x）=)()()|()|(1221wPwPlwxpwxp则x21ww七：以两类问题的分类为例，推到最小风险Bayes决策的似然比形式的判别规则若L（x）=112122121221·)()()|()|(llllwPwPwxpwxp则x21ww推导：一维样本x，两类1w，2w，决策为两类21,决策表为：先验概率P（1w），P（2w）已知①类条件概率p（x|1w），p（x|2w）已知根据Bayes公式P（iw|x）=)()()|(xpwPwxpiii=1,2条件风险：R（i|x）=21)|()|a(jjjixwPwl，i=1,2即：R（1|x）=11lP（1w|x）+12lP（2w|x）R（2|x）=21lP（1w|x）+22lP（2w|x）则最小风险Bayes决策为：=arg2,1miniR（i|x）即：若R（1|x）><R（2|x）则x21ww即：11lP（1w|x）+12lP（2w|x）><21lP（1w|x）+22lP（2w|x）则x21ww即：（11l-21l）P（1w|x）><(22l-12l)P（2w|x）则x21ww其中11l-21l<0，22l-12l<0.即1121221221)|()|(llllxwPxwP则x21ww决策自然状态1w2w111l=),(11wl12l=),(21wl221l=),(12wl22l=),(22wl由①得：若112122122211)()|()()|(llllwPwxPwPwxP则x21ww即：若：112122121221·)()()|()|(llllwPwPwxpwxp则x21ww可得最小风险Bayes决策识别规则。八：已知某一类训练样本集的每一个样本都是由独立抽样实验采集的，类条件概率密度服从正态分布，以一维情况为例，求最大似然估计对未知参数（均值，方差）的估计过程及结果解：由题意单变量正态分布的形式为P（x|）=])(21exp[212x………①其中均值和方差2为未知参数，即要估计的参数为TT],[],[221，用于估计的样本是x={Nxx...1}则似然函数L（）=p（|x）={0)(1),|......(12211NNxxp最大似然估计是下列方程组的解：NkkxpH1)|(ln)(=0又从①可得：2122)(212ln21)|(lnkxxp分别对两个未知参数求偏导，得])(2121)(1[)|(ln2122212kkkxxxp因此最大似然估计是以下方程组的解Nkkx1120)ˆ(ˆ10ˆ)ˆ(ˆ11122212NkNkkx解得：NkkxN111ˆˆ222)ˆ(1ˆkxN九：最邻近决策和K-近邻决策的思想是什么最邻近决策：①对于一个新样本，把它逐一与已知样本比较，找出距离最新样本最近的已知样本，以该样本的类别作为新样本的类别，这就是最邻近法②已知样本集Ns={（1x，1）…..（Nx，1）}，其中，ix是样本i的特征向量，i是它对应的类别，设有C个类，即i{1,2…C}。定义两个样本间的距离度量（ix，jx），比如可采用欧式距离（ix，jx）=||ix-jx||。对未知样本x，求Ns中与之距离最近的样本，设为'x（对应的类别为'），即（x，'x）=),(min...2,1jNjxx则将x决策为'类。这种决策方法称为最邻近决策③最近邻法渐进错误率P，Bayes错误率*P，C类别数，则*P<=P<=*P·（2-*1pcc）①即：P最坏不会超出两倍的*P，最好有可能接近或达到*PK近邻决策①选择前若干个离新样本最近的已知样本，用他们的类别投票来决定新样本的类别，习惯把参加投票的近邻样本个数记作k，称作k近邻法②设有N个已知样本属于C个类iw，i=1…C，考察新样本x在这些样本的前K个近邻，设其中有ik个属于iw类，则iw类的判别函数就是)(xgi=ik，i=1…C决策规则是：若)(xgk=)(max...1xgiCi则xkw③k-近邻法仍满足①的上界关系但随着k的增加，上界将逐渐降低，当k趋于无穷大时，上界和下界碰到一起，k近邻法就达到了贝叶斯错误率十：主成分分析方法的基本原理是什么？推导变换矩阵的组成基本原理1从一组特征中计算出一组按重要性从大到小排列的新特征，他们是原有特征的线性组合，并且相互之间是互不相关的。2记1x……px为p个原始特征，设新特征i，i=1……p是这些原始特征的线性组合i=pjTijijxaxa1·为了统一i的尺度要求线性组合系数的模为1，即Tia·ia=1则TA·x其中是由新特征i组成的向量，A是特征变换矩阵。要求解的是最优的正交变换A它使新特征i的方差达到极值变换矩阵A的组成1．A=（1a……pa）最优的1a是的最大本征值对应的本征向量，2a第二大变换矩阵A的各个列向量是由的正交归一的本征向量组成的，因此TA=1A，即A是正交矩阵。2.1a，第一主成分1=pjTjijxaxa11（方差最大，模为1）方差：var（1）=E[21]-E[1]2=]···[11axxaETT-]·[]·[11axExaETT=Ta1··1a其中是x的协方差矩阵。E[]是数学期望要在约束条件Ta1·1a=1下最大化1的方差，等价于下列拉格朗日函数的极值)(1af=Ta1··1a-v（Ta11a-1），v是拉格朗日乘子将其对1a求导，并令他等于零，得1a满足·1a=v1a这是的特征方程,即1a一定是的本征向量，v是对应的本征值则var（1）=v3.第二主成分2满足：与1同样的方差最大，模为1，与1不相关即E[21]-E[2]E[1]=0,代入i=pjjijxa1=Tia·x整理得：Ta2··1a=0，又·1a=v1a且不相关的要求等价于2a和1a正交：Ta2·1a=0在Ta2·1a=0和Ta2·2a=1的约束条件下最大化2的方差可得2a是的第二大本征值对应的本征向量。 OLE_LINK1 OLE_LINK3 OLE_LINK4 OLE_LINK5 OLE_LINK6 OLE_LINK7 OLE_LINK8 OLE_LINK9 OLE_LINK10 OLE_LINK11 OLE_LINK12 OLE_LINK13