EM算法讲解程序

EM算法实验报告一、算法简单介绍EM算法是Dempster，Laind，Rubin于1977年提出的求参数极大似然估计的一种方法，它可以从非完整数据集中对参数进行MLE估计，是一种非常简单实用的学习算法。这种方法可以广泛地应用于处理缺损数据、截尾数据以及带有噪声等所谓的不完全数据，可以具体来说，我们可以利用EM算法来填充样本中的缺失数据、发现隐藏变量的值、估计HMM中的参数、估计有限混合分布中的参数以及可以进行无监督聚类等等。本文主要是着重介绍EM算法在混合密度分布中的应用，如何利用EM算法解决混合密度中参数的估计。算法涉及的理论X是包含的信息不完整我们假设X是观测的数据，并且是由某些高斯分布所生成的,（不清楚每个数据属于哪个高斯分布）。Kp（x）=心”（刘如・另7Ak-：，川三1此时，我们用k维二元随机变量Z（隐藏变量）来表示每一个高斯分布，将Z引入后，最终得到:p(x4=1)=丿Vix|肚加EQApix旳=户!■'二I.-nn頃叫门兀血①厂艸n=l*=J然而Z的后验概率满足（利用条件概率计算）厲=11Znk的期望值去估计它（利用但是，Znk为隐藏变量，实际问题中我们是不知道的，所以就用川*=l)p[x打=I)~K=l)p(*可=叮全概率计算）。、一,［可人UnJ,.巧〕［mnji哄Al%”血屮E讣丁=花”\{Jt,j1/^I'远丿』严1然而我们最终是计算max：AKZ2,[lnp(X.Z|M.X.tt)]=工^工7(加){In汗k+WXl气f）.=】fcs1最后，我们可以得到（利用最大似然估计可以计算）：Ia怂=亍》了（二丿心5=TTF/（乙一“一}（兀一"J•叫=>1=13.1算法的具体描述参数初始化对需要估计的参数进行初始赋值，包括均值、方差、混合系数以及3.2E-SteP计算利用上面公式计算后验概率，即期望O3.3M-steP计算重新估计参数，包括均值、方差、混合系数并且估计此参数下的期望值。3.4收敛性判断将新的与旧的值进行比较，并与设置的阈值进行对比，判断迭代是否结束，若不符合条件，则返回到3.2，重新进行下面步骤，直到最后收敛才结J束OEMforGaussianMixturesGivenaGaussianmixturemodelthegoalistomaximizelhelikelihoodfunctionwithrespectlotheparameters(comprisingthemeansandcovariancesofihecomponentsandlhemixingcocOicients).Initializethemeansp上,covariancesEjtandmixingcoelTicientstt上,andevaluatelheinitialvalueoftheloglikelihood,2・Estep.Evaluatetheresponsibililiesusinglhecurrentparameiervalues丁（"上）=貫辰\qx»曲忌）J«1(9・23)3.Mstep.Re^esliinaietheparaineteisuhingtliecurieinic、ponsibilitiesnewsr1N■^力7(2从)Xn"n=iIN佥£*加(Xn-H严)(0-mST)T(9.25)n=l主(9.24)(9.26)whereAfc-V=〉:讥).n*l(9,27)4.Evaluatetheloglikeliliuod(9.28)inp(XH：工,tt)=力In｛工真曲g卩虻工&)n=lI/f=landcheckforconvergenceofeithertheparametersortheloglikelihood.Iftheconvergencecriterionisnoisaiisfiedrenimlo“ep2.四、算法的 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 图-5五、实验结果abest=cov_best=（：,：,2）=0.80220.1978（：，：，1）=5.4082-0.06930.0858-0.0177mubest=-0.06930.2184-0.01770.07692.71483.93074.98823.0102f=-1.63236.565.554.543.532.52L-5-1.5-2-2.5-3+-3.5++-4「+-4.5-5.5-i-0**•-•£**5••£J心：'%0510+数据X的分布丄+510十4++++4"I-++++152025每次迭代期望值6.55.5*八2'沁./邸-■,s4.5*.**—W-■***■3.52.52-510利用EM估计的参量值与真实值比较（红色：真实值青绿色：估计值）六、参考文献M.Jordan.PatternRecognitionAndMachineLearningXiaoHan.EMAlgorithm七、附录closeall;clear;clc;%%参考 书 关于书的成语关于读书的排比句社区图书漂流公约怎么写关于读书的小报汉书pdf 籍Pattern.Recognition.and.Machine.Learning.pdfHYPERLINK"http://www.pr-ml.cn"http://www.pr-ml.cnHYPERLINK"mailto:lwm@pr-ml.cn"lwm@pr-ml.cn2009/10/15%%%%M=2;%numberofGaussianN=200;%totalnumberofdatasamplesth=0.000001;%convergentthresholdK=2;%dementionofoutputsignal%待生成数据的参数a_real=[4/5;1/5];mu_real=[34;53];cov_real(:,:,1)=[50;00.2];cov_real(:,:,2)=[0.10;00.1];%generatethedatax=[mvnrnd(mu_real(:,1),cov_real(:,:,1)mvnrnd(mu_real(:,2),cov_real(:,:,2),N-round(N*a_real(1)))'];round(N*a_real(1)))'%fori=1:round(N*a_real(1))%%%%end%%fori=round(N*a_real(1))+1:N%%%while(~((x(1,i)>0)&&(x(2,i)>0)&&(x(1,i)<10)&&(x(2,i)<10)))x(:,i)=mvnrnd(mu_real(:,1),cov_real(:,:,1),1)';endwhile(~((x(1,i)>0)&&(x(2,i)>0)&&(x(1,i)<10)&&(x(2,i)<10)))x(:,i)=mvnrnd(mu_real(:,1),cov_real(:,:,1),1)';end%endfigure(1),plot(x(1,:),x(2,:),'.')%这里生成的数据全部符合 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 %%%%%%%%%%%%%参%数%初%始%化%a=[1/3,2/3];mu=[12;21];%均值初始化完毕cov(:,:,1)=[10;01];cov(:,:,2)=[10;01];%协方差初始化%%EMAlgorothm%loopcount=0;figure(2),holdonwhile1a_old=a;mu_old=mu;cov_old=cov;rznk_p=zeros(M,N);forcm=1:Mmu_cm=mu(:,cm);cov_cm=cov(:,:,cm);forcn=1:Np_cm=exp(-0.5*(x(:,cn)-mu_cm)'/cov_cm*(x(:,cn)-mu_cm));rznk_p(cm,cn)=p_cm;endrznk_p(cm,:)=rznk_p(cm,:)/sqrt(det(cov_cm));endrznk_p=rznk_p*(2*pi)A(-K/2);%Estep%开始求rznkrznk=zeros(M,N);%r(Zpikn=zeros(1,M);%r(Zpikn_sum=0;forcn=1:Nforcm=1:Mpikn(1,cm)=a(cm)*rznk_p(cm,cn);%pikn_sum=pikn_sum+pikn(1,cm);endforcm=1:Mrznk(cm,cn)=pikn(1,cm)/sum(pikn);endend%求rank结束%Mstepnk=zeros(1,M);forcm=1:Mforcn=1:Nnk(1,cm)=nk(1,cm)+rznk(cm,cn);endenda=nk/N;rznk_sum_mu=zeros(M,1);%求均值MUforcm=1:Mrznk_sum_mu=0;%开始的时候就是错在这里，这里要置零。forcn=1:Nrznk_sum_mu=rznk_sum_mu+rznk(cm,cn)*x(:,cn);endmu(:,cm)=rznk_sum_mu/nk(cm);end%求协方差COVforcm=1:Mrznk_sum_cov=zeros(K,M);forcn=1:Nrznk_sum_cov=rznk_sum_cov+rznk(cm,cn)*(x(:,cn)-mu(:,cm))*(x(:,cn)-mu(:,cm))';endcov(:,:,cm)=rznk_sum_cov/nk(cm);endt=max([norm(a_old(:)-a(:))/norm(a_old(:));norm(mu_old(:)-mu(:))/norm(mu_old(:));norm(cov_old(:)-cov(:))/norm(cov_old(:))]);temp_f=sum(log(sum(pikn)));plot(count,temp_f,'r+')count=count+1;ift