特征选择与特征提取5.1基本概念5.2类别可分性测度5.3基于类内散布矩阵的单类模式特征提取5.4基于K-L变换的多类模式特征提取第5章特征选择与特征提取5.1基本概念①由于测量上可实现性的限制或经济上的考虑,所获得的测量值为数不多。②能获得的性质测量值很多。如果全部直接作为分类特征,耗费机时,且分类效果不一定好。有人称之为“特征维数灾难”。特征选择和提取的目的:经过选择或变换,组成识别特征,尽可能保留分类信息,在保证一定分类精度的前提下,减少特征维数,使分类器的工作即快又准确。1.两种数据测量情况(1)具有很大的识别信息量。即应具有很好的可分性。(2)具有可靠性。模棱两可、似是而非、时是时非等不易判别的特征应丢掉。(3)尽可能强的独立性。重复的、相关性强的特征只选一个。(4)数量尽量少,同时损失的信息尽量小。2.对特征的要求3.特征选择和特征提取的异同(1)特征选择:从L个度量值集合中按一定准则选出供分类用的子集,作为降维(m维,m
规定
关于下班后关闭电源的规定党章中关于入党时间的规定公务员考核规定下载规定办法文件下载宁波关于闷顶的规定
的特征数构成特征组合。*从最右边的叶结点开始,根据选择的测度回溯搜索。*找到最优特征组,结束。例:从5个特征中选出2个特征作为模式向量。2.次优搜索算法虽然不能得到最优解,但可减少计算量。1)单独最优特征组合2)顺序前进法(SequentialForwardSelection,SFS)3)顺序后退法(SequentialBackwardSelection,SBS)4)增l减r法(l-r法):SFS和SBS的组合。广义顺序前进法(GeneralizedSFS,GSFS)广义顺序后退法(GeneralizedSBS,GSBS)广义的l-r法其他:模拟退火(SimulatedAnnealing)算法Tabu搜索(TabuSearch)算法遗传算法(GeneticAlgorithm)结束