---..--总结资料几种降维方法PCA、LDA、LPP.blogs./oimz/archive/2011/08/24/PCA.htmlHYPERLINK".blogs./oimz/archive/2011/08/24/PCA.html"初识PCA-主成分分析 PCA，PrincipalponentAnalysis。是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。这是百度百科的一句话。个人对其的理解，这是一种减少干扰信息并用来区分数据的方法。 比如小A和小B是一对双胞胎，小A的额头上有颗痣，而小B没有。此时，我们分辨这两个人只需要根据谁的额头上有痣即可，而无需关注两个人在其他方面的微小差别。 人脸中长了痣，这是很形象的，且根据经验，人们会把这颗痣当做区分这对双胞胎的要素。而在现实生活的数据处理中，如向量，向量之间的区分点不是那么明显，而且机器也不会根据经验来判断哪些数据可以当做区分与其他向量的要素。针对这一问题，PCA被提了出来，PCA算法是一种无监督学习(unsupervisedlearning)，无须事先训练则可以找到区分于其他数据的“痣”。 关于PCA算法的步骤，网上到处都是而且很详细，而那些公式也大多是一样了。本文中便不再赘述，在这里只是做一下简单的介绍。首先我们有N个P维的向量要区分，X1,X2...Xn。P比较大，则处理所有向量的数据量较大，我们将其降至d维（d
心得体会
决胜全面小康心得体会学党史心得下载党史学习心得下载军训心得免费下载党史学习心得下载
。 就从算法的步骤上来说，LDA和LPP有着惊人的相似，以至于我怀疑他们之间只是同一种方法的不同表示。为了验证我的想法，我采用这两组算法对相同的数据进行降维，降维后的数据证明了我的想法是错的。但是降维后的数据确实非常的相近。还请各路大神指导两者之间的关系。 LPP算法先需要用明确类别的样本进行训练。 如有n个K维训练样本，X1，X2...Xn构成矩阵X，样本分为C种。我们需要先构造一个N*N的权重矩阵W. Wij的值对应样本Xi和样本Xj的关系。Wij有两种表示方法，我在此就介绍简单的一种,即当且仅当Xi和Xj是同一类的数据时，Wij为1，其余为0。这样我们就可以够着一个N*N的矩阵了。 接着构造一个对角矩阵D，其中Dii等于W矩阵中第i行或者第i列的和（W为对称阵）。 最后构造拉普拉斯矩阵L=D-W（至于为什么这样做，我也不清楚，求指导）。 令X'为X的装置矩阵，求解XLX'a=kXDX'a。XX数k和向量a。 两边同乘XDX'的逆，这个方程就变成求特征值和特征向量了。确实和LDA很像，LDA中XLX'为类内离散度矩阵，XDX'为类间离散度矩阵。 求出特征值后，按特征值从大到小排列，取出前m个特征值对应的特征向量，就可以将n维数据降至m维了。 附上自制实验： X= 1 5 2 4 4 6 5 3 4 2 6 5 两个样本1,3,5为一类，2,4,6为一类（根据x和y的大小分类） 1.构造权重矩阵W= 0 0 1 0 1 0 0 0 0 1 0 1 1 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 0 1 0 1 0 0 2.构造对角阵D= 2 0 0 0 0 0 0 2 0 0 0 0 0 0 2 0 0 0 0 0 0 2 0 0 0 0 0 0 2 0 0 0 0 0 0 2 3.构造拉普拉斯矩阵L= 2 0 -1 0 -1 0 0 2 0 -1 0 -1 -1 0 2 0 -1 0 0 -1 0 2 0 -1 -1 0 -1 0 2 0 0 -1 0 -1 0 2 4.计算T1=X*L*X' T2=X*D*X' T1= T2= 20 15 196 180 15 20 180 230 5.计算T= inv(T2)*T1 T= 0.1498 -0.0118 -0.0521 0.0962 6.求出T的特征值VC和特征向量VA。 [VA,VC]=eig(T) VA= 0.7726 0.1836 -0.6348 0.9830 VC= 0.1596 0 0 0.0865 7.取第一个特征值对应的特征向量对X降维。A=[0.7726,-0.6348] Y=A*X Y= -2.4016 1.9586 -0.9941 1.8209 -0.7185 1.4616 可以验证1,3,5为一类，2,4,6为一类。 本文仅仅只是理解了过程，原理尚不明确，若有人知晓，望指导。
浙公网安备 33021202002483