数模聚类分析

null 第二章聚类分析 第二章聚类分析§1.1 什么是聚类分析 　　　聚类分析是研究如何对指标或样本进行分类的一种多元统计分析方法。 　　 按照聚类的方法分为： （１）　系统聚类 （２）　动态聚类法 （３）　有序样本聚类 （４） 模糊聚类 ・・・・・・null按照分类对象分为： R型聚类：对变量（指标）分类 Q型聚类：对样本进行分类 R型聚类目的： 　　(１）了解变量之间的亲疏关系。 　（２） 对变量进行分类。 　　(3)　进一步地，根据分类结果及他们之间的关系，在每一类中选择有代 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 性的指标做进一步 的分析，例如， 进行回归分析或Q型聚类。 Q型聚类的目的：对样本进行分类 null§1.2距离和相似系数 描述变量之间亲疏关系的统计量有很多，目前应用最多的是距离和相似系数，这两个统计量与变量类型密切相关，因此首先回顾一下变量类型 一、变量测量尺度的类型 (1)间隔尺度。指标度量时用数量来表示，其数值由测量或计数、统计得到，如长度、重量、收入、支出等。一般来说，计数得到的数量是离散数量，测量得到的数量是连续数量。在间隔尺度中如果存在绝对零点，又称比例尺度。 null (2)顺序尺度 指标度量时没有明确的数量表示，只有次序关系，或虽用数量表示，但相邻两数值之间的差距并不相等，它只表示一个有序状态序列。如 评价 LEC评价法下载LEC评价法下载评价量规免费下载学院评价表文档下载学院评价表文档下载 酒的味道，分成好、中、次三等，三等有次序关系，但没有数量表示。 (3)名义尺度 指标度量时既没有数量表示也没有次序关系，只有一些特性状态，如眼睛的颜色，化学中催化剂的种类等。在名义尺度中只取两种特性状态的变量是很重要的，如电路的开和关，天气的有雨和无雨，人口性别的男和女，医疗诊断中的“十”和“一”，市场交易中的买和卖等都是此类变量。 null原始的数据矩阵为：null二、　数据的变换方法： 　　　 我们考察的变量一般都有不同的量纲，为了使不同量纲，不同取值范围的数据能够放在一起进行比较，通常对数据进行变换，常用的主要有以下几种： 　　　 null(１）中心化变换： 中心化变换的结果是使每列数据之和均为0，即每个变量的均值为0，而且每列数据的平方和是该列变量样本方差的(n—1)倍，任何不同两列数据之交叉乘积是这两列变量样本协方差的(n—1)倍，所以这是一种很方便地计算方差与协方差的变换。null （２） 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 化变换 经过标准化变换处理后，每个变量即数据矩阵中每列数据的平均值为0，方差为1，且也不再具有量纲，同样也便于不同变量之间的比较。变换后，数据矩阵中任何两列数据乘积之和是两个变量相关系数的（n－1）倍，所以这是一种很方便地计算相关矩阵的变换。null （３）极差标准化变换 变换后的数据，每个变量的均值为0，极差为1，且 在以后的分析计算中可以减少误差的产生。同时变换后的数据不具有量纲。 null（４）极差规格化变换： 经过规格化变换后，数据矩阵中每列即每个变量的最大数值为1，最小数值为0，其余数据取值均在0－1之间；并且变换后的数据都不再具有量纲，便于不同的变量之间的比较。 null （５）．对数变换 对数变换是将各个原始数据取对数，将原始数据的对数值作为变换后的新值。即： 对数变换可以将具有指数特征的数据结构转换为线性数据结构。此外还有平方根变换，立方根变换等，主要作用都是将非线性数据结构变为线性数据结构，以适应某些统计方法的需要。 null三、变量之间亲疏程度的测度 研究样本或变量的亲疏程度的数量指标有两种，一种叫相似系数，性质越接近的变量或样本，它们的相似系数越接近于1或一l，而彼此无关的变量或样品它们的相似系数则越接近于0，相似的为一类，不相似的为不同类；另一种叫距离，它是将每一个样品看作p维空间的一个点，并用某种度量测量点与点之间的距离，距离较近的归为一类，距离较远的点应属于不同的类。null 变量之间的聚类即R型聚类分析，常用相似系数来测度变量之间的亲疏程度。而样本之间的聚类即Q型聚类分析，则常用距离来测度样品之间的亲疏程度。null 1、定义距离的准则 　　　距离可以自己定义，只要满足距离的条件。第i个和第j个样本之间的距离　　　　要满足三个条件：设样本为：null2、常用距离的定义： (1) 明氏距离特别地，欧氏距离： 明氏距离主要有以下两个缺点： （1）明氏距离的值与各指标的量纲有关。 （2）明氏距离的定义没有考虑各个变量之间的相关性和重要 性 。实际上，明考夫斯基距离是把各个变量都同等看待，将两个样品在各个变量上的离差简单地进行了综合。null(2)兰氏距离 兰思和维廉姆斯(Lance & Williams)所给定的一种距离，其计算公式为： 这是一个无量纲的距离，由于它对大的奇异值不敏感，这样使得它特别适合于高度偏倚的数据。虽然这个距离有助于克服明氏距离的第一个缺点，但它也没有考虑指标之间的相关性。 以上两个距离都是假定变量（指标）之间是相互独立的，但在实际中变量之间往往存在相关关系，为了克服相关性的影响引入马氏距离null (4)马氏距离 这是印度著名统计学家马哈拉诺比斯(P．C．Mahalanobis)所定义的一种距离，其计算公式为： 表示观测变量之间的协方差距阵。在实践应用中，若总体协方差矩阵未知，则可用样本协方差矩阵作为估计代替计算。 null 马氏距离又称为广义欧氏距离。显然，马氏距离与上述各种距离的主要不同就是马氏距离考虑了观测变量之间的相关性。如果假定各变量之间相互独立，即观测变量的协方差矩阵是对角矩阵，则马氏距离就退化为用各个观测指标的标准差的倒数作为权数进行加权的欧氏距离。因此，马氏距离不仅考虑了观测变量之间的相关性，而且也考虑到了各个观测指标取值的差异程度，为了对马氏距离和欧氏距离进行一下比较，以便更清楚地看清二者的区别和联系，现考虑一个例子。（5）斜交空间距离：null例：假设有一个二维正态总体，它的分布为：两点密度函数值null 3、相似系数的算法 （1）相关系数 其中 （2）夹角余弦 null 五、距离和相似系数选择的原则 一般说来，同一批数据采用不同的亲疏测度指标，会得到不同的分类结果。产生不同结果的原因，主要是由于不同的亲疏测度指标所衡量的亲疏程度的实际意义不同，也就是说，不同的亲疏测度指标代表了不同意义上的亲疏程度。因此我们在进行聚类分析时，应注意亲疏测度指标的选择。通常，选择亲疏测度指标时，应注意遵循的基本原则主要有： null (1)所选择的亲疏测度指标在实际应用中应有明确的意义。如在经济变量分析中，常用相关系数表示经济变量之间的亲疏程度。 (2)亲疏测度指标的选择要综合考虑已对样本观测数据实施了的变换方法和将要采用的聚类分析方法。如在标准化变换之下，夹角余弦实际上就是相关系数；又如若在进行聚类分析之前已经对变量的相关性作了处理，则通常就可采用欧氏距离，而不必选用斜交空间距离。此外，所选择的亲疏测度指标，还须和所选用的聚类分析方法一致。如聚类方法若选用离差平方和法，则距离只能选用欧氏距离。 null(3)适当地考虑计算工作量的大小。如对大样本的聚类问题，不适宜选择斜交空间距离，因采用该距离处理时，计算工作量太大。样品间或变量间亲疏测度指标的选择是一个比较复杂且带主规性的问题，我们应根据研究对象的特点作具体分折，以选择出合适的亲疏测度指标。实践中，在开始进行聚类分析时，不妨试探性地多选择几个亲疏测度指标，分别进行聚类，然后对聚类分析的结果进行对比分析，以确定出合适的亲疏测度指标。  null§1.3系统聚类 基本思想：在样本距离（相似系数）的基础上，定义类与类之间的距离，首先将每个样本自成一类，然后每次将具有最小距离的两类合并，合并后重新计算类与类之间的距离，这个过程一直继续到所有样品归为一类为止。把这个过程作成一个聚类谱系图。这种方法即系统聚类。 null一、八种系统聚类： 根据类与类之间距离定义的不同可以分为八种聚类 方法：1.最短距离法 2.最长距离法 3.中间距离法 4.重心法 5.类平均法 6.可变类平均法 7.可变法 8.离差平方和法 nullnull设类Gp和Gq合并成一个新类记为Gr，按最短距离法定义任意一类Gk 与Gr之间的距离，递推公式为：最短距离法聚类的步骤如下：1.定义样本之间的距离，计算两两样本之间的距离，得到距离矩阵，记为D(0），开始每个样本自成一类，此时Dij=dij。2.找出D(0）非对角线最小元素，假设为Dpq，将Gp和Gq合并成一个新类，记为Gr，null3.给出新类与其他类之间的距离公式，例如最小距离法为： 得到的距离矩阵记为D(1），4.对D(1）重复以上的（2），（3）两步的到D(2）；如此下去直到所有的元素并成一类为止。例1设有5个产品，分别对每个产品测得一项质量指标X，测量值为1，2，3.5，7，9。用最短距离法对5个样品进行分类。 首先采用绝对距离计算距离矩阵： 5.画出谱系图null 然后 和 被聚为新类 ，得 ： nullD(1）null025.503.50D（2）D（3）null谱系图null2.最长距离法 定义类和类之间的距离为两类最近样本的距离，即 ••••••••null设类Gp和Gq合并成一个新类记为Gr，按最长距离法定义任意一类Gk 与Gr之间的距离，递推公式为：例1nullD（1）null3.中间距离法设类Gp和Gq合并成一个新类记为Gr，按最长距离法定义任意一类Gk 与Gr之间的距离，递推公式为：几何意义如下：nullnullnull4.类平均法类间距离的定义 假设第p类和第q类合并成第r类，第r类与其它各类的距离按类 平均法的递推公式为：null注：r类与l类距离的平方为p类和q类与l类的距离平方的加权平均。 nullnull••••••组间平均连接（Between-group Linkage)null组内平均连接法（Within-group Linkage) null5.可变类平均法 类平均法的递推公式中，没有反映Gp类和Gq类的距离有多大，进一步将其改进，加入D2pq，并给定系数<1，则类平均法的递推公式改为： 用此递推公式进行聚类就是可变类平均法。 递推公式由： p类和q类与l类的距离的加权平均数 p类和q类的距离 两项的加权和构成，β的大小根据哪项更重要而定。null如果让中间距离法的递推公式前两项的系数也依赖于，则递推公式为： 用上式作为递推公式的系统聚类法称为可变法。 可变类平均法与可变法的分类效果与的选择关系较大， 如果接近于1，一般分类效果不好，在实际应用中常取负值。6.可变法null7.离差平方和法（Ward法）假设已经将n个样本分成k类，记为 ，nt表示Gt类的样本个数， 表示 Gt 的重心， 表示 Gt 中第i个样本（i=1，2,…,nt),则 Gt 中样本的离差平方和为k个类的类内离差平方和为：null 类似于方差分析的想法，如果类分得恰当，同类内的样品之间的离差平方和应较小，而类间的离差平方和应当较大。 离差平方和法的思路是，当k固定时，选择使S达到最小的分类。先让n个样品各自成一类，然后缩小一类，每缩小一类离差平方和就要增大，选择使S增加最小的两类合并，直到所有的样品归为一类为止。假设第p类和第q类合并成第r类，离差平方和法定义类间的平方距离为： 可以证明离差平方和法距离的递推公式：null例1：（1）五个样本自成一类，此时类内的离差平方和为0 （2）将可能的任意两类合并，计算所增加的离差平方和， 取其中较小的S所对应的两类合并由上表所知，应该将G1和G2合并，记为G6，计算 与其他类的距离，列表如下：nullnull8.重心法 重心法，也称为样品的均值法。设Gp和Gq 为两个类null重心法递推公式 假设第p类和第q类合并成第 r类，第r类与其它各旧类 l的距离按重心法为：类与类之间的距离的平方定义为两个类重心（类内样品平均值）间的距离。null系统聚类分析方法的统一公式: 上述聚类方法的并类原则和步骤是完全一样的，所不同的是类与类之间的距离公式有不同的定义，从而得到不同的递推公式。1967年威廉姆斯提出了统一的公式，这为编制统一的计算机程序提供了极大的方便性。nullnull例： 根据美国等20个国家和地区的信息基础设施 的发展状况进行分类。 Call—每千人拥有的电话线数； move l—每千人户居民拥有的蜂窝移动电话数； fee—高峰时期每三分钟国际电话的成本； comp—每千人拥有的计算机数； mips—每千人计算机功率（每秒百万指令）； net—每千人互联网络户主数。 null二、分类个数的确定 在聚类分析过程中类的个数如何来确定才合适呢？这是一个十分困难的问题，人们至今仍未找到令人满意的方法。但是这个问题又是不可回避的。下面我们介绍几种方法。 1、给定阈值——通过观测聚类图，给出一个合适的阈值。要求类与类之间的距离不要超过d值。例如我们给定d=0.35，当聚类时，类间的距离已经超过了0.35，则聚类结束。 2、根据统计量确定分类个数假设已经将n个样本分成k类，记为 ，nt表示Gt类的样本个数， 表示 Gt 的重心， 表示 Gt 中第i个样本 （i=1，2,…,nt),则 Gt 中样本的离差平方和为：null设 为所有样本的重心，则所有样本的总离差平方和为： T可以分解为：（1）构造统计量null（2）构造伪F统计量null伪F统计量用于评价聚为k类的效果。如果聚类的效果好，类间的离差平方和相对于类内的离差平方和大，所以应该取伪F统计量较大而类数较小的聚类水平。伪F统计量不具有F统计量的分布。（3）构造伪t2统计量其中 表示将第k类和第l类合并后类内离差平方和的增量。 用它评价合并第k和l类的效果，伪 t2 统计量大说明不应该合并这两类，应该取合并前的水平。null三、系统聚类的基本性质 （一） 单调性 在聚类分析过程中，设第k次并类时的距离为Dk（k=1，2，3，…）若满足 ，则称该聚类方法具有单调性。可以证明除了重心法和中间距离法之外，其他的系统聚类法均满足单调性的条件。 （二）空间的浓缩和扩张 1、 定义矩阵的大小 设同阶矩阵D(A)和D(B)，如果D(A)的每一个元素不小于 D(B)的每一个元素，则记为 。 null 2、空间的浓缩和扩张 设有两种系统聚类法A和B，他们在第i步的距离矩阵分别为D(Ai)和D(Bi)（i=1，2，3…），若D(Ai) > D(Bi) ，则称第一种方法A比第二种方法B使空间扩张，或第二种方法比第一种方法浓缩。 3、方法的比较 D（短） D（类平）， D（重） D（类平）； D（长） D（类平）； D（离） D（类平）； 当 ，D（变平） D（平）； 当 ，D（变平） D（平）; 中间距离法与类平均法的比较没有统一的结论，可能 是 浓缩的也可能是扩张的。 null§1.4 动态聚类 一、基本思想 系统聚类法是一种比较成功的聚类方法。然而当样本点数量十分庞大时，则是一件非常繁重的工作，且聚类的计算速度也比较慢。比如在市场抽样调查中，有4万人就其对衣着的偏好作了回答，希望能迅速将他们分为几类。这时，采用系统聚类法就很困难，而动态聚类法就会显得方便，适用。 动态聚类的基本思想是：开始先粗略地分一下类，然后按照某种最优的原则修改不合理的分类，直至类分的比较合理为止，这样就形成一个最终的分类结果。该方法具有计算量较小，占用计算机内存空间较少，方法简单的优点，适用于大样本的Q型聚类分析。首先选择一批凝聚点，使得样本向最近的凝聚点聚集，得到初始分类。nullnull 凝聚点就是一批有代表性的点，是欲形成类的中心。凝聚点的选择直接决定初始分类，对分类结果也有很大的影响，由于凝聚点的不同选择，其最终分类结果也将出现不同。故选择时要慎重．通常选择凝聚点的方法有： (1) 人为选择，当人们对所欲分类的问题有一定了解时，根据经验，预先确定分类个数和初始分类，并从每一类中选择一个有代表性的样品作为凝聚点。 (2) 将数据人为地分为A类，计算每一类的重心，就将这些重心作为凝聚点。 （3）用密度法选择凝聚点。以某个正数d为半径，以每个样品为球心，落在这个球内的样品数(不包括作为球心的样品)就叫做这个样品的密度。 二、凝聚点的选择标准null 计算所有样品点的密度后，首先选择密度最大的样品作为第一凝聚点，并且人为地确定一个正数D(一般D＞ d，常取D＝2d)。然后选出次大密度的样品点，若它与第一个凝 聚点的距离大于D，则将其作为第二个凝聚点；否则舍去这点，再 选密度次于它的样品。这样，按密度大小依次考查，直至全部样品考查完毕为止．此方法中，d要给的合适，太大了使聚点个数太 少，太小了使凝聚点个数太多。 （4）人为地选择一正数d，首先以所有样品的均值作为第一凝聚点。然后依次考察每个样品，若某样品与已选定的凝聚点的距 离均大于d，该样品作为新的凝聚点，否则考察下一个样品。 （5）随机地选择，如果对样品的性质毫无所知，可采用随机数表来选择，打算分几类就选几个凝聚点。或者就用前A个样品作为凝聚点(假设分A类)。这方法一般不提倡使用。null三、初始分类的确定原则1.不用凝聚点，人为分类，凭经验将样本进行初步分类。 2.选择凝聚点后，每个样本按照与其最近的凝聚点进行归类。 3.选择一批凝聚点，每个凝聚点自成一类，样本一次进入， 每进入一个样本将其归入最近凝聚点的类，并计算该类的重心， 以这个重心代替原来的凝聚点，再进入下一个样本，按同样原则 处理。null四、逐步聚类法按批修改法的步骤： 1. 选择一批凝聚点（个数人为指定），并选定所用距离的定义。 2.将所有样本点按与其最近的凝聚点归类。 3.计算每一类的重心，将重心作为新的凝聚点，转到步骤2.如果某一步骤所有新的凝聚点与前一次的凝聚点重合，则过程终止。有时不绝对要求这个过程终止，而是认为规定这个修改过程重复若干次即可。 按批修改法实际上会使得类内离差平方和达到最小。null有序样本聚类有序样本聚类法又称为最优分段法。该方法是由费歇在1958年提出的。有序样本聚类法常常被用于系统的评估问题，被用来对样本点进行分类划级。例如，十二个地区的经济发展指数，排列出来以后，需要划分他们的等级。合理的分类应该把发展情况最近似的地区划入同一类。这就是有序样本聚类的工作思路。null 设有序样品 。他们可以是从小到大排列，也可以是按时间的先后排列。1、定义类的直径 设某类G中包含的样品有 该类的均值向量为： 用D(i,j)表示这一类的直径，常用的直径有：2、定义分类的损失函数2、定义分类的损失函数 用b(n,k)表示将n个有序的样品分为k类的某种分法： 定义这种分类法的损失函数为：各类的直径之和。 null 当n和k固定时， L[b(n,k)]越小表示各类的离差平方和越小，分类是合理的。因此要寻找一种分法b(n,k)，使分类损失函数L[b(n,k)]达到最小。记该分法为P[n,k]。 3、L[b(n,k)]的递推公式 以上的两个公式的含义是，如果要找到n个样品分为k个类的最优分割，应建立在将j-1（j＝2,3,…,n)个样品分为k-1类的最优分割的基础上。 若分类数k是已知的，求分类法b(n,k)，使损失函数达到最小，其求法如下：4、最优解的求法 若分类数k是已知的，求分类法b(n,k)，使损失函数达到最小，其求法如下： 首先，找出分点jk，使 于是得第k类null 然后，找出jk－1，使它满足 于是得第k-1类 再然后，找出jk－2， 依次类推。一直可以得到所有类G1，G2，…Gk，这就是所求得最优解。 总之，为了求最优解主要是计算null例：分析儿童的生长期。有如下的 资料 新概念英语资料下载李居明饿命改运学pdf成本会计期末资料社会工作导论资料工程结算所需资料清单 是1-11岁的男孩平均 每年的增重： 问男孩的发育可分为几个阶段?首先计算直径：例如nullD(i,j)null1.首先，计算将3个样本分为两类共有两种可能的分法：{1},{2,3};或{1,2},{3},前一种分法损失最小。 类似地，null2.计算3.求最优分类。例如我们希望分成三类，即k=3，查表L[p(11,3)]=0.368,括号中的数字为8，说明在考虑将7个样本分成两类的分法，查表即可。null  最小损失函数L[p(n,k)nullnull1.首先选择用于聚类的变量（Variables） 2.希望将样本分成的类别数（Number of clusters） 3.选择聚类的方法 Iterate and classify 在起始类凝聚点的基础上不断迭代和更新凝聚点 。 Classify only 只使用起始的凝聚点进行分类。这样可以节省运算时间，但一般来说使用第一种方法。 Iterate对话框 Use running means 过程默认是所有样本都有了分类结果后才重新计算类的中心位置，如果选中这个复选框则是每对一个样本进行分类后都会重新计算新的类别中心。这样样本的排列次序可能会对分类结果有影响。快速聚类：nullSave对话框 Cluster membership 输出聚类后每个样本所属的类别。 Distance form cluster center 输出样本与所在类别中心的距离。 Initial cluster center 初始类的中心。 ANOVA table 方差分析表。以聚类结果为因变量，分析中所使用的变量为自变量的单因素方差分析。可以用它来判断各个变量对分类是否有用。 Cluster informations for each case　每个样本的分类信息，包括被分到哪一类，该观测值距离所属类别中心的距离。 nullRead initial form 要求使用指定数据文件中的观测量作为初始类的中心 Write final as 要求把聚类结果中各类中心数据保存到指定的文件中。 null系统聚类Agglomeration schedule 聚类过程的详细 记录 混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载 ，给出每一步聚类时合并的具体情况及相应类之间的距离。 Proximity matrix 列出样本（变量）之间的距离矩阵 Single solution 列出聚为指定类数时，各样本所属的类。 Range of solution 列出某个范围中每一步聚类过程和各样本所属的类。 None 不显示类成员表null变量聚类(R型聚类） 在统计分析中，为了避免遗漏重要因素，人们在初始选取所要考察的变量时往往尽可能多地考虑所有相关的因素，而这样做往往会造成需要考察的变量过多，变量之间的相关性也较大，给下一步的统计分析带来不便。因此需要研究变量之间的相似关系，按照变量的相关关系把他们聚合为若干类，然后观察和说明影响系统特性的主要特征。如何选择代表性指标 一般来说主要是根据专业知识，同时考虑下列原则： （1）最具有代表性的 （2）最容易测得的变量 （3）如果从专业角度不好确定，还可以做下一步计算来确定：null例：使用spss自带的数据文件World95.sav中的数据进行变量 聚类。文件中给出了亚洲国家或地区代表经济发展水平和文化发展水平的一些指标。