正交试验设计（书籍）第二章

第二章 回归分析简介及其在均匀设计中的应用 回归分析是数据分析的有力工具，它能揭示变量之间的相互关系，因此在均匀设计的数据分析中成为主要的手段，回归分析方法和理论十分丰富，有关书籍数以百计，这里仅作一梗概介绍，细节可以参看有关书籍，如[26,29,30]数据处理可使用统计软件包SAS，SPSS，MINITAB，BMDP，S等，国内许多部门如中国均匀设计学会为均匀设计及其数据分析制作了专用统计软件包，使用更为方便。 2.1 一元线性回归模型 由于均匀设计的数据分析要利用回归分析，因此需要对回归分析作一扼要介绍。一元线性回归是处理两个变量之间关系的最简单的模型。本章将详细讨论这个模型。一元线性回归虽简单，但从中可以了解回归分析方法的基本思想/方法和应用。 我们首先通过一个例子说明如何建立一元线性回归方程。 例3 为了估计山上积雪融化后对下游灌溉的影响，在山上建立了一个观测站，测量了最大积雪深度（X）与当年灌溉面积（Y），得到连续10年的数据于下页 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 中。 为了研究这些数据中所蕴含的规律性，我们把各年最大积雪深度作横坐标，相应的灌溉面积作纵坐标，将这些数据点标在平面直角坐标图上，如图9，这个图称为散点图。 从图9看到，数据点大致落在一条直线附近，这告诉我们变量X与Y之间的关系大致可看作是线性关系，从图9还看到，这些点又不都在一条直线上，这表明X与Y的关系并没有确切到给定X就可以唯一地确定Y的程度。事实上，还有许多其他因素对Y产生影响，如当年的平均气温，当年的降雨量等等，这些都是影响Y取什么值的随机因素。如果我们只研究X与Y的关系，可以假定 年序 最大积雪深度X(尺) 灌溉面积Y(千亩) 1 15.2 28.6 2 10.4 19.3 3 21.2 40.5 4 18.6 35.6 5 26.4 48.9 6 23.4 45.0 7 13.5 29.2 8 16.7 34.1 9 24.0 46.7 10 19.1 37.4 有如下结构式： Y=α+βX+ε (2.1) 式中α,β 称为回归系数，X为自变量，Y为因变量，ε表示随机误差，常常假定ε遵从正态分布N（0，σ2），这表示误差为正和负的机会一样多，σ2 表示误差的大小。式中α，β，σ2 通常是未知的，它们要通过数据的信息来估计。 设｛（ ）,i=1,…n｝为一组数据，若用回归方程（2.1）来拟合，则当X= 时 的估计值为 (2.2) 自然，我们希望求α和β使 与 EMBED Equation.3很接近.也就是说，我们要决定一条直线，使其与所有的点都比较接近，最流行求α,β 估计值的办法是用最小二乘法，令 (2.3) 最小二乘法是求α和β使Q达极小，使Q达极小的α和β值记为a和b.利用微积分中求极值的办法求得 (2.4) 式中 (2.5) 利用这些公式到例3，得 于是 b=415.606/230.656=1.802 a=36.53-1.802×18.88=2.511 从而回归方程为 读者试将该直线画在图9上，可以看到拟合的效果是不错的，衡量拟合效果的好坏，如下的方法是十分有用的。 (a) 相关系数 相关系数 用于描叙变量X和Y的线性相关的程度，并常用r来表示，r的值介于[-1，1]之间，它的意义由图10可以知道。r的绝对值越接近于1表示X和Y之间的线性关系越密切；r〉0，两者呈正比关系，叫正相关；r〈 0两者呈负相关。r的值接近于0，两者没有线性相关关系。图10中（c）表示X和Y没有任何关系，（d）表示X和Y有非线性相关关系，r的计算公式为 (2.6) 式中 (2.7) 对例3 =764.861 r=415.605/ =0.9894 后者很接近于1，故最大积雪深度与灌溉面积有很密切的线性相关关系，且是正相关.但是，相关系数有一个缺点，就是它接近1的程度与样本的组数n是有关的，当n较小时，相关系数的绝对值容易接近于1，当n较大时，相关系数的绝对值容易偏小。特别当n=2时，因为两点决定一条直线，所以相关系数的绝对值总为1，在许多统计书中[29]给出相关系数的起码值，当相关系数的绝对值大于表中之值时才可以认为X和Y有线性关系。此例当显著性水平α=1%时，表中的起码值为0.765，今计算r=0.9894 ＞ 0.765，故最大积雪深度与灌溉面积有高度的线性关系。 在有些统计软件中，常给出 ，这时便于区别记为 。 （b）方差分析和F检验 因变量 的波动可用 来表达，这个波动是由两个因素造成的；一个是X的变化引起Y相应的变化，另一个是随机误差。前者造成Y的波动可用回归平方和来表达，后者用残差平方和来度量。它们分别用 和 来表示，从数学上可以导出 ＝ ＝ - （2.8) 当X和Y为线性回归模型（2.1）时，它们有如下更方便的计算公式 ＝ ＝ - (2.9) 利用统计量 F＝ EMBED Equation.3 (2.10) 可以来检验回归方程（2.1）是否可信.当方程可信时F 〉 ，这里 为F表中的临界值，1和n-2为自由度，α为显著水平.对例3可以算得 =1.802×415.606=748.922 =764.961-748.922=16.039 F=8×748.922/16.039=373.55 当α=1%时 。用F值和F表上的临界值相比，若F 〉 ，表明Y的变化主要是由X的变化造成的，回归方程（2.1）可信；若F值小于 ，回归方程不可信。可信的程度也可分成不同等级，在本书中，α=5%时可信用“*” 表示，α=1%时可信用“**” 表示。上述计算结果常列成方差分析表，如表10所示。 表10 方差分析表 方差来源 平方和 自由度 均方 F 显著性 回归 748.922 1 748.922 373.550 ** 误差 16.039 8 2.005 总和 764.961 9 （c） 残差分析 称为残差，它能提供许多有用的信息，表11给出了例3的10个残差，利用残差可以提供如下信息： 表11 预报和残差表 No. No. 1 29.90 -1.30 6 45.21 -0.21 2 21.00 -1.70 7 26.81 2.39 3 40.71 -0.21 8 32.60 1.50 4 35.99 -0.39 9 45.76 0.94 5 50.08 -1.18 10 36.92 0.48 （i）σ之估计 (2.11) 给出了回归方程的精度，它称为残差 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 差，若随机误差遵从正态分布N（0， ），则Y的预报落在 之内的概率大约为95%，对例3可以算得 =1.416，且10个 均落于 2×1.416之内。 （ii）数据和模型之诊断 由残差之大小，可以发现异常（或叫离群）数据，可以发现模型（2.1）是否合适，是否要用非线性回归模型等，这些已形成一整套理论，称为回归诊断，有兴趣的读者可参见文献[31]。 2.2多元线性回归模型 当影响因变量Y的自变量不止一个时，比如有m个 ，…, ,这时Y和X之间的线性回归方程为 (2.12) 其中 为回归系数，ε为随机误差，常假定 。 设 为观测值，回归分析的首要任务是利用它们来估计 和σ，它们的最小二乘估计记作 求估计值 需要解下面的线性方程组 (2.13) 其中 当 求得后，计算 (2.14) 回归方程（2.12）建立后，检验其是否可信可用方差分析，这时公式（2.8）依然有效，但 方差分析表（参看表10）将成为表12之形式，其中 (2.15) 表12 方差分析表 方差来源 平方和 自由度 均方 F 显著性 回归 m 残差 n-m-1 总和 n-1 它将与F的临界值 来比较，其比较的结果和结论请参见上节的讨论，反映回归精度的σ的估计公式为 （2.16） 类似于一元回归相产系数r，可以定义适用于多元回归的全关系数R，R定义）为 和 的相关系数，或 定义为 （2.17） 例4 试用线性回归模型（2.10）来拟合表9的试验数据。 解：这时n=7，7组观察值为（0.330,1.0,13,1.5）,(0.336,1.4,19,3.0),… (0.482,3.4,28,3.5)，它们的均值和 为 由于 ，故它们不必全部列出，将它们代入到方程级（2.13）中可以解得 从而 a=0.3683-0.037×2.2+0.00343 ×19-0.077×2.0 =0.201 σ的估计为 .于是回归方程为 (2.18) 进一步对它作方差分析，其方差分析表列于表13. 表13 方差分析表 方差来源 自由度 平方和 均方 F 回归 3 0.048770 0.016257 3.29 误差 3 0.014838 0.004946 总和 6 0.063608 当 α=0.05 时F表的临界值 ，回归方程(2.18)不可信.这时，是否Y和三个因素之间不可能建立回归关系呢？不是的，我们还应作进一步探讨，在下节我们将继续讨论该例。 2.3 二次型回归模型与变量筛选 由于因变量常常有交互作用，回归模型(2.12)不足以反映实际，于是二次型回归模型常常为人们所采用.若有m个因素 则二次型回归模型为 (2.19) 其中 为回归系数，ε为随机误差.我们看到，这时除了常数项 以外，方程有m(m+3)/2 项，当m=1,2,… 时项数为 m 1 2 3 4 5 6 7 8 9 10 项数 2 5 9 14 20 27 35 44 54 65 若使回归系数的估计有可能，必要条件为n>1+m(m+3)/2.当m 较大时，通常不能满足这个必要条件.于是有必要从方程(2.19)中选择贡献显著的项，删除不重要的项.有时，实际问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 需要考虑高阶的交互作用，如 等，这时筛选变量的任务就更为重要.在回归分析中，有许多有效的筛选变量的技术，如a) 前进法，b) 后退法，c) 逐步回归法，d) 最优子集法（参看[25]）。本章仅仅采用逐步回归技术来筛选变量，这并不意味着逐步因归在上述四项技术中最好的。 逐步回归是回归分析中的一种筛选变量的技术.开始它将贡献最大的一个变量选入回归方程，并且预先确定两个阈值 和 ，用于决定变量能否入选或剔除.逐步回归在每一步有三种可能的功能： a) 将一个新变量引进回归模型，这时相应的F统计量必须大于 b) 将一个变量从回归模型中剔除，这时相应的F统计量必须小于 c) 将回归模型内的一个变量和回归模型外的一个变量交换位置。 执行功能a)和b)时要注意如下原则： 设在当前步骤中有s个变量不在回归模型中，有t个变量在回归模型中.今欲从s个变量中挑选一个加入回归模型之中，显然应挑选使回归效果最好的变量.这里回归的效果可用方差分析表（见表10，表13）中F值来衡量，显然我们要从s个变量中挑选一个变量使F值达到极大.类似地，若欲从t 个变量中删除一个变量使其离开回归模型，我们就是要选择删除后使回归效果最好的变量，或选择对当前回归模型贡献最小的变量.如果在某一步中，既能实现a)又能实现b)，两者之和就是功能c)。大部分统计软件包均有逐步回归之功能，例如中国均匀设计学会推荐的软件包。 现在我们对例4继续进行讨论.设先用后退法来选变量.所谓后退法，就是开始将所有的变量全部采用，然后逐步剔除对方程没有显著贡献的变量，直到方程中所有的变量都有显著贡献为止。 仍考虑线性模型，开始三个因素全部进入方程，得(2.18).统计软件包通常还会提供每个变量的t值，t值越大（按绝对值计）表示该因素越重要.对例2有 这表明三个因素中以 （反应时间）对得率（Y）影响最大，配比次之，吡啶量最小.这些t 值都是随机变量，它们遵从 分布.若取α=0.05 ，这时n=7,m=3, = 的临界值 (0.05)=3.18.t 值大于该值的因素表示对方程有显著贡献，否则表示不显著.今 均小于 (0.05)=3.18 ，说明回归方程(2.18)的三个变量至少有一个不起显著作用.于是我们将贡献最小的 删去，重新建立Y和 及 的线性回归方程，得 (2.20) ,三个t 值分别为 这时这三个t值遵从含四个自由度的t 分布，临界值为 (0.05)=2.78,从而 应从方程中剔除.然后对Y和 建立回归方程 (2.21) 相应的 .因此，回归方程(2.21)为“最终”的回归模型.这里最终加上引号，表示并非真正的最终模型，而是在线性模型框架下的最终产物。 上述的分析只发现 对Y有显著作用，其它两个因素均没有显著作用，该结论与实际经验不吻合，因此，猜想用线性模型不一定符合实际.于是进一步考试二次回归模型(2.19).这时方程中有9项(不算 ).利用逐步回归技术求得回归方程如下： (2.22) 其相应的 。显然，回归方程(2.22)的效果优于回归方程(2.21).方程(2.22)表明，因素 和交互作用 对Y有显著的影响.值得注意的是，有些人对回归分析没有足够的理解，片面追求大的 （或小的 ），致使选进方程中的项过多，使误差自由度为1或甚至为0，这时有关的结可靠性是很差的.因此，不应片面追求大的 ，应选择n 稍大的均匀设计表，使得误差有足够的自由度≥5。 2.4 应用实例 均匀设计和正交设计以及其他试验设计方法一样，在工农业生产和科学实验中有广阔的应用前景，本文的文献中列举了部分应用成果，其中有些成果成绩显著.更多的成果有待搜集.均匀设计不但在国内得到广泛应用，在彼得格勒和香港也已开花结果.本节选择香港浸会学院生物系的一项试验，供读者参考。 例5 为了研究环境污染对人体的危害，今考核六种金属的含量:镉(Cd)，铜(Cu)，锌(Zn)，镍(Ni)，铬(Cr)，铅(Pb)，每种金属含量分别取了17个水平（百万分之一,ppm）:0.01,0.05,0.1,0.2,0.4,0.8,1,2,4,5,8,10,12,14,16,18,20.今欲考虑这些金属含量（包括它们的交互作用）对老鼠寿命的影响，该试验考核老鼠身上某种细胞的死亡率.它们选用 表，根据使用表的指示，它们选用了表中1，4，6，10，14，15列来安排六个因素，其试验 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 如表14所示.试验的结果为死亡率.为了了解试验误差，提高结论的精度，他们在同一试验条件下将试验重复三次，三次结果( )列于表15，三次死亡率的均值为 ，列于表15的最后一列.我们看到第17号试验的死亡率为最高，因为这时六种金属都是最高含量，表明这些金属对老鼠细胞确有致命作用。 现进一步用回归分析来分析数据.由于每种金属的含量由0.01(ppm)变到20(ppm)，最大得出小相差2000倍，于是直接用各因素的水平值作回归不易获得好的结果，通常要对水平值先作变换，用变换后的数据进行回归.最常见的变换是取对数.于是回归分析中的自变量成为logCd,logCu,logZn,logNi,logCr 和logPb.根据以往经验，知道六种金属间有交作用，故应选用二次型回归模型，并用逐步回归来筛选变量.用同样的 和 ,对 表14 环保试验方案 No Cd Cu Zn Ni Cr Pb 1 0.01 0.2 0.8 5.0 14.0 16.0 2 0.05 2.0 10.0 0.1 8.0 12.0 3 0.1 10.0 0.01 12.0 2.0 8.0 4 0.2 18.0 1.0 0.8 0.4 4.0 5 0.4 0.1 12.0 18.0 0.05 1.0 6 0.8 1.0 0.05 4.0 18.0 0.4 7 1.0 8.0 2.0 0.05 12.0 0.1 8 2.0 16.0 14.0 10.0 5.0 0.01 9 4.0 0.05 0.1 0.4 1.0 18.0 10 5.0 0.8 4.0 16.0 0.2 14.0 11 8.0 5.0 16.0 2.0 0.01 10.0 12 10.0 14.0 0.2 0.01 16.0 5.0 13 12.0 0.01 5.0 8.0 10.0 2.0 14 14.0 0.4 18.0 0.2 4.0 0.8 15 16.0 4.0 0.4 14.0 0.8 0.2 16 18.0 12.0 8.0 1.0 0.1 0.02 17 20.0 20.0 20.0 20.0 20.0 20.0 和 分别进行逐步回归，发现四组数据的结果非常吻合，表明试验误差不大，该试验可以获得可靠结论。为节省篇幅，我们仅列出对 的回归方程 =32.68+5.03LogCd+3.84LogCu+2.03LogNi +0.55（LogCu） -0.63（LogZn） +0.94（LogNi） +0.53（LogCd）（LogCu）-0.70（LogCd）（LogCr） +0.92（LogCu）（LogPb） 方程中每一项的t 值分别为（常数项t 值未列）11.5，7.8，4.9，2.6，-3.4，4.1，2.4，-2.8，5.3，它们均遵从 分布，因 （0.05）=2.365 小于上述所有t值之绝对值，故方程可信。 表15 死亡率 17.95 17.65 18.33 17.9 22.09 22.85 22.62 22.5 31.74 32.79 32.87 32.4 39.37 40.65 37.87 39.3 31.90 31.18 33.75 32.2 31.14 30.66 31.18 31.0 39.81 39.61 40.80 40.0 42.48 41.86 43.79 42.7 24.97 24.65 25.05 24.8 50.29 51.22 50.54 50.6 60.71 60.43 59.69 60.2 67.01 71.99 67.12 68.7 32.77 30.86 33.70 32.4 29.94 28.68 30.66 29.7 67.87 69.25 67.04 68.0 55.56 55.28 56.52 55.7 79.57 79.43 78.48 79.1 由方程我们可以给出如下结论：a）Cd，Cu 和Ni含量过高，对老鼠细胞的死亡率有显著作用，b）金属Cd和Cu，Cd和Cr，Cu和Pb有交互作用，其中Cd和Cu，Cu和Pb对死亡率起正交互作用，而Cd和Cu对死亡率起负交互作用，c）Zn可能会中和其它金属的破坏作用，降低老鼠细胞的死亡率，有兴趣的读者可以作更为详尽的分析。 2.5 寻求最优工艺条件 试验设计的目的通常主要有二个，一是揭示变量（Y）与各因素之间的定性关系，二是寻求最优工艺条件，回归方程的建立可以达到一箭双雕的目的。 现以例2来说明如何寻求最好的工艺条件，表9告诉我们，第7号试验是7次试验中最好工艺条件，即配比3.4，吡啶量28，反应时间3.5 ，这个工艺条件和最优工艺条件常常是很接近的。 在上述讨论中，我们最终建立了回归模型（2.22）。该方程一般仅在试验范围内成立，即配比1.0-3.4，吡啶量10-28，反应时间0.5-3.5。寻求最优模型等价于在这个范围内求方程（2.22）中 的极大值。如果回归方程比较复杂，可以用任何一个优化算法（参见文献[33，34]）来求最佳工艺条件，许多软件包都含有优化算法。数论方法也可以用来求 的极大值，方开泰和王元提出了一个序贯算法SNTO，可以方便地求得 的极大值，鉴于篇幅，这里就不详细介绍了，有兴趣的读者可以参看文献[16]。 对例2来讲，可以用简单的微积分求得极值，由于X在试验范围内恒正，故由（2.22）知X 越大， 越高，故X 应取试验范围内极大值3.4。将X =3.4 代入（2.22）得 令 ，解得0.3309-0.12 =0， =2.7575，这时 的极大值为51.85%。工艺条件 =3.4， =2.7575 并未出现在原有试验方案中，故应在这个条件追加试验，由于 的最佳条件在试验范围边界，故应扩大试验范围。 对于许多实际工作者，不一定熟悉优化方法，手边没有优化的软件。他们也不一定知道SNTO，也可能不会用微积分去求解极值。下面介绍一种“笨”办法，其计算量较大，但程序好编。这种方法将每个因素的试验范围均匀打网格，比较这些网格上的 值，从而可以近似求得 的近似最大（或最小）值。 现仍以例2来说明，将 在区间[1.0，3.4]每0.1划一个点， 在[0.5，3.5]区间中也是每0.1划一个点，这样 和 将范围划成25× 31=775个网格点，在其上按（2.22）来计算 值，并求出775个 中最大者。经计算量大的 =0.5184，在 =3.4， =2.8处达到，和上面用微积分的方法求得的结果 很接近，如果我们在 =3.4， =2.8 附近继续搜索，将网格打细，其解可以更接近真正解 =3.4， =2.7575。 _984486710.unknown _985098445.unknown _985171542.unknown _985172849.unknown _985176663.unknown _985333831.unknown _985333949.unknown _985334024.unknown _985334224.unknown _985334279.unknown _985334298.unknown _985334264.unknown _985334048.unknown _985334057.unknown _985334038.unknown _985333988.unknown _985334012.unknown _985333970.unknown _985333864.unknown _985333929.unknown _985333846.unknown _985177002.unknown _985333685.unknown _985333716.unknown _985333668.unknown _985176863.unknown _985176896.unknown _985176833.unknown _985176705.unknown _985176437.unknown _985176640.unknown _985176650.unknown _985176656.unknown _985176557.unknown _985176605.unknown _985176167.unknown _985176250.unknown _985173159.unknown _985172249.unknown _985172347.unknown _985172495.unknown _985172538.unknown _985172421.unknown _985172303.unknown _985172330.unknown _985172265.unknown _985171978.unknown _985172041.unknown _985172065.unknown _985172004.unknown _985171673.unknown _985171934.unknown _985171572.unknown _985171115.unknown _985171278.unknown _985171468.unknown _985171501.unknown _985171377.unknown _985171145.unknown _985170477.unknown _985170982.unknown _985171040.unknown _985170877.unknown _985098803.unknown _985098902.unknown _985098560.unknown _984486726.unknown _984486746.unknown _984486761.unknown _984486767.unknown _984486775.unknown _984486777.unknown _984486778.unknown _984486779.unknown _984486776.unknown _984486770.unknown _984486774.unknown _984486768.unknown _984486763.unknown _984486766.unknown _984486762.unknown _984486754.unknown _984486758.unknown _984486759.unknown _984486755.unknown _984486748.unknown _984486752.unknown _984486747.unknown _984486734.unknown _984486738.unknown _984486744.unknown _984486745.unknown _984486739.unknown _984486736.unknown _984486737.unknown _984486735.unknown _984486730.unknown _984486732.unknown _984486733.unknown _984486731.unknown _984486728.unknown _984486729.unknown _984486727.unknown _984486718.unknown _984486722.unknown _984486724.unknown _984486725.unknown _984486723.unknown _984486720.unknown _984486721.unknown _984486719.unknown _984486714.unknown _984486716.unknown _984486717.unknown _984486715.unknown _984486712.unknown _984486713.unknown _984486711.unknown _984486667.unknown _984486693.unknown _984486701.unknown _984486705.unknown _984486708.unknown _984486709.unknown _984486706.unknown _984486703.unknown _984486704.unknown _984486702.unknown _984486697.unknown _984486699.unknown _984486700.unknown _984486698.unknown _984486695.unknown _984486696.unknown _984486694.unknown _984486677.unknown _984486685.unknown _984486691.unknown _984486692.unknown _984486686.unknown _984486683.unknown _984486684.unknown _984486682.unknown _984486672.unknown _984486674.unknown _984486676.unknown _984486673.unknown _984486670.unknown _984486671.unknown _984486668.unknown _984486632.unknown _984486654.unknown _984486659.unknown _984486662.unknown _984486664.unknown _984486661.unknown _984486657.unknown _984486658.unknown _984486656.unknown _984486638.unknown _984486641.unknown _984486651.unknown _984486640.unknown _984486634.unknown _984486635.unknown _984486633.unknown _984486617.unknown _984486627.unknown _984486629.unknown _984486631.unknown _984486628.unknown _984486624.unknown _984486625.unknown _984486619.unknown _984486606.unknown _984486612.unknown _984486613.unknown _984486609.unknown _984486604.unknown _984486605.unknown _984486603.unknown