首页 网站扩容建设技术方案

网站扩容建设技术方案

举报
开通vip

网站扩容建设技术方案网站扩容建设技术方案目录11方案概述11.1现状描述21.2需求分析42项目技术方案42.1总体建设原则42.2网络改造方案42.2.1网络改造目标42.2.2网络改造思路52.2.3网络改造的技术特点62.2.4网络改造方案112.2.5网络设备选型建议142.3服务器及存储方案142.3.1服务器方案182.3.2存储容灾备份方案242.4网络安全方案242.4.1安全体系架构242.4.2设计思想及原则262.4.3网络安全风险分析292.4.4网络安全体系构建方案432.4.5安全产品选型建议1方案概述1....

网站扩容建设技术方案
网站扩容建设技术 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 目录11方案概述11.1现状描述21.2需求分析42项目技术方案42.1总体建设原则42.2网络改造方案42.2.1网络改造目标42.2.2网络改造思路52.2.3网络改造的技术特点62.2.4网络改造方案112.2.5网络设备选型建议142.3服务器及存储方案142.3.1服务器方案182.3.2存储容灾备份方案242.4网络安全方案242.4.1安全体系架构242.4.2设计思想及原则262.4.3网络安全风险分析292.4.4网络安全体系构建方案432.4.5安全产品选型建议1方案概述1.1现状描述某是某省委、省政府的新闻和综合网站,某省重点新闻网站和网络新闻总站,某省第四媒体,省一类新闻单位。网站于2001年5月30日正式开通。某按照“就地起步,快速成长,争创一流”的发展思路,以立足某、面向全国、走向世界为理念,以服务广大网民为根本。网站将某省各类资源进行整合,组建某网络新闻宣传的“航母”,打造某网络的强势品牌。某历经三次改版,设有频道十四个,栏目上千个。新闻和信息日更新量超过了2000条。提供最权威、最丰富、最及时的某新闻,并汇集了某社会、经济、文化、生活等各个方面最新信息资讯,是世界了解某的重要窗口。现正逐渐成为某省各级党政领导的办公网、决策网,真正为老百姓办实事的百姓网、呼声网。目前某具体的网络环境如下图所示。网络方面:全网划分为服务器外网、备份网以及办公内网三个部分,其中服务器外网主要是对外提供网站访问和论坛服务;备份网则部署网站和论坛的数据库服务器以及内部的生产服务器,备份网相对独立,不汇聚到核心层,外网服务器通过双网卡的形式直接连入备份网,进行数据读写;办公内网主要为内部用户提供办公以及互联网访问服务。全网核心层采用一台Cisco4503作为单核心,无冗余。网络出口为四条百兆光纤,带宽400M,分别为电信100M独享链路三条,网通100M链路一条;CDN加速带宽30M,服务商为上海帝联信息科技发展有限公司。无线接入则主要采用胖AP的方式。服务器及存储方面:某的服务器为几年前采购的老机型,无论从性能上还是数量上都已无法处理当前访问量的增长。数据存储则是采用分布式的存储架构,未配置磁盘阵列实现集中存储。安全方面:部署了一台100M的抗攻击设备绿盟的黑洞;VPN接入则是通过一台天融信设备所提供的IP-SecVPN方式。1.2需求分析针对某目前的现状,我们给出如下分析:1、网络核心层未提供冗余,易出现单点故障,急需实现双机冗余。2、服务器网的接入层设备品牌繁杂,设备老化,性能和稳定性都无法满足某发展的要求,因此需要对这部分设备进行更新换代。3、大部分内部用户都使用笔记本电脑通过无线的方式接入内网,对无线接入提出了更高的要求,因此需要由目前的胖AP模式,转变为无线控制器+瘦AP的模式,使无线接入更安全,更易管理。4、带宽严重不足,除网通光纤负载率在60%以外,三条电信光纤负载率都达到了85%以上,一旦遇到突发流量,网民访问某变得及其缓慢。因此需要增加带宽,为网民提供更快速更流畅的访问体验。5、为了改善目前20%的服务器占用80%的带宽,导致大部分服务器带宽得不到保障的局面,急需部署流量控制设备,提供流量分析、统计以及审计功能,帮助管理员及时了解网络中的应用分布。网络出现拥堵时,能快速定位被攻击光纤和服务器以及攻击类型,确保正常业务得到带宽保障。6、需要对外联链路进行负载均衡和流量分担,对多家运营商所提供的带宽资源,实现带宽叠加、链路失效替换和智能路径判断。7、随着带宽的升级,目前的黑洞100M设备已不能满足要求,需要将抗DoS攻击设备的处理能力提升至1G,并且部署专业的应用层攻击防护设备,为某提供更全面的防御能力。8、目前某使用的VPN设备为4年前采购的天融信VPN设备,安装上线后碰到很多兼容问 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ,而且传统的IP-SECVPN由于存在诸多弊端,根本不能满足某使用人员和业务部署的需要。因此需通过部署SSLVPN产品,来扩展某内部信息平台的覆盖范围,并保障数据在网络链路上传输的安全性。9、目前某的前台应用服务器已无法处理当前访问量的增长,前台程序服务器平均每天的CPU占用率高达90%以上,碰到大的突发情况CPU占用率会达到100%,造成正常访问极度缓慢。需增购高性能的数据中心服务器以及应用服务器,以满足某访问量的不断增长。10、建设共享式的多协议(SAN、NAS、iSCSI)存储资源池,充分利用各种存储协议的特点实现存储资源的有效整合,并提高存储资源的利用率。实施存储本地容灾,异地(武汉)数据备份,加强数据安全性保护,引入自动化存储配置技术,提高空间部署效率,缩短业务部署时间,提高存储系统服务质量,保证业务快速发展需要。因此本次项目必须依据现有的基础条件,充分考虑性价比,以最小的投资获取最大的效益,不断完善某网络及安全体系,为业务系统创建良好的IT基础,提高某的IT管理水平,进而提高企业总体水平和市场竞争能力。2项目技术方案2.1总体建设原则项目的建设应该遵循如下的原则:—应尽量避免对现网业务的影响;—必须保护已有的设备投资;—新增的设备应符合相应 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 规范要求;—新增的设备应具备进一步扩容的可扩展能力;·新增的设备应具备开放性、灵活性。2.2总体架构针对某的现状以及需求分析,我们建议对某的网络基础、服务器及存储和网络安全体系进行升级改造。改造完成后,某的总体架构将如下图所示:在下面的章节中,我们将从网络改造、服务器及存储以及网络安全三部分来为某提供解决方案。2.3网络改造方案2.3.1网络改造目标考虑到某未来的业务发展,网络平台应能有效很好地支持各现有和规划中的业务系统、支持广域网连接、具有良好网络结构的扩张性、可靠性,同时具有良好的可管理性,最大限度降低网管工作的复杂性。2.3.2网络改造思路某网络平台的改造应以业务为导向,支撑经营的“规模化”和“差异化”,实现多业务的承载。在实际网络改造中,应结合网络和业务实际情况,充分考虑投资保护因素,提高投资效益。具体建设中需体现以下原则:1、网络层次清晰化,构建物理和逻辑层次清晰的二层交换体系。2、网络质量差异化。通过部署区分服务机制,为不同用户和不同业务提供不同QoS等级的差异化服务。3、设备要求规范化。新增设备必须符合公司设备技术规范和选型结果的要求。应尽量减少网内设备厂家数目和型号,核心层、汇聚层每个层面的设备应尽量选用同一厂家产品。2.3.3网络改造的技术特点2.3.3.1开放性与标准化设备使用的各种协议符合网络设备国际标准,基于业界开放性标准,保证本系统能与现有网络及业务系统进行正常互连互通。2.3.3.2具有可扩展性设备采用模块化设计,每个模块具有多个千兆接口接入能力,方便扩展设备容量和提升设备性能;具备支持业务处理的灵活配置,业务功能的重组与更新的灵活性。接入设备具足够的快速以太网接入接口,具有线速交换能力。2.3.3.3安全可靠性网络各节点提供双交换引擎,双电源保障。提供良好的安全可靠性策略,支持多种安全可靠性技术手段,制定严格的安全可靠性管理措施。2.3.3.4先进性采用先进成熟的设备和技术,确保系统的技术先进性,保证投资的有效性和延续性。提供业务流量的线速转发,具有QoS保障、完善的安全管理机制,满足用户对多业务、高可靠、大容量和模块化的需求。2.3.3.5投资保护工程选择的设备一方面要考虑设备的先进性,另一方面本着资源充分利用的原则,既要保护原有的投资利益,节约投资,又要保障设备的二次利用。2.3.3.6统一性虽然在以太网交换领域已经有了各种国际标准,但不同的厂商在实现交换协议时都作了较大的增强,为了充分利用这些增强功能,实现无缝的连接,建议选择网络产品时应注意统一性。选择产品系列具有相同软硬结构设计和功能特性的厂商以保障互操作性和平滑升级能力。2.3.4网络改造方案2.3.4.1方案概述考虑到整个网络为基于铜缆连接的多应用型网络,我们决定采用星型拓扑结构作为整个网络的主拓扑结构,其主要依据是:星型结构符合企业的组织结构和信息流向的特点,结构灵活,使用和扩展都十分灵活,同时易于管理,无论从物理上还是逻辑上划分子网都非常方便,基本可以满足不同场合对网络带宽的需求。根据设计原则和设计基础的要求,采用目前流行的二级交换体系来设计某的网络系统,建立二层路由交换结构的好处在于:核心交换机通过千兆铜缆上连至核心交换机,通过中心来实现路由交换。这样设计能最大限度地节约有限的主干带宽,使网络的整体性能和效率得到最大限度的提升,并将整个网络结构划分为核心层,接入层二级层次。网络拓扑如下图所示。改造后的网络拓扑结构图2.3.4.2核心层改造方案第一层为网络核心层,两台CiscoCatalyst4507R及CiscoCatalyst4503之间启用HSRP(热备份交换机协议)实现冗余热备份。其中一台处于ACTIVE状态,另外一台处于STANDBY状态,当主用4500因电源或不可控因素造成DOWN机时,备用4500将启用,替代主核心成为网络承载的核心体,对于终端用户来说,这个过程几乎是透明的,终端用户感觉不到网络核心的替换。核心层设备承担的任务主要是接入层间信息的交流和分发与管理,因此核心层设备是整个网络的中心枢纽,应具有强大的交换能力和高可靠性。同时,核心层设备应该具有强大的安全防护能力和冗余能力,保证不会因单点故障而影响整个系统的正常运行。在实际应用中,核心层设备还应具有部分的接入层设备的功能,实现部分桌面节点的接入。这样可以适当降低实施成本。2.3.4.3接入层改造方案第二层为接入层,主要有接入交换机和无线AP组成;主要提供终端PC的的固定点接入和无线接入。由于服务器网的接入层设备品牌繁杂,设备老化,性能和稳定性都无法满足某发展的要求,因此本次改造将对这部分设备进行更新换代,而更换下的设备则可部署在办公内网,实现利旧。2.3.4.4无线接入方案WLAN技术可以替代现有的传统有线网络或者作为其延伸以拓展它的覆盖范围和容量。在室内应用时,无线可以同时支持移动和有线连接计算。在会议室、办公区、客户等候区等位置配置无线AP,对该区域进行无线覆盖,为无线用户提供11-54M的网络接入,提高办公人员的机动性。无线接入方式采用瘦AP模式,在中心机房安装无线控制器,所有无线AP接受无线控制器的统一管理与配置,减轻用户在无线网配置上的负担。为简化线路,要求无线AP满足IEEE802.3af标准要求,支持POE(以太网供电),若接入交换机不支持IEEE802.3af标准要求,则无线AP需要配置电源。无线局域网采用IEEE802.11a/g/n标准,在使用支持IEEE802.11g的终端接入时,可获得最高54Mbps的接入速度。根据每AP最佳并发接入30个用户的标准,以及Wlan所需覆盖的办公区域面积测算,公司无线接入共需设立约12个无线接入点。2.3.4.5远程接入规划远程接入规划示意图随着某业务的发展,需要更快的应对各种突发事件,使身处事件发生现场和异地办公的人员能够将新闻、事件的报道和稿件的审批流程尽量缩短。但目前某的业务系统部署仅能提供在企业内部的人员能够访问,而传统的IP-SECVPN由于存在诸多弊端,根本不能满足某使用人员和业务部署的需要。SSL-VPN产品能够扩展某内部信息平台的覆盖范围,并保障数据在网络链路上传输的安全性。通过部署SSL-VPN设备,能够使某方便的发布对社会公众提供的高级别信息服务,也能使内部人员在任何地域(办公场所、家、新闻现场、网吧等)、使用任何设备(PDA、手机、笔记本、电脑等)访问内部应用系统,加速新闻采集、审批、发布的流程,真正做到应用随需而变。需要注意的是,目前某应用存在B/S、C/S等多种模式,因此SSLVPN应该能通过用户可选的客户端插件形式为终端用户分配虚拟IP,并通过SSL隧道建立三层隧道,实现与传统IPSECVPN客户端一样的终端网络功能。2.3.4.6带宽扩容方案某08年阅读数从日均330万上升到496万,09年将达到620万。根据业务增长速度,逐步增加带宽。09年拟将电信带宽增加至600M;网通保持100M;新增铁通100M;CDN增加至100M。另外增加1G的CDN直播动态调用带宽,这个是以直播次数和每次使用多少带宽为标准收费的。日后根据实际需求,将电信带宽逐步增加至1G带宽,CDN增加至400M。 应用 现在所占带宽(Mbps) 目前实际需要带宽(Mbps) 需增的带宽(Mbps) 新闻 40 80 40 新闻图片 33 60 27 论坛、博客 80 150 70 小程序 10 30 20 视频直播 50 150 100 合计 257以上为主应用业务的基本带宽增加情况,还没有计算短信和Asp等业务,或者以后新增的其它业务的带宽占用情况。某会根据业务的需求灵活调整光纤接入数量。电信带宽扩容,将缓解某电信带宽严重不足的情况,提高电信用户访问某的速度,同时能灵活应对突发流量。新增的铁通带宽,将解决部分铁通用户因为运营商之间的互联问题不能访问某的现象。新的频道放入加速范围,将提升全国各地访问某速度。2.3.4.7流量控制方案为了更好的加强对服务器的管理,必须要有效的控制网络流量。于是网络流量控制和优化变成了目前解决问题的必要手段。建议采用网络流量优化产品来弥补路由器、交换机、防火墙等网络设备无法做到的4至7层的应用管理。多链路接入后流控设备工作于透明模式,两台设备做双机热备,确保网络的稳定性。2.3.4.8服务器负载均衡方案通过在某信息平台中部署两台智能交换机,分别采用单臂旁路方式接入双核心交换机。根据某实际应用需求配置服务器负载均衡功能、状态检测防火墙、连接复用、反向代理缓存、HTTP压缩等功能模块。由于内网服务器众多,利用两台智能交换机可以很方便的组成双ACTIVE群集。通过对这两台智能交换机的配置,不仅可以为内外网众多服务器提供主用服务,还能互相作为备份,随时接管因意外或计划内维护所造成的停机,而不损失业务的高可用性。所有的应用系统服务处理和优化全部由智能交换机来完成,如果后台服务器不能正常提供应用服务,智能交换机将不会把前端用户的应用请求发送给故障服务器。此外,在应用服务器前端部署智能交换机还可为以后的系统扩容提供便利。此架构设计将为整个某对外及对内应用提供较强性能和较高的可靠性,并具备良好的开放性和扩展性。将某多个应用分成多个GROUP(比如静态应用和动态应用),每个GROUP可根据具体的业务情况灵活指定。各个GROUP的用户分别访问各自的虚拟应用服务站点通过四、七层智能交换机安全的连接到具体的应用服务。两台设备上所配置的多个虚拟站点同时工作,组成双Active群集。除为各自的GROUP用户提供服务之外,还充当另外一个虚拟站点的Standby节点为另一个GROUP的用户提供服务备份。4、7层智能交换机部署在应用系统服务器前端,充当反向代理的角色,所有流向后端服务器的数据包首先都需要经过智能交换机拆包进行分析。判断数据包中是否有恶意代码,并根据数据包的实际请求以及后端服务器的健康状况进行应用分配和优化。2.3.5网络设备选型建议2.3.5.1网络交换设备 序号 设备类型 具体配置 数量 1 核心交换机 Catalyst4500Chassis(7-Slot),fan,nop/s,RedSupCapable4500系列7插槽核心交换机主机箱 1 Catalyst45001300WACPowerSupply(DataandPoE)1300瓦冗余电源,支持数据与语音 2 Catalyst4500SupervisorIV(2GE),Console(RJ-45)第四代超级引擎,带2个光纤插槽 1 Catalyst4507RRedundantSupervisorIV,(2GE),Console(RJ-45)第四代超级引擎,带2个光纤插槽(备份) 1 Catalyst4500Enhanced48-Port10/100/1000Base-T(RJ-45)48口10/100/1000模块 3 2 接入交换机 Catalyst35602410/100/1000T+4SFP+IPBImage24口10/100/1000自适应交换机,带4个光纤模块插槽 50 3 无线控制器 4400SeriesWLANControllerforupto25LightweightAPs无线控制器最多可以25个AP 1 4 无线AP 802.11a/g/n-d2.02.4/5-GHzModUnifiedAP;6RP-TNC;China无线AP,支持802.11A/G/N,模块化支持2.4G/5G网络 12 5 备注 三年质保 选型原因:1)业界公认品牌,最好的稳定性及背板,保障网络的稳定性,选择3560和4500系列交换产品;2)思科首倡802.11n无线标准,享誉的产品型号,无线业界良好的市场占有率及客户认同率,选择1252AP;3)方便配置和管理,及安全策略实施,提高工作效率,选择无线局域网控制器产品;4)与某原有的4503核心交换机同属一个系列,板卡互相兼容,减少重复投资,能够很好的进行双机热备等高效应用,并且启用一些思科独有私有协议。2.3.5.2VPN设备 序号 设备类型 具体配置 数量 1 负载均衡设备 SPx28004端口10/100/1000,最大1000用户并发1U标准 1 Add50终端用户许可证SPx2800 1 2 备注 选型原因:1)此设备支持3层和7层协议访问,支持多种应用操作系统;2)支持对客户端IP地址的动态分配、静态分配(特定用户分配特定IP);3)支持多个运营商的光纤同时接入;4)用户测试了天融信、array的VPN设备,在启用三层的时候,而且在本地网段和目标网段是相同IP段的情况下天融信一定要启用VPN的路由模式,启用路由模式后天融信访问速度非常缓慢,由于是启用了路由模式,目标服务器没有办法记录每个VPN客户端的IP访问情况,而只知道通过一个虚拟的IP来访问,所以最终选择了array的设备。2.3.5.3流量控制设备 序号 设备类型 具体配置 数量 1 流量控制设备 AceNetAG1000E,2xGE+8x10/100CopperEthernet,2G数据吞吐量,1M最大并发数,12K安全策略数.AceNetAG1000E,UpgradeLicense 2 2 备注 选型原因:1)此设备采用ASIC的系统架构,添加规则后不影响性能,通过实时带宽监控可以迅速定位和处理流量异常等问题;2)系统能够支持透明,NAT等混合网络工作模式;3)支持多条光纤汇聚后输出。2.3.5.4负载均衡设备 序号 设备类型 具体配置 数量 1 负载均衡设备 APV3520AppVelocityEdition(4GB内存,16口10/100/1000+4SFP,48G背板交换)(incl.Webwall,Clustering,SLB,CACHE) 2 2 备注 选型原因:1)此负载设备可以按每个域名每天生成标志的IIS日志文件以备服务器调用;2)此负载设备可以做双机热备和同时激活,3)用户测试了array、F5、radware等全球知名的负载设备提供商,只有array可以满足用户对日志的和应用方面的需求,所以最终选定如上型号。2.4服务器及存储方案2.4.1服务器方案2.4.1.1设计原则·主流的服务器机型计算机产业是发展迅速的产业,新技术不断涌现,旧产品快速淘汰。选择主流机种可减缓机器更换频率,提高主机的服务年限,更好的利用设备投资。·具有先进的体系架构服务器系统必须具备先进的体系结构,有良好的软硬件支持能力和互操作性。系统平台要提供对多厂家产品的支持能力,并符合国际工业标准,能与不同厂牌的产品兼容,可以有效保护投资,并为应用系统提供良好支持。·具有先进的技术服务器系统必须具备先进的虚拟化技术,集中的处理能,具有增强的虚拟化特性,能跨系统实时分区迁移,资源调度灵活方便。·具有丰富的扩展方式服务器系统在技术上具有强大的扩展能力,能够满足业务量的增长,为增加软件功能提供运行空间,并且具有横向、纵向的扩展能力。·具有完整的高可用解决方案数据集中要求中心服务器系统必须具有极高的稳定性和可靠性,能长时间不停机稳定可靠的运行,主机连续运转后,保障因故障停机前的正常使用时间在3年以上,满足7x24小时的要求。当服务器系统发生软硬件故障或操作错误时,必须能妥善保护全部业务数据,自动发现和排除各种故障,并在最短的时间内自动恢复正常业务处理,应采用包括双机备份,数据恢复等技术,用以满足业务系统高可靠的运行。·具有完善方便的管理技术主机的管理技术是其中必不可少的关键组成部分,要求具备简单、方便、功能齐全、高效率的管理工具。管理技术包括三个组成部分即系统管理、网络管理、机房管理,系统管理是利用系统工具管理硬件软件,从而使系统在安装运行和维护过程中得到可靠保证。网络管理是监控全网络的工作状态,从连通性,安全性,可靠性等方面提供有利支持。机房管理是在不同人员工作分配等方面提供一定方法。2.4.1.2系统架构分析服务器系统总体架构优缺点分析如下:·主备方式的服务器架构这种架构的好处是架构最为简洁,系统管理和维护非常容易。但是当业务量非常大时,对单台服务器(不论是生产主机还是备份主机)的处理能力要求很高。当单台服务器处理能力不足时,必须增加服务器的CPU和内存等配置;当单台服务器的配置达到最高仍无法满足业务处理能力时,则必须升级到更高档和更高配置的新的服务器。·单数据库服务器单应用服务器的主机和应用架构这种架构的好处是架构投资相对适中,系统整体的性能较好,系统管理和维护相对容易,且极大的降低了主备服务器架构下对单台服务器处理能力的性能压力。但这种架构的不足或者说局限性也基本上和主备服务器架构相同。当业务量非常大时,对单台服务器(不论是应用服务器还是数据服务器)的处理能力要求亦很高。当单台服务器处理能力不足时,必须增加服务器的CPU和内存等配置;当单台服务器的配置达到最高仍无法满足业务处理能力时,则必须升级到更高档和更高配置的新的服务器。而且,系统的安全性有一定的隐患,如果两台运行主机同时出现问题,一台主机无法承受两台主机的系统负载。·单数据库服务器多应用服务器的主机和应用架构这种架构已经是一种比较复杂的架构,系统管理和维护有相当难度。这种架构完全解决了单台应用服务器处理能力可能不足的问题,可以根据业务发展和处理能力需要灵活配置多台应用服务器(彼此的机器型号和配置也可以不同)。这种架构的不足或者说局限性主要是单台数据库服务器的处理能力方面。但根据经验,在正常的大业务量的银行核心业务系统中,配置较高的一台数据库服务器一般可以同时支持3台左右的相同配置的应用服务器,也就是说,业务系统对应用服务器和数据库服务器的要求是不对等的,对应用服务器的要求更高一些。·多数据库服务器多应用服务器的主机和应用架构这种架构是目前开放式平台下的一种较为超前的主机架构,系统管理和维护有一定的难度,建设成本最高。但是,这种架构完全解决了单台应用服务器和单台数据库服务器处理能力可能不足的问题,可以根据业务发展和处理能力需要灵活配置多台应用服务器和多台数据库服务器(彼此的机器型号和配置也可以不同)。2.4.1.3服务器架构的选择随着某存储信息量的不断增长,为了保证业务工作不因服务器的故障而停止,保证业务工作的及时完成,建立服务器集群系统已显其重要性和紧迫性。因此建议应用服务器和数据库服务器选择多服务器的集群模式,实现负载均衡和冗余备份。2.4.1.4服务器处理性能估算1、互动栏目数据库服务器互动栏目数据库的处理能力需求主要体现在业务高峰时期,数据库处理能力支持所需最大并发用户同时处理互动栏目事务的能力。预计某未来五年会达到200万注册用户的规模,若平均每个用户每月访问某互动栏目20次,则平均有2000000x20/30/24/60=925.9次/分,平均每个用户在一分钟内提交5个业务操作请求,平均每个请求需要2个操作。峰值按平均值的2倍计算。则每分钟的峰值受理业务925.9x5x2x2=18519,每个操作实际交易对应6个tpmc值计算,再考虑30%的冗余,这样系统的TPC-C值应达到:18519x6/70%=158734tpmc。根据系统对TPC-C值的要求,建议配置8个4核CPU和64G以上内存,配置6块300G硬盘。2、新闻栏目数据库服务器新闻栏目数据库的处理能力需求主要体现在业务高峰时期,数据库处理能力支持所需最大并发用户同时处理新闻栏目事务的能力。某09年的日均访问量约为620,预计未来五年日均访问量将会达到800万,则平均有8000000/24/60=5555.6次/分,平均每次访问在一分钟内提交2个业务操作请求,平均每个请求需要2个操作。峰值按平均值的2倍计算。则每分钟的峰值受理业务5556x2x2x2=33336,每个操作实际交易对应2个tpmc值计算,再考虑30%的冗余,这样系统的TPC-C值应达到:33336x2/70%=95246tpmc。根据系统对TPC-C值的要求,建议配置4个4核CPU和32G内存,配置6块300G硬盘。考虑到此服务器将支持某新闻栏目核心数据库,因此从可靠性角度考虑,建议配置2台服务器实现冗余。3、应用服务器应用服务器主要用于存放新闻前台、新闻图片前台、动态程序前台、统一上传程序前台以及政府及企业上网程序等,对与数据处理性能要求并不高,因此建议应用服务器可采用一般配置的PC服务器,参考配置为2个4核CPU,8G内存,配置2块300G硬盘。2.4.1.5服务器选型建议 序号 设备类型 具体配置 数量 1 互动栏目数据中心服务器 8xAMDOPTERON8374四核处理器、128GBDDRIIECC667内存、6x300G15Krpm热插拔SAS硬盘、256MSASRAID卡支持RAID0,1,5,6、4个千兆网卡、DVD光驱、冗余热拔插电源、五年原厂服务(出具原厂证明) 1 2 新闻数据中心服务器 4xAMDOPTERON8374四核处理器、32GBDDRIIECC667内存、6x300G15Krpm热插拔SAS硬盘、256MSASRAID卡支持RAID0,1,5,6、4个千兆网卡、DVD光驱、冗余热拔插电源、五年原厂服务(出具原厂证明) 2 3 应用服务器 2xAMDOPTERON2378四核处理器、8GBDDRIIECC667内存、2x300G15Krpm热插拔SAS硬盘、256MSASRAID卡支持RAID0,1,5,6、4个千兆网卡、DVD光驱、冗余热拔插电源、五年原厂服务(出具原厂证明) 18 4 备注 选型原因:1)曙光服务器可提供五年原厂服务;2)用户一直使用曙光服务器,对其性能以及稳定性都有很高的评价;3)曙光服务器相对于IBM、Dell、HP等国外品牌服务器具有更高的性价比。2.4.2存储容灾备份方案2.4.2.1建设目标目前某某业务越来越多,系统也越来越多样,围绕这些业务系统的数据存储平台的建设应跟上业务系统实际发展的需要。因此,根据用户要求,系统建设目标如下:建设共享式的多协议(SAN、NAS、iSCSI)存储资源池,充分利用各种存储协议的特点实现存储资源的有效整合,并提高存储资源的利用率;实施存储本地容灾,异地(武汉)数据备份,加强数据安全性保护引入自动化存储配置技术,提高空间部署效率,缩短业务部署时间简化系统管理,降低系统运维成本提高存储系统服务质量,保证业务快速发展需要2.4.2.2存储架构设计综上所述,我们根据某的实际需要进行了相关系统的存储架构设计,系统设计如下:采用FAS3140存储组成容灾系统,异地备份储存采用FAS2020。所有储存硬件均冗余设计。主数据中心和容灾数据中心之间可以利用现有的IP网络或构建新的FC链路,通过NetApp的远程复制容灾软件实现数据同步镜像。当主存储磁盘上的数据产生故障时,能启用容灾存储上的镜像数据。主存储和异地备份储存将会分布在两个不同的城市,但是之间IP网络可以互通,可以采用基于存储端的块级增量备份软件-snapvault通过IP网络进行异地磁盘到磁盘的数据备份和归档。基于存储端的Snapvault磁盘备份,是一种块级别的增量备份方式,因此每次备份的数据量取决于实际的数据块变化量,因此对网络的开销很小。2.4.2.3设计原则1)统一部署思想、集中存储与管理;2)采用存储的虚拟化技术,减少总体拥有成本(TCO),增加投资回报(ROI);3)采用先进的存储架构消除各部门间垒壁、各系统信息孤岛;4)保证3-5年的信息容量增长。2.4.2.4存储备份系统功能设计建立统一的存储系统,其目的就是进行某数据集中保护、分级保存、集中管理和共享。建立一个良好的存储系统,可以有效地保存重要的信息,保障正常业务的进行;还可以更好地利用信息资源,提高工作效率和水平。数据存储的功能要求如下:·支持多种操作系统;·支持多种数据库;·支持磁盘阵列、磁带库多种存储备份设备;·分级存储;·支持SAN架构;·提供海量存储;·设备满足较高的扩展性;·提供磁盘阵列管理。2.4.2.5存储备份系统性能设计数据存储备份系统的设计和建设,要围绕项目建设的总体目标,结合应用服务平台的建设内容,以数据采集和数据通信网络为基础,采用先进的存储技术,建立协调的运行机制和科学的管理模式,构建完善的数据存储管理体系,实现高效的网络数据交换和共享访问,为资源管理提供全面的、多维的、多尺度、多分辨率、多时段的信息服务。为防止数据灾难,尽可能地缩短宕机时间,保证数据安全,为数据恢复提供保障,系统应当满足以下性能要求:1)高可用性。整体系统要具有极强的稳定性,使系统能够长时间安全可靠地持续运转。因此数据系统的设计首先要建立一套高效的存储系统,包括采用先进的存储技术和先进的存储设备。2)高可靠性。支持容错存储。备份前自动对文件进行病毒扫描,能够确保备份的资料并未遭受病毒感染,以后再读出验证以及提供同位检查信息,能确保存储在磁带媒体上的资料是正确的。3)高性能。要求选择的设备能在短时间内对大量的资料进行备份,把资料写到备份存储上,提供高速的备份能力。同时还可以提供多种不同的文件恢复方式,如:整个硬盘恢复、目录恢复或单个文件恢复等能力,以增加使用者在使用上的灵活性。4)高时效性。本系统的建设采用SAN架构,利用两台服务器集群做数据中心的数据存储服务器,当主服务器出现故障或其他原因停机时,备用服务器应当尽快接管主服务器的所有业务。在时间要求上,系统切换要小于十分钟,业务切换要小于半小时。2.4.2.6备份策略对于系统的备份可以将要备份的数据划分成两部分,一部分是纯操作系统数据的备份,另一部分是系统中的应用数据。通常来讲,操作系统数据只有安装系统软件包或改变一些系统配置时才会改变,对于它的备份可以比较灵活,只需要在系统变更后进行一次操作系统全备份即可,也可以定义在备份策略中每周做一次全备份。对于应用数据,它与应用密切相关,相对而言,它的数据变化也会频繁。需要每周做一次全备份,每天做差分增量备份,每周三做累计增量备份。2.4.2.7存储备份系统容量计算某目前注册用户数约为80万,考虑今后五年业务发展,按200万计算,则数据量计算如下:1、注册用户。文本信息按每一用户10K计算,图像信息按每一用户50K计算,则(50+10)×200万/1024/1024=115G。2、目前论坛、博客、社区以及新闻记录数约为2000万条,并以每年500万条递增,其中65%为文字信息,20%为图片信息,15%为附件。每条文本信息按10K计算,则10K×(2000万+500万×5年)×65%/1024/1024=279G。每张图片信息按50K计算,则50K×(2000万+500万×5年)×20%/1024/1024=429G。每个附件按1M计算,则1M×(2000万+500万×5年)×15%/1024=6740G。3、其他业务信息每年按100G计算,5年为5×100=500G。某的数据存储总量为:115+279+429+6740+500=8063G。另外文件系统按10G计算。因此,某数据中心需要的存储为:8063G+10G=8073G,考虑30%的冗余,这样需要的有效容量为:8073Gx(1+30%)/1024=10.249TB。如采用RAID5磁盘阵列模式,则总队数据中心需要的存储物理容量为:10249TB/0.8=12.811TB。因此根据以上系统数据量分析并考虑业务的发展,我们建议配置的存储容量为16T。2.4.2.8存储备份设备选型建议 序号 设备类型 具体配置 数量 1 存储设备 NetAppFAS3140:支持FCP协议、iSCSI协议、CIFS协议;6个4GB_FC端口,6个IP端口;快照软件、重复数据删除软件、虚拟空间调配软件、灾备数据同步软件、数据备份软件(主);14x450GB,15K,FC,HDD;14x1TB,7.2K,SATA,HDD;提供三年NBD备件递送及工程师更换服务,软件版本升级服务。 2 2 异地备份设备 NetApp:FAS2020:支持FCP协议、iSCSI协议、HTTP协议;4个4GB_FC端口,4个IP端口;快照软件、重复数据删除软件、虚拟空间调配软件、数据备份软件(次);12x1TB,7.2K,SATA,HDD;提供三年NBD备件递送及工程师更换服务,软件版本升级服务。 1 3 备注 选型原因:4)为各种IT应用系统构建一个安全、稳定、高效的存储平台,对各种数据进行集中存储管理;5)一台存储控制器能同时支持SAN、NAS、iSCSI,因此用统一存储进行该平台的构建,能应对各种应用主机对存储的不同等级和类型的需求,大大降低了管理复杂度和投资成本,同时也降低了故障率;6)虚拟存储能提供空间虚拟分配(灵活卷技术)简化存储容量方面的管理和提高存储空间利用率;7)存储系统的秒级数据快照(Snapshot)能提供更多的数据高效保护和快速恢复(SnapRestore);8)主存储具有重复数据删除功能,能对SAN、NAS、iSCSI数据卷进行磁盘底层的重复数据删除,则能进一步提高存储空间利用率,增强投资保护;9)主中心的2台存储系统能进行基于存储控制器的数据同步镜像,并在故障时自动切换,确保数据的物理安全性;10)通过存储系统将主中心的数据向异地的灾备存储进行数据备份,每次传输数据改变量,但是在灾备存储上体现均为完整数据备份,确保数据的逻辑安全和灾难保护;11)测试了DELL、HP、NETAPP等全球知名的存储设备供应商,只有NETAPP可以满足用户对于存储平台构建的要求,所以最终选定如上型号。2.5网络安全方案2.5.1安全体系架构一个全方位的计算机网络安全体系结构包含安全管理体系、安全技术体系以及安全运维体系等。如上图所示,在某我们应该以安全策略为指导,基于统一的信息安全技术体系和管理体系,通过安全运维中心,实现全面的安全技术防护和安全管理服务。其中技术手段是安全保障的基础,管理手段是技术手段真正发挥效益的关键,而管理措施的正确实施则需要有技术手段来监管和验证。如何构建某的安全平台是本章内容的目的。本章内容将根据某网络的结构特点提出安全平台的规划方案。2.5.2设计思想及原则1、设计思想网络安全是一个必须解决的重要问题,同时也是一个极其复杂的问题。考虑安全层次、技术难度及经费支出等因素,在设计方案时我们遵循了如下设计思想:尽可能地提高系统的安全性和可靠性。保持网络原有的性能特点,即对网络的协议和传输具有很好的透明性。易于操作、维护,并便于自动化管理,而不增加或少增加附加操作。尽量不影响原网络拓扑结构,便于系统结构及系统功能的扩展。安全保密系统具有较好的性能价格比,一次性投资,可以长期使用。以“承认漏洞、正视威胁、适度防护、加强检测、落实反应和建立威慑”为指导思想,以突出网络级的安全监控预警体系为重点,有效地提高企业对计算机信息系统自身安全漏洞和内外部攻击行为的检测、管理、监控和实时处理能力,要实现合理的评估信息系统安全事件、有效地实时阻断非法和违规网络活动、准确地提供违规行为的全部审计档案的动态适应安全目标。2、设计原则网络安全体系的核心目标是实现对网络系统和应用操作过程的有效控制和管理。任何安全系统必须建立在技术、组织和制度这三个基础之上。在设计网络安全系统时,我们将遵循以下原则:1)需求、风险、代价平衡分析的原则对任一网络来说,绝对安全难以达到,也不一定必要。对一个网络要进行实际分析,对网络面临的威胁及可能承担的风险进行定性与定量相结合的分析,然后制定规范和措施,确定本系统的安全策略。保护成本、被保护信息的价值必须平衡,价值仅1万元的信息如果用5万元的技术和设备去保护是一种不适当的保护。2)综合性、整体性原则运用系统工程的观点、方法,分析网络的安全问题,并制定具体措施。一个较好的安全措施往往是多种方法适当综合的应用结果。一个计算机网络包括个人、设备、软件、数据等环节。它们在网络安全中的地位和影响作用,只有从系统综合的整体角度去看待和分析,才可能获得有效、可行的措施。3)一致性原则这主要是指网络安全问题应与整个网络的工作周期(或生命周期)同时存在,制定的安全体系结构必须与网络的安全需求相一致。实际上,在网络建设之初就考虑网络安全对策,比等网络建设好后再考虑,不但容易,而且花费也少得多。4)易操作性原则安全措施要由人来完成,如果措施过于复杂,对人的要求过高,本身就降低了安全性。其次,采用的措施不能影响系统正常运行。5)适应性、灵活性原则安全措施必须能随着网络性能及安全需求的变化而变化,要容易适应、容易修改。6)多重保护原则任何安全保护措施都不是绝对安全的,都可能被攻破。但是建立一个多重保护系统,各层保护相互补充,当一层保护被攻破时,其它层保护仍可保护信息的安全。2.5.3网络安全风险分析由于目前网络的应用的自由性、广泛性以及黑客的“流行”,网络面临着各种安全威胁。如:非授权访问、信息泄露、数据被篡改或丢失等。一旦信息泄露或者信息混乱,将给企业自身信誉、社会稳定、国家安全带来巨大影响。为了便于分析网络安全风险和设计网络安全解决方案,我们采取对网络分层的方法,并且在每个层面上进行细致的分析,根据风险分析的结果设计出符合具体实际的、可行的网络安全整体解决方案。从系统和应用出发,网络的安全因素可以划分到如下的五个安全层中,即安全管理、物理层、网络层、系统层、应用层。2.5.3.1安全管理风险分析最安全的网络设备离不开人的管理,再好的安全策略最终要靠人来实现,因此管理是整个网络安全中最为重要的一环,尤其是对于一个比较庞大和复杂的网络,更是如此。因此我们有必要认真的分析管理所带来的安全风险,并采取相应的安全措施。某网络系统应按照国家关于计算机和网络的一些安全管理条例,如《计算站场地安全要求》、《中华人民共和国计算机信息系统安全保护条例》等,制订安全 管理制度 档案管理制度下载食品安全管理制度下载三类维修管理制度下载财务管理制度免费下载安全设施管理制度下载 。责权不明,管理混乱、安全管理制度不健全及缺乏可操作性等都可能引起管理安全的风险。责权不明,管理混乱,使得一些员工或管理员随便让一些非本地员工甚至外来人员进入计算机房重地,或者员工有意无意泄漏他们所知道的一些重要信息,而管理上却没有相应制度来约束。当网络出现攻击行为或网络受到其它一些安全威胁时(如内部人员的违规操作等),无法进行实时的检测、监控、报告与预警。同时,当事故发生后,也无法提供黑客攻击行为的追踪线索及破案依据,即缺乏对网络的可控性与可审查性。这就要求我们必须对站点的访问活动进行多层次的记录,及时发现非法入侵行为。建立全新网络安全机制,必须深刻理解网络并能提供直接的解决方案,因此,最可行的做法是管理制度和管理解决方案的结合。2.5.3.2物理层的安全风险分析网络的物理安全风险主要指网络周边环境和物理特性引起的网络设备和线路不可以使用,而造成网络的不可以使用。它是整个网络安全的前提。如:1)设备被盗、被毁坏2)链路老化或被有意或者无意的破坏3)因电子辐射造成信息泄露4)设备意外故障、停电5)地震、火灾、水灾等自然灾害因此,在网络安全考虑时,首先要考虑物理安全。例如:设备被盗、被毁坏;设备老化、意外故障;计算机系统通过无线电辐射泄露秘密信息等。2.5.3.3网络层安全风险分析·数据传输风险分析1)重要业务数据泄漏由于在同级局域网和上下级网络数据传输线路之间存在被窃听的威胁,同时局域网网络内部也存在着内部攻击行为,其中包括登录通行字和一些敏感信息,可能被侵袭者搭线窃取和篡改,造成泄密。如果没有专门的软件或硬件对数据进行控制,所有的广域网通信都将不受限制地进行传输,因此任何一个对通信进行监测的人都可以对通信数据进行截取。这种形式的“攻击”是相对比较容易成功的,只要使用现在可以很容易得到的“包检测”软件即可。2)重要数据被破坏由于目前尚无安全的数据库及个人终端安全保护措施,还不能抵御来自网络上的各种对数据库及个人终端的攻击。同时一旦不法分子针对网上传输数据做出伪造、删除、窃取、窜改等攻击,都将造成十分严重的影响和损失。存储数据对于用户来说极为重要,如果由于通信线路的质量原因或者人为的恶意篡改,都将导致难以想象的后果,这也是网络犯罪的最大特征。·网络边界风险分析目前公司内部用户有上网需求,但现有的网络安全防范措施还很薄弱,存在的安全风险主要有:1)入侵者通过Sniffer等程序来探测扫描网络及操作系统存在的安全漏洞,如网络IP地址、应用操作系统的类型、开放哪些TCP端口号、系统保存用户名和口令等安全信息的关键文件等,并通过相应攻击程序对内网进行攻击。2)入侵者通过网络监听等先进手段获得内部网用户的用户名、口令等信息,进而假冒内部合法身份进行非法登录,窃取内部网的重要信息。3)入侵者通过发送大量PING数据包对内部网中重要服务器进行攻击,使得服务器超负荷工作以至拒绝服务甚至系统瘫痪。·网络设备的安全风险由于某网络中使用大量的网络设备,如交换机、路由器等。使得这些设备的自身安全性也会直接关系的公司系统和各种网络应用的正常运转。例如,路由设备存在路由信息泄漏、交换机和路由器设备配置风险等。2.5.3.4系统及应用层的安全风险·系统安全风险系统级的安全风险分析主要针对公司专用网络采用的操作系统、数据库、及相关商用产品的安全漏洞和病毒威胁进行分析。公司网络通常采用的操作系统(主要为WINDOWS)本身在安全方面有一定考虑,但服务器、数据库的安全级别较低,存在一些安全隐患。·与INTERNET连接带来的安全隐患为满足公司内部用户上网需求,公司网与INETRNET直接连接,这样网络结构信息极易为攻击者所利用,有人可能在未经授权的情况下非法访问公司的内部网络,窃取信息同时由于二者之间尚无专门的安全防护措施,服务器主机所提供的网络服务也极易被攻击者所利用,发动进一步攻击。即使采用代理服务器进行网络隔离,一旦代理服务器失控,内部网络将直接暴露在INTERNET上。·身份认证漏洞服务系统登录和主机登录使用的是静态口令,口令在一定时间内是不变的,且在数据库中有存储记录,可重复使用。这样非法用户通过网络窃听,非法数据库访问,穷举攻击,重放攻击等手段很容易得到这种静态口令,然后,利用口令,可对资源非法访问和越权操作。2.5.4网络安全体系构建方案2.5.4.1安全管理体系安全管理是公司网络和信息安全的核心内容,包括了风险管理、信息安全策略、规程、标准、方针、基线、信息分级和安全教育等。制定安全管理计划应该采用自顶向下的方法,这就意味着创意、支持和指导都应该从最高管理者中来,如果没有得到管理层足够的支持和指导,IT部门想制定安全计划就可能遇到很多的阻力,最终导致计划的失败。我们建议某可从如下几个方面着手,来实现安全管理。1、注意风险管理风险管理是识别、评估风险,并将这种风险减小到一个可接受的程度,并实行正确的机制以保持这种程度的风险的过程。没有百分之百安全的系统,每个系统都有其脆弱性,我们所需要做的就是识别这些风险,评估它们实际发生地可能性和因此可能造成的破坏,然后采取正确的措施全面减小系统中的风险程度。某在网络信息安全方面可能面临的部分威胁和脆弱点: 薄弱点 利用该弱点的威胁 成功可能性 影响 防火墙缺陷(产品漏洞、体系结构、配置不合理) ·DOS/DDOS攻击·对内部资源的非授权访问·数据操纵 较高 严重 防病毒体系缺陷(覆盖不完备、产品BUG、策略配置和部署不得当) 病毒(木马、蠕虫、移动代码) 高 非常严重 缺乏关键链路和设备的冗余考虑 一切威胁(引起的单点故障) 高 非常严重 缺乏专门的入侵防御措施 各种攻击/非授权访问 较高 非常严重 缺乏完备的接入管理规范 ·病毒、木马·信息偷窃 高 非常严重 缺乏完善的分级加密措施 ·网络侦听·信息窃取 缺乏完备的账号/口令策略 入侵/非授权访问 高 非常严重 缺乏完备的备份/恢复计划 一切威胁 高 非常严重 缺乏完善的审计措施 入侵/非授权访问 高 无法取证和调查 缺乏完备的文件存取策略 非授权访问/信息偷窃 高 非常严重 缺乏应急响应机制和团队 一切威胁 较高 非常严重 缺乏定期的设备更新计划 设备老化 高 严重对于这些风险威胁和脆弱点,应该进行识别、分门别类,还应该通过定量或定性的分析方法计算其潜在损失的实际危害程度,划分出相应等级,然后选择减小、分担或是接受风险。2、制定信息安全策略和规程安全策略是高级管理层决定的一个全面的声明,为机构的安全体系提供基础,涵盖了机构的管理层对于安全在机构内的角色这一方面所作出的决策。实质上是高层面上的非技术性策略,用于保护机构的资产,确保保护资产的机密性、可用性和完整性的安全机制得以实施。某应根据本公司的实际情况,制定相应的信息安全策略,下面是一个可供参考的信息安全策略示例:禁止未经授权的修改和传输,或是传播公司私有的、敏感的、机密的信息。未经授权传播这些信息的后果将导致中止、结束 合同 劳动合同范本免费下载装修合同范本免费下载租赁合同免费下载房屋买卖合同下载劳务合同范本下载 或是承担民事责任并受到严厉的经济犯罪处罚;所有接入公司网络的计算机必须是可管理的,其网络行为必须是可控的;在接收公司以外的任何文档、文件、附件或者应用程序前必须先做病毒扫描来保护当前信息;敏感的专有信息只能被授权用户访问而且要受到严格的访问控制、审计和监控;关键数据必须进行灾备,为公司业务提供可持续保障;网络环境应该提供冗余,减少单点故障的出现;安全官员负责确保这个策略被完全执行。规程则是完成某项任务的详细具体的步骤。规程说明如何将策略应用到操作环境中去。例如上述安全策略规定敏感的专有信息只能被授权用户访问,那么作为支撑的规程就需要说明达到这个目标的步骤:为认证授权定义访问标准,规定访问控制机制应该如何实行和配置,规定如何审计访问活动。规程应该足够详细,以便不同人群都可以理解和使用它。3、实现信息分级我们必须认识到什么样的信息资产对于公司是至关重要的,并给这些信息资产赋予它所背负的价值,这样我们才能测定应该用多少资金和资源去保护它们。数据分级的主要目的就是为了表明各种信息所需的机密性、完整性和可用性的级别。经过初步评估,我们认为某企业的关键资产包括:·所有对企业业务和持续性商业计划产生重要影响的数据和文档;·网站、论坛等服务;·上述服务/应用赖以运行的主机和网段;·数据库服务器、文件服务器、DNS服务器等关键支撑设备;·关键链路上的通信设备和安全产品(如防火墙、防病毒等);在上
本文档为【网站扩容建设技术方案】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: ¥26.0 已有0 人下载
最新资料
资料动态
专题动态
个人认证用户
pyaiw
擅长施工管理及辅助设计,并对施工技术、质量与安全的深入研究
格式:doc
大小:3MB
软件:Word
页数:69
分类:公务员考试
上传时间:2020-03-24
浏览量:2