首页 idc方案项目建议书

idc方案项目建议书

举报
开通vip

idc方案项目建议书RevisedbyPetrelat2021idc方案项目建议书第二章网络方案概述如下图是整个IDC的建设框架,本章将阐述网络框架的建设以及网络管理。网络架构运行在布线系统,供电系统等基础系统之上,同时为主机系统和应用系统提供平台。而在横向结构上,IDC的网络运行离不开网络管理和运营维护。网络架构的可靠,稳定,高效,安全,可扩展,可管理性将直接关系到上层的主机系统和应用系统,也将直接关系到IDC业务的顺利开展和运行。总之,网络架构是IDC建设框架中重要而又承上启下的一环,网络系统的设计是否完善将直接影响到IDC建设的...

idc方案项目建议书
RevisedbyPetrelat2021idc 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 项目建议书第二章网络方案概述如下图是整个IDC的建设框架,本章将阐述网络框架的建设以及网络管理。网络架构运行在布线系统,供电系统等基础系统之上,同时为主机系统和应用系统提供平台。而在横向结构上,IDC的网络运行离不开网络管理和运营维护。网络架构的可靠,稳定,高效,安全,可扩展,可管理性将直接关系到上层的主机系统和应用系统,也将直接关系到IDC业务的顺利开展和运行。总之,网络架构是IDC建设框架中重要而又承上启下的一环,网络系统的 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 是否完善将直接影响到IDC建设的质量。IDC网络架构的整体设计框架如下图所示。IDC的业务将包含接入业务,空间出租业务,托管业务,管理业务和增值业务。本章将在介绍IDC网络设计的同时,阐述每个设计要点对IDC业务的影响和重要性。因为上图中整个IDC建设框架的最终目的是为了IDC业务的开展和拓展,在这个框架的每个部分都必须贯穿为IDC业务开展服务的宗旨。本章将从托管服务,网络安全,Internet连接,内容交换,内容传送,后台连接和网络管理等方面具体阐述IDC网络解决方案对IDC业务的针对性设计。托管服务IDC的基本业务包括网站托管(Webhosting)和主机托管(Co-location)两大类。其中网站托管分为共享式和独享式两种。由于其业务模式的不同,使得其在对网络设计时的要求也不相同。以下分别给出基于两种不同模式时的网络全貌。基于主机托管的IDC网络全貌主机托管是IDC初期为其用户提供的一种基础服务。网站及企业用户自身拥有若干服务器,并把它放置在IDC的机房里,由客户自己进行维护。主机托管业务的特点:投资降低,用户可使用已购买的服务器等设备,无需再作设备投资,并且可采用IDC提供的线路。该业务适合于自身有较强的网络运行维护经验并在数据中心建立之前已投入人力物力建设了网站设备的大型企业用户。如着名的Yahoo、eBay、Amazon。com都采用了主机托管业务。提供主机托管业务的IDC向其用户提供的业务主要包括与Internet网的连接以及提供独立安全的场地,这样对于IDC而言在进行网络设计时必须考虑提高网络连接的速度及可靠性,从而为用户提供高质量的服务。对主机托管业务,IDC可为客户提供nx100M或者千兆独占带宽的电信级专业机房租用服务,包括随时可扩充的独占带宽UPS不间断电源保障24小时实时摄像监控电源控制系统保安系统消防系统以及可选的机柜出租:标准电信级机柜:高2M、深1M或1。2米、宽19英寸每台机柜提供独立电源控制高速以太网接口独立风扇设备基于主机托管业务IDC的网络全貌如下图所示,网络分为Internet连接层、核心层和服务器接入层。在提供主机托管服务给用户时,IDC服务提供商将负责提供Internet连接层、核心层、分布层及服务器接入层的设备并保障其稳定运行。用户则需要自己负责服务器以及包含防火墙等在内的内部网络。有关网络各层的描述,请参见后续相应章节。基于网站托管的IDC网络全貌网站托管是IDC经过发展后而开展的一项业务。用户采用IDC提供的服务器来存放数据,运行软件。总体来讲数据中心的硬件设备主要包括:服务器阵列、网络设备(路由器、交换机)、机房控制设备、防火系统、备用电源、空调设施等。数据服务中心的建设除了必须具有一定面积的机房和相当数量的服务器外,还必须对运维管理、安全系统、监控等设施、工具和专业服务进行深入的考虑。提供网站托管业务的IDC向其用户提供的业务主要包括网络设施及网站托管,这样对于IDC而言在进行网络设计时必须考虑以下要素:提高服务器及Web应用的可访问性,这需要网络具有内容识别(ContentAware)的功能为方便租用主机的用户易于控制及管理其主机内容,提供相应的管理平台。独享式网站托管IDC为用户提供专用主机,这更适合于具有复杂业务的站点。专用主机可以为这些关键应用提供高质量、安全的服务。对于这种业务模型,用户将其服务器包给了数据服务中心经营者,用户不必拥有计算机、网络方面的技术人员而享受数据服务中心所提供的全套专业服务。为了保证服务质量,获得相应的高增值服务费用,IDC服务经营者通常与用户制定SLA(ServiceLevelAgreement)。运营者遵照SLA上规定的条例保证服务的不间断、丢包率、网络响应时间。经营者通过提供例如:平台设计、服务监控、服务品质测试、网络安全管理和缓存等项增值服务加强市场竞争力。对中小型网站而言,无论是从运营维护的角度,还是对整体业务收入而言,与场地租用的服务相比,独享主机服务更能吸引IDC的经营者。根据用户需求的不同,我们可以定义单机,双机集群或包括数据库服务器的独享主机服务包。其他作为独享主机托管服务的一部分还应包括:电信级高品质机房环境和设备可靠的供电系统恒温恒湿控制系统19英寸标准机架10M/100M共享或独占接口独立IP地址服务器配置服务器系统软件安装、调试24×7网络系统管理维护与技术支持24小时实时的服务器运行状态、流量监测详细的访问统计 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 紧急状况的处理共享式网站托管又可称为虚拟主机业务,是指在一种Internet的网站工作环境下,IDC的网络服务器可以容纳许多相互独立的多个网站和Email系统,并且由IDC提供管理维护服务。而每一位客户可以有条件地访问和控制服务器上的一小部分,从而用来构建自己的网站。虚拟主机依托于一台服务器,多个网站可以在这台服务器上共享资源(硬盘空间、处理器以及内存空间),单独的一台服务器上可以同时运行多个虚拟主机。虚拟主机是一种初级的网络系统方案,其用途主要是容纳一些中小型企业应用以及静态网页。在商业网站发展的早期阶段,是系统采取的主要解决方案。其业务需求的前提如下:建设网站系统需要高额的硬件费用;缺乏维护这些系统的有经验的专家;网站比较简单;交互应用程序较少;网络带宽的限制。现在Internet上很多网站都采用虚拟主机系统方案。虚拟主机业务市场将会随着这个产业的发展而不断调整与变化,不断地满足如小型企业、社会团体以及其它仅需要一种简单的网页系统的需求。但由于这种业务模式的技术难度不大,所需投资较小,竞争也比较激烈,利润也较低。在IDC网络建设初期,虚拟主机业务为服务提供商提供了巨大的市场机遇,而且它是实施其他增值服务(例如应用托管业务)的基础。共享式网站托管是深受中、小企业欢迎的一个价廉物美的服务,内容包括:国际、国内域名代理申请URL域名解析FTP访问及其密码修改断点续传支持CGI/Perl支持,专用CGI-BIN目录ActiveX/VBScript支持JAVAApplet/Class支持防火墙保护服务器24小时不间断运行WEB设计服务WEBCounter计数器Banner广告条搜索引擎Email自动转发、回复及邮件列表支持IDC可根据用户对以上功能的选择及对存储空间的要求,定义成不同级别的服务包提供给最终用户。在基于网站托管业务IDC的网络全貌如下图所示,网络分为Internet连接层、核心层、分布层、服务器接入及后台管理平台。在提供网站托管业务时,IDC服务提供商需提供并管理所有各层的设备,对于IDC的用户是完全透明的,从而用户可以专注于其业务而无需负责任何系统的管理。对于网络结构中各层的详细描述,请参见后续相应章节。网络安全众所周知,作为全球使用范围最大的信息网,Internet自身协议的开放性极大地方便了各种计算机连网,拓宽了共享资源。但是,由于在早期网络协议设计上对安全问 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 的忽视,以及在使用和管理上的无政府状态,逐渐使Internet自身的安全受到严重威胁,与它有关的安全事故屡有发生。对网络安全的威胁主要表现在:拒绝服务、非授权访问、冒充合法用户、破坏数据完整性、干扰系统正常运行、利用网络传播病毒、线路窃听等方面。这就要求我们对与Internet互连所带来的安全性问题予以足够重视。IDC以Internet技术体系作为基础,主要特点是以TCP/IP为传输协议和以浏览器/WEB为处理模式。所以我们在IDC的设计中必须充分重视安全问题,尽可能的减少安全漏洞。此外,我们还应该根据IDC的客户需求提供不同的安全服务,同时最大限度的保证IDC网络管理中心(NOC)自身的安全。IDC的安全需求我们把对于IDC的安全需求分为三类:分别是IDC基本服务,IDC增值服务,IDCNOC。对于IDC基本服务的安全需求如下:AAA服务,提供认证,授权及审计的功能防Dos黑客攻击功能线速ACL功能对于IDC增值服务的安全需求如下:AAA服务,提供认证,授权及审计的功能防Dos黑客攻击功能线速ACL功能防火墙及防火墙平滑切换功能入侵检测功能漏洞检测功能线速NAT对于IDCNOC的安全需求如下:AAA服务,提供认证,授权及审计的功能防Dos黑客攻击功能线速ACL功能防火墙及防火墙平滑切换功能入侵检测功能漏洞检测功能线速NATACL的策略管理安全元件的策略管理VPNAAA服务所谓AAA是(Authentication、Authorization、Accounting)的缩写,即认证、授权、记帐功能,简单的说:认证:用户身份的确认,确定允许哪些用户登录,对用户的身份的校验。授权:当用户登录后允许该用户可以干什么,执行哪些操作的授权。记帐:记录用户登录后干了些什么。AAA功能的实施需要两部分的配合:支持AAA的网络设备、AAA服务器。RADIUS/TACACS+是实施AAA常用的协议,认证软件需要有完整的记帐功能,并且可以将USER信息直接导入软件的用户数据库,极大方便的AAA服务的用户管理。在使用AAA的功能后用户通过网络远程登录到网络设备上的基本过程如下:用户执行远程登录命令(例如:Telnet),网络设备提示输入用户姓名、口令。用户输入口令后,网络设备向AAA服务器查询该用户是否有权登录。AAA服务器检索用户数据库,如果该用户允许登录则向网络设备返回PERMIT信息和该用户在该网络设备上可执行的命令同时将用户登录的时间、IP作详细记录;若不能在用户数据库中检索到该用户的信息则返回DENY信息,并可以根据设置向网管工作站发送SNMP的警告消息。当网络设备得到AAA的应答后,可以根据应答的内容作出相应的操作,如果应答为DENY则关闭掉当前的SESSION进程;如果为PERMIT则根据AAA服务器返回的用户权限为该用户开启SESSION进程,并将用户所执行的操作向AAA服务器进行报告。通过AAA的实施我们可以方便的控制网络设备的安全性,同时结合ACL的设置限制能够进行远程登录的工作站的数量、IP地址降低网络设备受到攻击的可能性。防DoS黑客攻击在拒绝服务(DoS)攻击中,恶意用户向服务器发送多个认证请求,使其满负载,并且所有请求的返回地址都是伪造的。当服务器企图将认证结果返回给用户时,它将无法找到这些用户。在这种情况下,服务器只好等待,有时甚至会等待1分钟才能关闭此次连接。当服务器关闭连接之后,攻击者又发送新的一批虚假请求,以上过程又重复发生,直到服务器因过载而拒绝提供服务。分布式拒绝服务(DDOS)把DoS又向前发展了一步。DoS攻击需要攻击者手工操作,而DDOS则将这种攻击行为自动化。与其他分布式概念类似,分布式拒绝服务可以方便地协调从多台计算机上启动的进程。在这种情况下,就会有一股拒绝服务洪流冲击网络,并使其因过载而崩溃。DDOS工作的基本概念如图所示。黒客(client)在不同的主机(handler)上安装大量的DoS服务程序,它们等待来自中央客户端(client)的命令,中央客户端随后通知全体受控服务程序(agent),并指示它们对一个特定目标发送尽可能多的网络访问请求。该工具将攻击一个目标的任务分配给所有可能的DoS服务程序,这就是它被叫做分布式DoS的原因。实际的攻击并不仅仅是简单地发送海量信息,而是采用DDOS的变种工具,这些工具可以利用网络协议的缺陷使攻击力更强大或者使追踪攻击者变得更困难。首先,现在的DDOS工具基本上都可以伪装源地址。它们发送原始的IP包(rawIPpacket),由于Internet协议本身的缺陷,IP包中包括的源地址是可以伪装的,这也是追踪DDOS攻击者很困难的主要原因。其次,DDOS也可以利用协议的缺陷,例如,它可以通过SYN打开半开的TCP连接,这是一个很老且早已为人所熟知的协议缺陷。为了使攻击力更强,DDOS通常会利用任何一种通过发送单独的数据包就能探测到的协议缺陷,并利用这些缺陷进行攻击。防范攻击的措施1。过滤进网和出网的流量网络服务提供商应该实施进网流量过滤措施,目的是阻止任何伪造IP地址的数据包进入网络,从而从源头阻止诸如DDOS这样的分布式网络攻击的发生或削弱其攻击效果。2。采用网络入侵检测系统IDS当系统收到来自奇怪或未知地址的可疑流量时,网络入侵检测系统IDS(IntrusionDetectionSystems)能够给系统管理人员发出报警信号,提醒他们及时采取应对措施,如切断连接或反向跟踪等。3。具体措施在路由器和Web交换机上,它将丢弃下列类型的数据帧:长度太短;帧被分段;源地址与目的地址相同;源地址为我们的内部地址,或源地址为子网广播地址;源地址不是单播地址;源地址是环回地址;目的地址是环回地址;目的地址不是有效的单播或组播地址此外,对于HTTP数据流,WEB交换机必须在HTTP流启动后的16秒内接受一个有效的帧,否则它将丢弃这个帧并中断这个流;对于TCP数据流,WEB交换机必须在16秒内接受一个返回的ack,否则它将终止这个TCP流;对于任意尝试过8次以上SYN的数据流,WEB交换机将终止这个流,并且停止处理同样SYN,源地址,目的地址及端口号对的数据流。在核心交换机上我们可以用线速的ACL来达到上述类似的帧丢弃策略,我们还可以用CAR的方法对ping及SYN的数据流进行带宽控制,以预防DDOS的攻击。漏洞检测漏洞检测(VulnerabilityScanner)就是对重要计算机信息系统进行检查,发现其中可被黑客利用的漏洞。漏洞检测的结果实际上就是系统安全性能的一个评估,它指出了哪些攻击是可能的,因此成为安全方案的一个重要组成部分。安全扫描服务器可以对网络设备进行自动的安全漏洞检测和 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 ,并且在实行过程中支持基于策略的安全风险管理过程。另外,互联网扫描执行预定的或事件驱动的网络探测,包括对网络通信服务、操作系统、路由器、电子邮件、Web服务器、防火墙和应用程序的检测,从而去识别能被入侵者利用来进入网络的漏洞。安全扫描服务器同时能进行系统扫描。系统扫描通过对企业内部操作系统安全弱点的完全的分析,帮助组织管理安全风险。系统扫描通过比较规定的安全策略和实际的主机配置来发现潜在的安全风险,包括缺少安全补丁、词典中可猜的口令、不适当的用户权限、不正确的系统登录权限、不安全的服务配置和代表攻击的可疑的行为。系统安全扫描还可以修复有问题的系统,自动产生文件所有权和文件权限的修复脚本。安全扫描服务器能提供实时入侵检测和实时报警。当收到安全性消息时,图形用户界面上相应的主机状态颜色和安全性消息组的图标都应有相应变化,以帮助操作人员快速地确定报警的原因和范畴。入侵检测入侵检测(IntrudeDetection)具有监视分析用户和系统的行为、审计系统配置和漏洞、评估敏感系统和数据的完整性、识别攻击行为、对异常行为进行统计、自动地收集和系统相关的补丁、进行审计跟踪识别违反安全法规的行为、使用诱骗服务器记录黑客行为等功能,使系统管理员可以较有效地监视、审计、评估自己的系统。实时入侵检测系统解决方案,用于检测、报告和终止整个网络中未经授权的活动。它可以在Internet和内部网环境中操作,保护整个网络。入侵检测系统包括两个部件:Sensor和Director。Sensor不影响网络性能,它分析各个数据包的内容和上下文,决定流量是否未经授权。如果一个网络的数据流遇到未经授权的活动,例如SATAN攻击、PING攻击或秘密的研究项目代码字,Sensor可以实时检测政策违规,给Director管理控制台转发告警,并从网络删除入侵者。基于网络的实时入侵检测系统,能够监控整个数据网络,需要是具备最新攻击检测功能的稳健的全天候监控和应答系统,能在本地、地区和总部监视控制台之间指导和转发告警的分布式入侵检测系统。同时需要能够允许部署大量Sensor和Director的可伸缩的体系结构,在大型网络环境中提供全面的覆盖面,与现有网络管理工具和实践平滑集成的入侵检测系统。入侵检测系统通常具有的关键特性包括:对合法流量/网络使用透明的实时入侵检测对未经授权活动的实时应对可以阻止黑客访问网络或终止违规会话全面的攻击签名目录可以检测广泛的攻击,检测基于内容和上下文的攻击支持广泛的速度和接口类型,包括10/100Mbps以太网、令牌环网和FDDI告警包括攻击者和目的地IP地址、目的地端口、攻击介绍以及捕获的攻击前键入的字符适合特大规模分布式网络的可伸缩性专用VLANIDC环境是一个典型的多客户的服务器群结构,每个托管客户从一个公共的数据中心中的一系列服务器上提供Web服务。这样,属于不同客户的服务器之间的安全就显得至关重要。一个保证托管客户之间安全的通用方法就是给每个客户分配一个VLAN和相关的IP子网。通过使用VLAN,每个客户被从第2层隔离开,可以防止任何恶意的行为和Ethernet的信息探听。然而,这种分配每个客户单一VLAN和IP子网的模型造成了巨大的扩展方面的局限。这些局限主要有以下几方面:VLAN的限制:LAN交换机固有的VLAN数目的限制复杂的STP:对于每个VLAN,一个相关的Spanning-tree的拓扑都需要管理IP地址的紧缺:IP子网的划分势必造成一些地址的浪费路由的限制:如果使用HSRP,每个子网都需相应的缺省网关的配置在一个IDC中,流量的流向几乎都是在服务器与客户之间,而服务器间的横向的通信几乎没有。Cisco在IP地址管理方案中引入了一种新的VLAN机制,服务器同在一个子网中,但服务器只能与自己的缺省网关通信。这一新的VLAN特性就是专用VLAN(privateVLAN,pVLAN)。这种特性是Cisco公司的专有技术,但特别适用于IDC。专用VLAN是第2层的机制,在同一个2层域中有两类不同安全级别的访问端口。与服务器连接的端口称作专用端口(privateport),一个专用端口限定在第2层,它只能发送流量到混杂端口,也只能检测从混杂端口来的流量。混杂端口(promiscuousport)没有专用端口的限定,它与路由器或第3层交换机接口相连。简单地说,在一个专用VLAN内,专用端口收到的流量只能发往混杂端口,混杂端口收到的流量可以发往所有端口(混杂端口和专用端口)。下图示出了同一专用VLAN中两类端口的关系。专用VLAN的应用在多客户的数据中心是非常有效的,因为IDC的网络中,服务器只需与自己的缺省网关连接,一个专用VLAN不需要多个VLAN和IP子网就提供了这样的安全连接。在这一模型中,所有的服务器都接入专用VLAN,从而实现了所有服务器与缺省网关的连接,而与专用VLAN内的其他服务器没有任何访问。目前,Cisco的CatalystSwitch6000/6500系列交换机支持专用VLAN。Internet连接作为IDC网络与公共IP骨干网络的接口,Internet连接层提供了IDC与公共IP网的桥梁,它的运行情况直接关系到IDC为其用户所提供的服务的质量,这就要求该层的设备必须具有以下的特点:·高速的路由交换能力·对各种高级路由协议(如BGP等)的全面支持·具备丰富的接口类型·完善的QOS支持能力在Internet连接层配置高端路由器,使用高速连接到IP骨干网,并以全冗余方式与核心层互连。借助于这些高端路由器的高性能及丰富的特性,提供全冗余、高速、高性能网络核心。骨干接入作为IDC网络与公共IP骨干网络的接口,Internet连接层提供了IDC与公共IP网的桥梁,它的运行情况直接关系到IDC为其用户所提供的服务的质量,这就要求该层的设备必须具有以下的特点:·高速的路由交换能力·对各种高级路由协议(如BGP等)的全面支持·具备丰富的接口类型·完善的QOS支持能力在Internet连接层配置高端路由器,使用高速连接到IP骨干网,并以全冗余方式与核心层互连。借助于这些高端路由器的高性能及丰富的特性,提供全冗余、高速、高性能网络核心。带宽管理在IDC的业务中,通常针对提供不同的带宽收取不同的费用,所以带宽管理成为Internet连接中提供服务质量的重要保证。识别网络流量IDC的带宽管理需要支持多种协议和应用程序,并且可以根据自己的需要,自行设定相应的标准来区分更多的类型。可以通过应用、服务、协议、端口数、URL或通配符(用于Web通信)、主机名称、优先权、以及IP或MAC地址对通信量进行分类。只有这样才能对用户提供完善的带宽管理机制。像HTTP、FTP和Telnet这样的IP协议,以及像SNA、NetBIOS和AppleTalk这样的非IP协议,带宽管理都应该能自动识别,并根据用户的需要进行有效的处理。例如,你可以将SAP/R3通信量根据一个特定客户式特定服务器隔开,使TN3270交互式通信量与打印通信量分开,甚至把一个H。323视频会议的数据信道和控制信道区分开来。保证应用性能带宽管理需要保证关键的和交互式的应用获得其所需要的带宽,同时限制普通应用对带宽的需求。每种通信类型映射到一项特定的带宽分配政策上,确保每种通信类型得到一个适当的带宽。速率政策(Ratepolicies)限制或保证每个单独对话的带宽,抑制那些贪婪的应用通信,或者保护对时延敏感的流量。比如,一个HTTPcap会使Web游览避免使用他人的带宽。而且获得保证的音频或视频流动速率,避免出现恼人的不稳定性。速率政策是为应用提供没有被使用的带宽,所以,昂贵的带宽从不会被浪费。测量、分析和生成报表网络管理员在制订一项带宽管理策略之前及之后必须分析其网络应用通信的模式,以测量其是否成功。带宽管理将跟踪平均和高峰通信量水平,计算在重新传输上所浪费的带宽比例,突出最主要用户和应用程序,并且测量性能。网络总结以及特定上下文的报表提供了对网络趋势的轻松访问。响应时间特征允许你测量性能,设置可接受性标准,并跟踪响应质量是否坚持了标准。流量控制和监视控制IDC的带宽管理是非常复杂的业务和技术控制,所以,需要一个简单易用的进行操作的管理界面。通过这一界面,网络管理员可在任何时候、任何地方,通过网络来配置、控制和监控带宽分配情况。轻松部署硬件带宽管理器通常位于网络瓶颈上,通常在路由器和核心交换机之间。为了网络性能的考虑,带宽管理器需要与现有的网络顺利集成,不需要任何新的协议或者重新配置路由器,也不需要修改拓朴结构和桌面。它不能是一个网络故障点,如果带宽管理器发生故障或者被关掉,它需要会像一根电缆一样发挥作用。用于IDC的硬件带宽管理器在当前市场上主要有Alteon公司、Packeteer公司和Intel公司的带宽管理器。利用路由器和交换机的特定QOS(QualityofService)技术,也能实现带宽管理。比如Cisco公司的CAR(CommittedAccessRate)技术。对本地带宽管理也可以通过四层交换机来实现。Foundry,Alteon和Cisco公司的四层交换机都支持本地带宽管理。内容交换内容交换提供数据流的负载均衡以提高IDC的网络性能,特别是服务器的响应性能。内容交换同时对应用层的数据提供适当的控制以满足应用的要求,比如对SSL(SecuritySocketLayer)连接的控制。这在本节将有具体阐述。基于IP的负载均衡数据中心的服务提供商除了向客户提供一些基本的主机托管和网站托管服务外,还需要提供一些更高级别的增值服务来吸引用户、拓展市场。作为数据中心托管用户的主体,例如ICP网站、电子商务网站、企业网站等,它们托管或租用在数据中心的大部分服务器都是基于InternetTCP/IP协议的应用服务器,例如WWW服务器、FTP服务器等。对于这些用户而言,如何保证这些关键服务器的高可靠性、高可用性和可扩展性是非常重要的。因此,如果数据中心的服务提供商能够给客户提供这种高可用性服务,就可以像保险公司的保险费一样,来向客户收取一定的增值服务费用!并且对数据中心的各种类型用户都带来好处:对主机租用用户来讲,他们的服务器硬件本身都是租用数据中心的,因此自然希望数据中心能够对服务器系统的可用性提出更高的保证;对主机托管用户来讲,尽管服务器是自身携带的,但是除了极少部分大的网站有资金、有技术能力来自行解决关键服务器系统的高可用性问题外,大多数的网站并不具备这样的条件,他们希望数据中心服务提供商能够作为他们的VirtualIT部门,能够给他们提供一个完善的解决方案。下面我们以数据中心中最为普遍的服务-WWW服务为例,来详细讲解如何实现Internet服务的高可用性,即关键服务器系统的高可用性。以前作为一个网站通常采用的方式是WWW服务器由一台硬件配置非常高的UNIX服务器来担当,尽管成本昂贵,但这样做仍然不能保证它的可靠性、可用性、可维护性:一是因为一台服务器仍作不到硬件级的完全容错,保证不了可靠性;二是因为一台服务器的网络带宽有限,保证不了可用性;三是因为当这台服务器进行硬件或软件升级时,不可避免地要中断WWW服务,保证不了可维护性。基于上述原因,人们提出了DNS轮询方案(DNS-Round-Robin)试图解决WWW服务的可用性问题,即多台WWW镜像主机在DNS中对应同一域名,当用户访问WWW,要求DNS服务器解析域名时,DNS服务器按DNS请求的先后顺序把域名依次解析成其中一台WWW主机的IP地址,从而把任务平均分担到数台WWW主机上,来提高WWW服务的整体性能。它的优点是:实现简单、实施容易、成本低;但是,它的缺点也非常明显:不是真正意义上的负载均衡,DNS服务器将HTTP请求平均地分配到后台的WWW服务器上,而不考虑每个WWW服务器当前的负载情况;如果后台的WWW服务器的配置和处理能力不同,最慢的WWW服务器将成为系统的瓶颈,处理能力强的服务器不能充分发挥作用;另外未考虑容错,如果后台的某一台WWW服务器出现故障,DNS服务器仍会把DNS请求分配到这台故障服务器上,导致对客户端的不能响应。而这最后一个缺点是致命的,有可能造成相当一部分客户不能访问WWW服务,并且由于DNS缓存的原因,造成的恶劣后果要持续相当长一段时间(一般DNS刷新周期约24小时)。此外,还有一些基于群集(Cluster)技术的软件解决方案来保证WWW服务的高可用性。它的通用做法是通过在操作系统的基础上安装操作系统厂商的群集软件或第三方的群集软件(绝大多数支持WWW服务的群集),例如MicrosoftClusterServer、TurboLinux、ClusterServer等,来做到应用级的互为备份或负载平衡。互为备份(Active/Standby)方式下,其中一台服务器缺省处于活动状态(Active/Primary),而另一台处于睡眠状态(Standby/Backup),当主服务器系统死机或应用不能正常服务时,备份服务器会自动变成活动状态,从而接管原主服务器的任务,保证应用能够继续服务。负载平衡方式下,可以有多台服务器,每一个服务器都承担一定的应用。它们之间即可以互为备份,也可以有专门一台备份服务器,它在群集正常时不承担任何任务,但是当群集中的某一台服务器发生故障时,它会自动激活,从而接管故障服务器的任务。但是,它也存在以下缺点:安装、配置复杂,难于维护和管理;群集软件与服务器的硬件平台和操作系统密切相关,不能做到设备无关性和无缝升级;实现负载平衡的算法简单,一般是根据轮询(RoundRobin),有些WWW群集软件可支持设定权重(Weighting)算法,但权重(weighting)是人为设定,并不能客观反映每一台服务器的HTTP请求响应能力以及当前负载情况;与硬件实现方案(Layer4的负载平衡交换设备)比较起来,性能较低,另外支持的WebSite的规模较小(WWW服务器最多可以到16台);不能实现HTTPS等特殊应用的负载平衡(这是因为在HTTPS应用中,客户端和服务器端要进行身份验证、交换证书和密钥,所以客户端和服务器端应一一对应,同一客户的请求应由同一台服务器来处理)。当然更为重要的一点是,作为数据中心的托管用户,他们往往不希望数据中心服务提供商在他们的服务器上安装任何软件!正因为上述的解决方案存在这样或那样的问题,因此,随着Internet技术的发展,出现了基于应用、甚至基于内容的负载平衡设备,即我们通常所说的第四层、第七层智能负载平衡设备。它们通过硬件技术或专用的ASIC芯片来实现WWW等应用服务器的负载均衡和高可用性解决方案。通过这种技术可以提高WWW服务器的整体处理能力,并提高整个服务器系统的可靠性、可用性、可维护性、可扩展性,保证WWW服务质量的QOS,提供基于URL、基于内容的交换(当采用第七层负载平衡设备时),最终用一组低处理能力、低实现成本的主机提供大规模、高性能、可扩展的WWW服务。以下是关于采用第四层负载平衡设备实现WWW服务的负载平衡的一般介绍:在第四层负载平衡设备上设置WWW服务的虚拟IP地址(VirtualIPAddress),这个虚拟IP地址是DNS服务器中解析到的WWW服务器的IP地址,对客户端是可见的。当客户访问此WWW应用时,客户端的HTTP请求会先被第四层负载平衡设备接收到,它会基于第四层交换技术实时检测后台WWW服务器的负载,根据设定的算法进行快速交换,交给当前最可用、负载最轻的服务器来处理。常见的算法有以下几种:轮询(RoundRobin)、权重(Weighting)、最少连接(Leastconnection)、随机(Random)、响应时间(ResponseTime)等。通过这种技术可将大量的、并发性的用户请求分配到多个服务器来处理,从而降低单个服务器的负载,避免服务器的死机或响应延迟过大!另外,这种负载平衡设备还可以几乎实时地检测到后台服务器的硬件、操作系统、网络甚至应用级别的状态,从而避免客户的请求被失效的服务器处理。应用负载均衡第七层应用负载平衡设备是近一、两年才出现的最新技术,它主要用于实现WWW应用的负载平衡和服务质量保证。它与第四层负载平衡设备比较起来:第七层负载平衡设备不仅能检查TCP/IP数据包的TCP、UDP端口号(TransportationLayer),从而转发给后台的某一个服务器来处理,而且它能从会话层(SessionLayer)以上来分析HTTP请求的URL,根据URL的不同将不同的HTTP请求交给不同的服务器来处理(可以具体到某一类文件,甚至某一个文件),甚至同一个URL请求可以让多个服务器来响应以分担负载(当客户访问某一个URL,发起HTTP请求时,它实际上要与服务器建立多个会话连接,得到多个对象-Object,例如。txt/。gif/。jpg文档,当这些对象都下载到本地后,才组成一个完整的页面)。跨地域负载均衡前面讲述的都是关于如何在本地局域网实现WWW等应用服务器的负载平衡,那么如何实现应用服务器的广域网上的负载平衡,从而保证应用的冗灾备份,以及如何有效的根据客户的地域分布、广域网络的连通状态或延迟时间来将客户定向到他们最适合访问的站点呢?这些都涉及到广域网的负载平衡技术(GlobalServerLoadBalance),常见的广域网负载平衡产品都是基于DNS重定向原理来实现的,即当客户访问某一个网站时,例如www。mysite。com时,客户的关于这个网站的DNS域名解析请求会被这个广域网的负载平衡设备来处理,而这个广域网的负载平衡设备会基于客户端的IP地址范围、客户端与各节点的网络延迟、各节点的状态及负载等参数,然后根据一定的算法来判断那个节点最适合用户访问,从而将这个节点的IP地址或VIP地址返回给客户。常见的广域网负载平衡算法有:轮询(Round-Robin)、加权轮询(WeightedRound-Robin)、随机(Random)、最少连接数(LeastConnection)、最低CPU利用率(LowestCPUUtilization)、HTTP重定向(HTTPRedirection)等。Cookie和SSL会话的连接锁定为了使得一个电子商务的事务成功,客户必须被锁定到指定的服务器上直到事务完成。保持到一个服务器持续的连接,称为“锁定”,这是任何创造利润的电子商务WEB站点的关键。Web交换机可以读到分布在多个包中的Cookie并有能力识别一个Cookie。Cookie可以由Web交换机内部产生或在服务器上产生。一旦Cookie被设定,用户的浏览器就被透明地刷新。可以产生Cookie对电子商务站点基于Cookie使流量具有优先级是有益的。如果进入一个请求并且提供了一个Cookie,用户的优先级字段就会决定那个服务器群接受请求。如果没有提供Cookie,请求要么被送到认证服务器,要么交换机内部产生一个新的Cookie。这个请求就有一个有优先级设置的Cookie,这个优先级会把用户定向到合适得服务器群。保护基于Web的商务的最常用的方法就是使用流行的SSL(SecureSocketLayer)协议。SSL是端到端的加密机制,是当今Web商务加密的主要方法。基于SSL会话ID维持持续性优化了电子商务的商务完整性,保证了安全和性能的均衡。在一个安全的事务中,Web交换机维持从用户Cookie(购物)到SSL会话ID(结帐)的转化。这一点很关键,因为Cookie处于为进行SSL事务而加密的HTTP头部,所以维持锁定连的Web交换机不能读到。用户浏览器与服务器之间开始的SSLHello消息含有一个空的会话ID字段(如果要建立一个新的SSL会话)或上一次客户使用得SSL会话。但是,这并不是下面的电子事务使用的SSL会话ID。作为客户Hello消息的响应,服务器挑选一个新的会话ID并把自己的带有会话ID的Hello发回到客户端。CSS交换机在服务器的Hello中检测到这个新的SSL会话ID并把请求路由到这一时刻最合适的服务器。后续的有这个会话ID的请求都将被转到同一台服务器。为了优化资源,当一个会话在一个定义的时间段处于休止状态后,Web服务器会终止这个会话。当几分钟没有操作后,服务器会做超时处理,释放这个会话ID。当用户发送一个新的请求时,服务器把它作为一个新用户处理,会建立一个新的会话。如果用户填了一个很长的表格,比如抵押申请或信用证明,那么所有刚填写的信息都会丢失,必须重新来过。Web交换机解决方案为加密会话提供锁定连接,不仅提高了效率和用户满意度,也显着地减少了服务器上应用的压力。由于建立会话的握手会涉及交换公钥,会产生计算资源的最大的消耗。通过截取会话ID并透明地重建失败的会话,Web交换机除去了一个连接失败后为建立新会话而做的处理复杂的谈判任务。内容传送网络加速WebCache技术是把大多数经常被访问的内容存放的距客户更近从而提高了Web的访问速度。Webcache可以在企业的Internet接入处配置,在接入设备和ISPPOP中骨干链路之间,或在ISP网络之间的边缘。有许多的Webcache实现方法,包括代理、透明的以及反向代理cache。每一种技术的区别在于在Web服务器访问途径的什么地方配备和需要进行配置的多少。Cache能力定义为一个对象可以被的潜力。WebCache只能cache静态的内容,如gif、jpg和PDF等。有一些类型的Web的内容是不能被Cache的,比如动态的内容,包括CGI脚本、RealAudio、ASP、加密的文件或与cookie有关的象shoppingcards等。Internet专家证实,当今40~50%的Internet内容是动态的。WebCache的效率是用最大cache命中率和最低可能的请求/响应延时来衡量的。Cache的命中率受一系列因素的影响,包括工作负载、内存和磁盘大小、内容老化算法等。透明Caching在透明代理Caching(TransparentCaching)环境中,Cache对于浏览器是透明的,浏览器不需要配置指向Cache。用户的请求经过网络设备路由到Cache,比如经过路由器上的策略过滤、远程的访问服务器或通过使用特殊用途的WebCache前端设备,如Web交换机。代理Cache在代理Cache(ProxyCaching)环境中,每个Web浏览器都要配置代理Cache的IP地址,所有用户的请求都会转发到代理。当发起一个内容请求时,每个请求都会转到代理Cache的IP地址,不管是对动态或静态内容的请求。如果请求的内容已经在Cache中,那么Cache直接把内容发给客户;如果请求的内容不在Cache中,请求被送到服务器获取内容,一旦在服务器中找到了所需内容,Cache响应客户,且如果内容是可Cache的,在Cache中复制一个copy。代理Cache的主要的缺点是需要管理的,缺少集中控制,并且不能重新定向用户绕过当掉的Cache,而是送到“黑洞”中。Cache集群在一个位置配备多个Cache就是Cache集群(CacheClustering)。Cache集群提供冗余,增加了Cache的性能合扩展能力。Cache集群可以通过把多个Cache连接到一个路由器、第4层交换机或Web交换机上来实现。Cache集群提供了冗余,在单个Cache失败时起到保护作用。特别是代理Cache,对单一的Cache失败很敏感。如果一个网络中等Cache失败,所有的配置使用它的浏览器都会失去与Web的连接。集群是一个相对于配置后备Cache较好的解决方案,因为后者增加了代理Cache管理的复杂程度。反向代理Cache代理和透明的Cache是具有代表性的为优化穿越网络的所有Internet流量而配备的。反向代理Cache(ReverseProxyCaching,RPC)则是典型的数据中心的扩展。反向代理Cache是Web服务器的代理,而不是客户的代理。事实上,反向代理Cache对网络来说象是真正的Web服务器,DNS解析RPC的IP地址而不是实际的服务器的IP地址。Web交换机可以为不可Cache的HTTP请求或不可Cache的TCP请求(如SSL)旁路RPC。交换机旁路RPC,把最初的IP地址信息和包含在流头部的序列号发往服务器。服务器直接向客户答复,或转发到RPC的交换机。两种方法都不涉及Cache,它可以集中资源去服务可Cache的内容请求。智能Cache旁路动态内容,如电子商务的事务、股票交易、ASP以及CGI表单,是不能Cache到Cache服务器的,只有静态的内容是可以Cache的。可以Cache的静态的内容的例子就是gif、jpeg和pdf文件等。代理、透明式和反向代理WebCache把所有客户的请求都推向Cache服务器,这给以产生效益为目的想利用WebCache强行把所有请求(不管内容)推向不能完成请求的服务器的站点造成了很大的问题。Web交换机具有完成智能Cache旁路(IntelligentCacheBypass)的能力,如果是动态请求可以旁路代理、透明式或反向代理Cache服务器。当不可Cache的或动态的URL被指向Cache时,由于Cache需要判定这个请求的内容不可Cache,再从源服务器获取内容,然后再转发给客户,会造成明显的延时。在这种情况下,Cache基本上变成了瓶颈。Web交换机的智能Cache旁路能力除去了Cache的重新定向动态内容请求的负担,因此提高了性能。动态内容复制Web交换机可以设置某些内容的负荷门限,当此内容的访问超过门限,交换机将动态复制热点内容到备份服务器,并重定向请求到备份服务器。由于Internet的流量具有很强的突发性,而且具有不可预见性,对于一些大型的网站,经常会由于这种突发性的大业务量造成服务器的拥塞,从而丢失很多交易量,但是如果增加服务器,又由于大多数时间没有利用到增加的服务器,造成资源利用率的降低。由于Web交换机具有这种动态内容复制的能力,本方案为用户提供了一种灵活有效的方案,即由IDC来解决这个问题。Web交换机根据用户内容的访问量的大小,动态地扩展用户服务器的能力,当Web交换机发现某些申请了这项服务的用户的某些内容的访问量达到一定的门限时,交换机将动态复制热点内容到溢出备份服务器,当发现这些内容的访问量下降以后再将这些内容自动的删除掉。后台管理在建设IDC时,可以按照分层的方式将整个网络平台划分为:核心层,分布层,接入层和后台网络。其中前三层主要承载用户的业务,而后台网络主要提供各种后台的管理功能。在IDC初期建设时,后台管理的重要性不显着,甚至很多规模较小的IDC在刚开始建设时,完全没有考虑到后台管理的问题,但是随着业务的迅速发展,后台网络的重要性逐渐被认识,因此目前比较成功的IDC,都有一个非常完善的后台管理系统。本解决方案提供了完整的后台管理平台,对于每一个服务器通过两块网卡,一块连接到前台的接入层,为Internet用户提供服务,另一块连接到后台管理系统的接入交换机。在后台管理平台上,IDC建立网络管理控制中心完成对整个IDC的管理控制,IDC客户中心为IDC的客户提供设备管理平台,数据备份中心为用户提供数据备份。通过后台管理系统,IDC能够为用户提供多种管理功能:备份,网络管理和客户中心服务。备份在后台管理网络上可以通过设置专有的VLAN(PrivateVLAN)或者是普通的VLAN,以隔离不同用户的服务器。而需要由多个用户共享的资源和服务,则可以通过VLANTrunk和全通口与各个需要共享资源的服务器通信。因此IDC能够根据用户的要求,由一台备份服务器为多个用户提供数据备份,也可以由一台备份服务器为单独的一个用户提供服务。网络管理由于后台管理系统与前台的网络相互隔离,并且在本方案中对网络的安全性作了全面的考虑,例如利用防火墙将前后台隔离,配置入侵检测和漏洞检测系统,因此具有很好的安全性。同时由于后台网络不承担业务,带宽也相对充足,因此IDC都是通过后台来对服务器和网络设备进行管理。客户中心由于客户将设备托管给IDC,用户对自己的设备需要定期的检查和管理。目前IDC能够为用户提供多种访问方式,其中IDC设置客户中心为用户提供访问平台,用户可以在客户服务中心访问自己的网络设备,与自己的服务器交换信息。客户中心即可以是由多个用户共享,也可以是由一个客户专有,例如一些网上银行,他就需要在IDC拥有自己专有的管理平台,那么IDC就可以为这类用户提供专有的客户中心。数据更新对于从事网上业务的公司,提供好的内容是业务成功的关键,因此IDC的用户会经常需要对内容进行更新和改进。在用户对服务器进行更新时,对数据的安全性通常会有较高的要求,因此简单的通过前台来更新服务器对于从事电子商务的网站是不适用的。所以通过客户中心,或者是通过公网从后台管理系统完成对服务器的更新和数据交换,是IDC通常采用的方法。远程数据更新的方案中提供全套的端到端的解决方法,包括:远程拨号;专线;IP加密(IPsec)VPN;MPLSVPN。远程拨号用户通过拨号的方式进入后台管理系统,对自己的服务器和数据库进行配置和更新,但是这种方式存在带宽的限制,所以当用户需要与服务器交换大量数据时,拨号方式就不太合适。专线在IDC设置路由器,通过常用的专线方式,如DDN,FrameRelay等方式提供用户访问自己的服务器。这种方式中需要对各个用户的数据流向进行控制,使他们只能访问他们自己的服务器,而不能访问其它用户的服务器。IP加密VPN用户也可以通过专线的方式接入到公网,通过对IP数据包加密来保证用户数据的安全性,在IDC再对用户的IP包进行解密,然后用户进入自己的VLAN,访问自己的各个服务器。这种解决方案需要在IDC设置IPSec的VPN网关。MPLSVPNMPLSVPN为用户提供了一种更加灵活有效的访问方式,用户可以通过公网平台上自己私有的MPLSVPN对自己的设备进行访问,而且其地址空间也可以是其自己的私有地址,由于地址空间是私有的,黑客几乎无法对其进行攻击。同时在MPLSVPN上通过流量控制机制能够为用户提供端到端的服务质量保证。而且当将来需要向用户提供网络外包服务时,利用MPLSVPN与后台管理系统相结合,可以迅速向用户提供业务。网络管理网络管理是IDC运行管理中的重要一环,它将覆盖所有网络元素的管理和控制。网络拓扑管理为对IDC网络进行系统化管理,管理员首先需要对全网的当前状态有一个准确、直观的了解。网络拓扑管理作为管理系统的一个重要组成部分可以满足管理员的以上需求。它应能帮助管理员自动生成网络的拓扑结构图和发现节点设备的分布状况,并且能对网络结构的变化进行动态跟踪和更新。网管中心管理员首先利用自动发现管理进程,对其管理范畴内的全网络拓扑结构、联网节点设备以及应用服务器进行地址扫描。根据地址扫描的发现的结果,将在管理服务的管理数据库中生成全网的网络拓扑图。对已生成的全网网络拓扑图还将进行定期的检查,发现可能出现的拓扑改变,并对管理数据库中存储的拓扑图进行相应的更新。故障管理网络管理员在获得了最新网络拓扑结构图后,还需对全网的故障进行集中控管。网络故障管理利用了管理软件包中的功能。通过定义对全网的IP节点设备,通讯链路等多方面网络资源进行自动定期轮询检测,可发现节点设备的硬件故障和网络链路中断。还可以利用对SNMPTrap的支持,捕捉网络上传送的故障Trap信息。根据收集到的故障信息,网络管理软件可以对所发现的网络异常状态进行跟踪,并在网管中心的图形化管理控制台上以多种方式向网络管理员报警。网络管理员通过察看管理控制台上的不同类型报警信息即可以迅速定位故障出现的准确位置和故障的严重等级。网络管理员还可以在管理控制台上直接启动设备管理工具察看出现故障的的网络节点设备当前的详细信息。配置管理IDC网络网络设备的配置管理在管理功能上分为设备参数的集中配置、对更改设备参数的操作审计和设备操作系统的集中版本管理。为保障全网参数配置的一致性和设备操作系统版本的统一,配置管理应由中央管理中心的网络管理员统一控制。网络管理软件为IDC网络管理员提供了配置管理工具。利用网络管理软件对IDC网络设备参数进行集中配置和对网络设备的操作系统版本进行升级管理。并可对设备的网络配置文件进行配置校验和配置文件集中备份以及修改设备参数的审计。网络管理软件不但能帮助网络管理员以图形化操作方式对全网设备进行集中的参数配置,还能保存所有网络设备的参数修改历史纪录:通过定期检查各网络设备的参数,管理工具可以发现所有对配置参数的更改,而不论配置参数是利用管理工具修改的还是利用命令行修改的。网络管理员在中央管理控制台上可以检索网络设备的所有参数修改纪录。性能管理网络管理解决方案中为IDC网络管理员提供了一组网络性能和IP电话服务质量的管理工具。利用网络管理软件进行网络设备的广域网、局域网端口通讯流量统计,监控设备资源的可用率。还可以进行全网网络流量的历史数据统计,分析网络流量的长期趋势,帮助管理员进行网络容量规划,消除网络中的瓶颈。利用网络管理软件进行全网节点设备任意两点间的响应时间检测和Delay,Jitter管理。在网管中心管理员可以启动利用网络管理软件对全网的局域网和广域网性能进行直接监控。收集网络节点设备中SNMP、RMON和RMON2的性能管理信息,并以图形化方式为网络管理员显示所收集到的管理信息。在网管中心管理员利用利用网络管理软件可以监控网络节点的服务质量,并以图形化方式显示网络通信的延时和抖动。管理员还可以对被监控的性能参数设定阈值,如检测到网络性能下降,参数超过了预先设定的阈值,IPM将自动向故障管理系统发送一条报警信息,提示管理员注意。网络安全管理有些网络管理软件还支持网络管理员分权机制,不同级别的登陆用户在管理系统中具有不同的管理权限。可以为网管系统定义多级的访问权限,在方便管理员操作的前提下保证只有经过授权的管理人员才能对网络进行管理操作,从而保证管理系统的最大安全性。同时网络管理员也可以利用安全控管软件进一步加强网络整体包括网络管理系统的安全性。Radius服务器是常用的负责提供基于标准安全认证协议的用户登陆认证机制的设备。网络详细设计Internet
本文档为【idc方案项目建议书】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
个人认证用户
建 华
热爱工作
格式:doc
大小:775KB
软件:Word
页数:0
分类:企业经营
上传时间:2021-08-29
浏览量:0