云计算和大数据讲座ppt(详细)

云计算和大数据讲座纲要重点关注的云计算系统平台2国内行业云计算推广与应用3云计算技术与大数据时代4一、数据中心与云计算架构基础我们已经进入一个无处不网、无时不网的时代！*随着互联网技术的广泛应用，涌现出一、数据中心与云计算架构基础云计算是能够提供动态资源池、虚拟化和高可用性的下一代计算平台，借用了量子物理中的“电子云”（ElectronCloud），强调说明信息处理的弥漫性、无所不在的分布性和社会性特征。云计算技术可将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务，一般具备以下3个典型特征：（1）硬件基础设施架构在大规模的廉价服务器集群之上；（2）应用程序与底层服务协作开发，最大限度地利用资源；（3）通过多个廉价服务器之间的冗余，使用软件获得高可用性。*随着互联网技术的广泛应用，涌现出一、数据中心与云计算架构基础存储服务计算服务软件服务信息处理信息资源利用*随着互联网技术的广泛应用，涌现出一、数据中心与云计算架构基础*随着互联网技术的广泛应用，涌现出一、数据中心与云计算架构基础维基百科给出的定义是“数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”。谷歌的《TheDatacenterasaComputer》一书中,将数据中心解释为“多功能的建筑物,能容纳多个服务器以及通信设备。这些设备被放置在一起是因为它们具有相同的对环境的要求以及物理安全上的需求,并且这样放置便于维护”,而“并不仅仅是一些服务器的集合”*随着互联网技术的广泛应用，涌现出一、数据中心与云计算架构基础数据中心外部*随着互联网技术的广泛应用，涌现出Google的节能措施*比利时平均每年只有7天气温不符合免费冷却系统的要求微软的节能措施一、数据中心与云计算架构基础数据中心内部*随着互联网技术的广泛应用，涌现出*微软芝加哥数据中心*Google在芬兰Hamina数据中心*随着互联网技术的广泛应用，涌现出Google爱荷华州的ConcilBluffs数据中心*随着互联网技术的广泛应用，涌现出微软的节能措施一、数据中心与云计算架构基础更低的硬件成本更低廉的电价更低的管理费用更高的利用率从10-15%到80% 项目 中型数据中心成本 特大型数据中心成本 比率 网络 $95每Mb/秒/月 $13每Mb/秒/月 7.1 存储 $2.20每GB/月 $0.40每GB/月 5.7 管理 每个管理员约管理140个服务器 每个管理员管理1000个服务器以上 7.1*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。一、数据中心与云计算架构基础*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。一、数据中心与云计算架构基础 Wikipedia，维基百科的虚拟化定义 虚拟化是表示计算机资源的抽象方法，通过虚拟化可以用与访问抽象前资源一致的方法访问抽象后的资源。这种资源的抽象方法并不受实现、地理位置或底层资源的物理配置的限制。 IBM的虚拟化定义 虚拟化是资源的逻辑表示，它不受物理限制的约束。 虚拟化的三层含义 虚拟化的对象是各种各样的资源； 经过虚拟化后的逻辑资源对用户隐藏了不必要的细节； 用户可以在虚拟环境中实现其在真实环境中的功能。*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。一、数据中心与云计算架构基础虚拟化包括： 网络虚拟化 存储虚拟化 桌面虚拟化 服务器虚拟化 应用虚拟化 其它*网络虚拟化的内容一般指虚拟专用网络(VPN)。VPN对网络连接的概念进行了抽象，允许远程用户访问组织的内部网络，就像物理上连接到该网络一样。网络虚拟化可以帮助保护IT环境，防止来自Internet的威胁，同时使用户能够快速安全一、数据中心与云计算架构基础 系统虚拟化：使用虚拟化软件在一台物理机上虚拟出一台或多台虚拟机（VirtualMachine,VM）。 虚拟运行环境需要为在其上运行的虚拟机提供一套虚拟的硬件环境，包括虚拟的服务器、内存、设备与I/O及网络接口等。*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。一、数据中心与云计算架构基础VmwareWorkstation*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。一、数据中心与云计算架构基础*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。一、数据中心与云计算架构基础 桌面虚拟化：将用户的桌面环境与使用的终端设备解耦合。 优势：通过实施桌面虚拟化，可将原有的终端数据资源甚至操作系统都转移到后台数据中心的服务器，而前台终端可以转化为以显示为主、计算为辅的轻量级客户端。*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。一、数据中心与云计算架构基础*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。一、数据中心与云计算架构基础将基础设施作为服务IaaS(InfrastructureasaService)将平台作为服务PaaS(PlatformasaService)将软件作为服务SaaS(SoftwareasaService)如：GoogleAppEngineMicrosoftWindowsAzure如：SalesforceonlineCRM如：AmazonEC2/S3专用通用*云提供者可以分为三大类，即SaaS提供商、PaaS提供商和IaaS提供商。2.1 SaaS（软件即服务）SaaS（软件即服务），是指用户获取软件服务的一种新形式。它不需要用户将软件产品安装在自己的电脑或服务器上，而是按某种服务水平 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 直接通过网络向专门的提供商获取自己所需的、带有相应软件功能的服务。本质上而言，软件即服务就是软件服务提供商为满足用户某种特定需求而提供其消费的软件的计算能力。当前，SaaS有各种典型的应用，如在线邮件服务、网络会议、网络传真、在线杀毒等各种工具型服务，还有在线HR、在线进销存、在线项目管理等各种管理型服务。SaaS是未来软件业的发展趋势，目前已吸引了众多厂商的参与。不仅微软、Salesforce等各大软件巨头都推出了自己的SaaS应用，用友、金蝶等国内软件巨头也推出了自己的SaaS应用。2.2 PaaS（平台即服务）PaaS（平台即服务），是指将一个完整的计算机平台，包括应用设计、应用开发、应用测试和应用托管，都作为一种服务提供给客户。在这种服务模式中，客户不需购买软硬件，只需利用PaaS平台，就能够创建、测试和部署应用和服务，与基于数据中心的平台进行软件开发相比，费用低很多，这是PaaS的最大价值所在。目前PaaS的典型实例有，微软的WindowsAzure平台、Facebook的开发平台等。PaaS自身不仅拥有很好的市场应用前景，而且能够推进SaaS，并与其共同发展。对于想进入SaaS领域的提供商而言，PaaS关键是降低了他们开发和提供SaaS服务门槛，而对于已经在提供SaaS服务的提供商而言，PaaS可以帮助一部分提供商进行产品多元化和产品定制化的服务，让更多的ISV成为其平台的客户，从而开发出基于平台的多种SaaS应用，使其成为多元化软件服务供货商。同时，PaaS降低了SaaS应用开发的门槛，提高了开发的效率。3.3 IaaS（基础设施即服务）IaaS（基础设施即服务），是指企业或个人可以使用云计算技术来远程访问计算资源，包括计算、存储以及应用虚拟化技术所提供的相关功能。无论是最终用户、SaaS提供商还是PaaS提供商都可以从基础设施服务中获得应用所需的计算能力，但却无需对支持这一计算能力的基础IT软硬件付出的原始投资成本。目前有微软、Amazon和其它一些提供存储服务和虚拟服务器的提供商可以提供这种基于硬件基础的IaaS服务，他们通过云计算相关技术，把内存、I/O设备、存储和计算能力集中起来成为一个虚拟的资源池，从而为最终用户和SaaS、PaaS提供商提供服务。一、数据中心与云计算架构基础*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。讲座纲要二、重点关注的云计算系统平台 90%计算任务都能够通过“云计算”技术完成 桌面软件正在向Web软件转型 云计算是开放标准，业界不会有公司垄断 中小企业、大学、消费者会相对迅速地转向基于Web的“云计算”技术 新的赢利模式 低廉的云计算给Google带来更多的流量，进而带来更多的广告收入 承认“云计算”不会在一夜之间普及 大公司通常会慢慢地改变自己的习惯 其它问题，例如“飞机问题”，以及在不能上网时用户如何工作。GoogleCEO埃立克.施米特*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台 在计算机上安装的传统软件是微软的根本 比尔·盖茨(BillGates)接受媒体采访时曾提出：“我们致力于推动PC成为一切的中心” 微软将自身的战略称为“软件加服务” 微软将Google的乐观称作是一厢情愿。 利用Web软件收发电子邮件、处理文档和电子表格、进行协作很方便吗？ 高速宽带连接会象Google断言的那样普及和可靠吗？ 企业、大学、消费者会让Google保存他们的资料吗？MicrosoftCEO史蒂夫.鲍尔默孰优孰劣，等待市场检验！*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台“浏览器＝操作系统”*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台 Google在线文档*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台 Google地图*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台 Google邮件**随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台 Google日历*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台 GoogleWave,Google+ 信息分享、协作、发布平台*随着互联网技术的广泛应用，涌现出 隶属于PaaS的Google云计算 属于部署在云端的应用执行环境 支持Python和Java两种语言 通过SDK提供Google的各种服务，如图形、MAIL和数据存储等 可使用Google的基础服务，如BigTable和GFS等 用户仅需提供应用代码，无需服务器维护 应用程序可根据访问量和数据存储需要的增长轻松进行扩展 用户可快速、廉价地部署自己开发的应用（如创新的网站、游戏等）二、重点关注的云计算系统平台请求应用服务器应用服务器应用服务器前端前端应用管理节点前端静态文件*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台 Google拥有海量数据，需要存储管理和快速处理*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台 Google云计算平台关键技术 文件存储，GoogleDistributedFileSystem，GFS 并行数据处理MapReduce 分布式锁Chubby 结构化数据表BigTableSimple,andgoodenough!*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台 一个简单的想法 IaaS：将硬件设备等基础资源封装成服务供用户使用 主要思想：虚拟 优势：动态申请，资源无限*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台简单存储服务(simplestorageservice,简称S3)简单队列服务(simplequeueservice,简称SQS)弹性计算云EC2系统*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台AWS的应用案例——SmugMug 为什么选择AWSSmugMug是一家在线照片存储共享网站，拥有数亿照片资源和几十万付费用户。业务量的急剧增长导致该新兴公司无法承受巨额的基础设施开销，SmugMug选择了Amazon的EC2服务和S3服务。应用AWS后，仅需50人即可完成如此大的业务量。*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台AWS的应用案例——《纽约时报》使用亚马逊云计算服务在不到24个小时的时间里处理了1100万篇文章累计花费240美元如果用自己的服务器，需要数月和多得多的费用*2008年3月19日，华盛顿邮报社使用EC2在9小时内得到了1407小时的虚拟服务器机时，而仅需向Amazon公司支付144.62美元的费用。如果没有AmazonEC2提供的计算能力，华盛顿邮报社按照其拥有的资源，需要超过一年的时间来完成全部档案的格式转换工作。二、重点关注的云计算系统平台AWS的应用案例——《纽约时报》*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台AmazonSimpleStorageService*简单存储服务(S3)廉价存储空间服务每GB每月：0.15$弹性计算云(EC2)提供“量贩”式销售的计算能力虚拟机费用：0.1$/小时1.7GHzx86、1.7G内存、160G硬盘、全控防火墙发展迅速用户数已达44万人与云计算相关的业务收入已达1亿美元二、重点关注的云计算系统平台AmazonElasticComputeCloud*简单存储服务(S3)廉价存储空间服务每GB每月：0.15$弹性计算云(EC2)提供“量贩”式销售的计算能力虚拟机费用：0.1$/小时1.7GHzx86、1.7G内存、160G硬盘、全控防火墙发展迅速用户数已达44万人与云计算相关的业务收入已达1亿美元二、重点关注的云计算系统平台*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台 动态迁移：VMware（storage）vMotion 容错：VMwareFaultTolerance 高可用性：VMwareHighAvailability 备份：VMCB（VMwareConsolidatedBackup） 安全：vSafe，vShield 资源优化：DRS（DistributedResourceScheduler）*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台Hadoop：Google云计算的开源实现OpenStack：云平台管理的项目，美国国家航空航天局和Rackspace合作研发的Eucalyptus：Amazon云计算的开源实现Cassandra：结合了Dynamo的分布技术和Google的BigTable数据模型，高度可扩展、最终一致、分布式的结构化键值存储系统。Hive：基于Hadoop的数据仓库工具EnomalyECP：提供类似于EC2的云计算框架*随着互联网技术的广泛应用，涌现出二、重点关注的云计算系统平台Nimbus：基于网格中间件Globus，提供与EC2类似的功能和接口SectorandSphere：类似MapReduceAbiquo：以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施（包括虚拟服务器、网络、应用和存储设备等）MongoDB：构建基于分布式文件存储系统的数据库*随着互联网技术的广泛应用，涌现出讲座纲要三、国内行业云计算推广与应用 国务院关于加快培育和发展战略性新兴产业的决定（国发〔2010〕32号）http://www.gov.cn/zwgk/2010-10/18/content_1724848.htm一（三）：我国要在未来国际竞争中占据有利地位，必须加快培育和发展战略性新兴产业，掌握关键核心技术及相关知识产权，增强自主发展能力。二（三）：……节能环保、新一代信息技术、生物、高端装备制造产业成为国民经济的支柱产业……创新能力大幅提升，掌握一批关键核心技术，在局部领域达到世界领先水平……三（二）：新一代信息技术产业。……加快推进三网融合，促进物联网、云计算的研发和示范应用……*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用 关于做好云计算服务创新发展试点示范工作的通知（发改高技[2010]2480号）http://www.ndrc.gov.cn/zcfb/zcfbtz/2010tz/t20101025_376673.htm 工信部：国内云计算标准化年底出台 主要涉及到标准主体、切入点、运营、建设等方面。其中重点是互联网数据中心的管理。在北京、上海、深圳、杭州、无锡等五个城市先行开展云计算创新发展试点示范工作二（二）：以信息服务骨干企业牵头、产学研用联合方式，加强虚拟化技术、分布式存储技术、海量数据管理技术等核心技术研发和产业化。*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用试点城市北京祥云计划(2010.7)中关村云计算联盟(2010.7)上海云海计划(2010.8)深圳华南云计算中心(2010.11)杭州无锡无锡云计算中心(2008)二期(2010)物联网云计算数据中心(2010.11)微软云计算中心(2009.5)西湖云计算服务平台(2010.12)*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用其它城市哈尔滨中国云谷(2010.11)大连大连云计算知识产权展览中心(2010)天津云计算战略产业旗舰总部(2010.10)济南山东省云计算中心(2010.8)南京阿里软件云计算中心(2008)广州天云计划(2011.2)*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用其它城市西安西安软件园云计算中心(2010.12)微软西部云计算中心(2011.4)成都四川电信西部信息中心(2011.1)重庆两江国际云计算中心(2011.4)武汉中国国际云计算数据港(2011.1)澳门与珠海共建云计算技术和应用实验室(2010.10)香港与IBM共建云计算实验室(2010.4)*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用云操作系统WebQQ2.0*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用QQ云词典*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用SinaAppEngine*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用 传统安全的处理策略：Oneformany查毒软件开始查杀一台电脑出现症状加入病毒库系统升级*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用查毒软件开始查杀多台电脑类似操作加入病毒库系统升级 云安全的基本思想：Manyforone/many利用客户端搜集样本，客户越多，根据搜集的样本进行安全分析越可靠（大量的探针）*随着互联网技术的广泛应用，涌现出三、国内行业云计算推广与应用病毒响应更及时体积更小、查杀病毒能力更强轻量级客户端适合于移动设备查杀“未知”病毒，保障用户彻底安全*随着互联网技术的广泛应用，涌现出讲座纲要四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。到2020年，全世界所产生的数据规模将达到今天的44倍。*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”。数据并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代12011年-2016年中国大数据市场规模2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。2012年中国大数据市场规模达到4.7亿元，2013年大数据市场增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代2各行业大数据市场规模政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。由于各个行业都存在大数据应用需求，潜在市场空间非常可观。*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代 维基百科：或称巨量数据、海量数据、大数据，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。在总数据量相同的情况下，与个别分析独立的小型数据集（dataset）相比，将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等。 Gartner：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 IDC定义：为了更为经济的从高频率获取的、大容量的、不同结构和类型的数据中获取价值，而设计的新一代架构和技术。*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代 Volume（大量）：数据体量巨大。从TB级别，跃升到PB级别； Variety（多样）：数据类型繁多。网络日志、视频、图片、传感器数据、地理位置信息等。 Velocity（高速）：处理速度快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这是和传统的数据挖掘技术有着本质的不同。 Value（价值）：合理利用低密度价值的数据并对其进行正确、准确的分析，将会带来很高的价值回报。*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代 从技术上看，大数据与云计算的关系密不可分。 大数据必然无法用单台的计算机进行处理，必须采用云端分布式架构对海量数据进行分布式存储、分布式处理。 云计算为大数据资源、大数据挖掘提供技术设施（软硬科学技术) 大数据挖掘为云计算建设和运作提供决策*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代 云计算与大数据的关系是静与动的关系，前者强调的是计算、存储能力；大数据需要处理大数据的能力（数据获取、清洁、转换、存储、分析、统计等能力），其实就是强大的计算能力和数据存储能力。 云计算为大数据提供了可以弹性扩展,相对便宜的存储空间和计算资源，使得中小企业也可以像亚马逊一样通过云计算来完成大数据分析。*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代 大数据为体 云计算为术 物联网为用*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代 联合国也在2012年发布了大数据政务白皮书：大数据对于联合国和各国政府来说是一个历史性的机遇，人们如今可以使用极为丰富的数据资源，来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。 2013年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。 麦肯锡《大数据，是下一轮创新、竞争和生产力的前沿》：对于企业来说，海量数据的运用将成为未来竞争和增长的基础。*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代1互联网行业大数据主要应用在社交和网购方面*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代2结合位置数据、消费数据进行实时营销信息推送是电信行业大数据应用主要场景*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代3金融行业大数据应用场景主要集中在投资方面*随着互联网技术的广泛应用，涌现出四、云计算技术与大数据时代3制造行业具有多环节、多地域特色，各个环节的优化是制造行业最关注的大数据应用场景*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*比利时平均每年只有7天气温不符合免费冷却系统的要求*随着互联网技术的广泛应用，涌现出*微软芝加哥数据中心**随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。*网络虚拟化的内容一般指虚拟专用网络(VPN)。VPN对网络连接的概念进行了抽象，允许远程用户访问组织的内部网络，就像物理上连接到该网络一样。网络虚拟化可以帮助保护IT环境，防止来自Internet的威胁，同时使用户能够快速安全*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。*云提供者可以分为三大类，即SaaS提供商、PaaS提供商和IaaS提供商。2.1 SaaS（软件即服务）SaaS（软件即服务），是指用户获取软件服务的一种新形式。它不需要用户将软件产品安装在自己的电脑或服务器上，而是按某种服务水平协议直接通过网络向专门的提供商获取自己所需的、带有相应软件功能的服务。本质上而言，软件即服务就是软件服务提供商为满足用户某种特定需求而提供其消费的软件的计算能力。当前，SaaS有各种典型的应用，如在线邮件服务、网络会议、网络传真、在线杀毒等各种工具型服务，还有在线HR、在线进销存、在线项目管理等各种管理型服务。SaaS是未来软件业的发展趋势，目前已吸引了众多厂商的参与。不仅微软、Salesforce等各大软件巨头都推出了自己的SaaS应用，用友、金蝶等国内软件巨头也推出了自己的SaaS应用。2.2 PaaS（平台即服务）PaaS（平台即服务），是指将一个完整的计算机平台，包括应用设计、应用开发、应用测试和应用托管，都作为一种服务提供给客户。在这种服务模式中，客户不需购买软硬件，只需利用PaaS平台，就能够创建、测试和部署应用和服务，与基于数据中心的平台进行软件开发相比，费用低很多，这是PaaS的最大价值所在。目前PaaS的典型实例有，微软的WindowsAzure平台、Facebook的开发平台等。PaaS自身不仅拥有很好的市场应用前景，而且能够推进SaaS，并与其共同发展。对于想进入SaaS领域的提供商而言，PaaS关键是降低了他们开发和提供SaaS服务门槛，而对于已经在提供SaaS服务的提供商而言，PaaS可以帮助一部分提供商进行产品多元化和产品定制化的服务，让更多的ISV成为其平台的客户，从而开发出基于平台的多种SaaS应用，使其成为多元化软件服务供货商。同时，PaaS降低了SaaS应用开发的门槛，提高了开发的效率。3.3 IaaS（基础设施即服务）IaaS（基础设施即服务），是指企业或个人可以使用云计算技术来远程访问计算资源，包括计算、存储以及应用虚拟化技术所提供的相关功能。无论是最终用户、SaaS提供商还是PaaS提供商都可以从基础设施服务中获得应用所需的计算能力，但却无需对支持这一计算能力的基础IT软硬件付出的原始投资成本。目前有微软、Amazon和其它一些提供存储服务和虚拟服务器的提供商可以提供这种基于硬件基础的IaaS服务，他们通过云计算相关技术，把内存、I/O设备、存储和计算能力集中起来成为一个虚拟的资源池，从而为最终用户和SaaS、PaaS提供商提供服务。*据统计，目前数据中心的资源平均利用率仅在20%~30%，服务器在80%的时间里是空闲的。但是，即便在空闲状态下，传统服务器的功耗也将达到峰值的60%[5]，空闲设备的电力消耗，加上数据中心冷却设备的能耗，数据中心会增加50%~100%的能耗。*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*2008年3月19日，华盛顿邮报社使用EC2在9小时内得到了1407小时的虚拟服务器机时，而仅需向Amazon公司支付144.62美元的费用。如果没有AmazonEC2提供的计算能力，华盛顿邮报社按照其拥有的资源，需要超过一年的时间来完成全部档案的格式转换工作。*随着互联网技术的广泛应用，涌现出*简单存储服务(S3)廉价存储空间服务每GB每月：0.15$弹性计算云(EC2)提供“量贩”式销售的计算能力虚拟机费用：0.1$/小时1.7GHzx86、1.7G内存、160G硬盘、全控防火墙发展迅速用户数已达44万人与云计算相关的业务收入已达1亿美元*简单存储服务(S3)廉价存储空间服务每GB每月：0.15$弹性计算云(EC2)提供“量贩”式销售的计算能力虚拟机费用：0.1$/小时1.7GHzx86、1.7G内存、160G硬盘、全控防火墙发展迅速用户数已达44万人与云计算相关的业务收入已达1亿美元*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出*随着互联网技术的广泛应用，涌现出