Oracle大数据解决方案课件

Oracle大数据解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 Rich简介RoltaInternational董事会顾问TUSC前总裁500强企业（增长速度最快的500家私营公司）在美国设有10个办事处；总部设在芝加哥Oracle技术&应用高级合作伙伴RoltaTUSC前总裁、RoltaEICTInternational前总裁著有以下著作（3本Oracle畅销书—十多年来排名第一的Oracle调优书籍）：OraclePerformingTips&Techniques(CoversOracle7&8i)Oracle9iPerformanceTips&TechniquesOracleDatabase10gPerformanceTips&TechniquesOracleDatabase11gPerformanceTips&TechniquesOracle国际用户组前主席Oracle中西部用户组现任主席入选芝加哥企业家名人堂—1998年入选安永年度企业家和世界名人堂—2001年IOUG顶级演说家—1991、1994、1997、2001、2006和2007年12次荣获MOUG顶级演说家称号国家三人组成功人士奖—2006年Oracle认证大师和OracleACE总监普渡大学杰出电子与计算机工程师—2007年*Oracle大数据解决方案议题Oracle趋势现状技术发展未来规划*Oracle大数据解决方案Oracle趋势了解Oracle*Oracle大数据解决方案ExadataX-3：内存数据库4TDRAM/22T闪存*Oracle大数据解决方案Oracle首创的技术—创新！1979年，第一个商用关系型数据库管理系统1983年，第一个32位的RDBMS1984年，第一个具备读取一致性的数据库1987年，第一个客户端-服务器模式的数据库1994年，首次商业评估和多层安全性数据库评估1995年，第一个64位的RDBMS1996年，首次突破30,000TPC-C1997年，第一个Web数据库1998年，第一个具备原生Java支持并且突破100,000TPC-C的数据库1998年，第一个Linux上的商用RDBMS2000年，第一个支持XML语言的RDBMS2001年，第一个实现中间层数据库缓存的数据库2001年，第一个带有RealApplicationClusters集群支持的RDBMS2004年，第一个真正的网格数据库2005年，第一款免费的Oracle数据库（10g快捷版）2006年，Oracle首次为Linux平台提供支持2007年，发布Oracle11g！2008年，发布OracleExadata（Oracle收购BEA）2009年，Oracle收购Sun—Java、MySQL、Solaris、硬件和OpenOffice2010年，Oracle发布MySQLCluster7.1、Exadata、Exalogic2011年，OracleX2-2、ODA、Exalytics、SuperCluster、大数据、云和社交网络2012年，OracleX3-2、Oracle12cOEM、可插拔数据库和X3-82013年，发布Oracle12c！发布OracleExadataX3-8，收购AcmePacket！*Oracle大数据解决方案企业面临的挑战和分析需求管理角度业务角度孤立思维我不关注我不知道您没有告诉我这是他们的问题制定决策很困难数据不可靠 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 不可追溯没有访问权限数据源不相关缺少集成战略管理老板不喜欢我不知道我为什么会这样做云计算、移动计算、社交媒体和大数据分析推动产生新的计算模式。该模式进而引发业务转型以提升效率,促进法规遵从,提升整体业务可持续性,以及以客户为中心。*Oracle大数据解决方案加深认识：大数据革命收集、存储和分析数据的能力在信息技术带来的影响中始终占有重要一席。在这个数字化程度日益提高的时代，您所做的每件事都会有一个电子记录。随着企业积聚的数据越来越多并达到数百TB，他们纷纷寻求更加尖端的软件工具对数据进行挖掘和分析，从而帮助企业更好地了解市场和客户，甚至是帮助企业对未来作出预测。您如何收集和存储数据？您如何传输数据？您如何分析数据？您如何从数据获益？*Oracle大数据解决方案大数据为何重要？张加万天津大学软件学院*Oracle大数据解决方案技术趋势：GartnerHypeCycle2012*Oracle大数据解决方案Gartner发布的2012技术趋势*Oracle大数据解决方案数据量增大—数据量大小变得重要……近年来,全球的数据量迅速增长。2000年：800TB(1012)2006年：160EB(1018)2009年：500EB（仅互联网）2012年：2.7ZB(1021)2020年：35ZB？一天中生成的数据？Twitter：7TBFacebook：10TB以上大数据：创新、竞争力和生产率的下一个前沿McKinseyGlobalInstitute，2011年我们淹没于数据之中，但渴望获得信息2.8x1020位的内存空间—JohnvonNeumann（《ComputerandtheBrain》，哈佛大学讲稿，发表于半个世纪前）从各种在线来源整理所得的数据*Oracle大数据解决方案数据量有多少……2004年每月的互联网流量超过1E；2010年每月的互联网流量为21E。2012年，每天创建的数据达到2.5E（大约等于1Z(1000E)/年）2012年6月—Facebook的Hadoop集群的数据量达到100PFacebook：每天处理的数据量达到500T—每小时扫描的Hive数据量达到210T单个Jet引擎—20T/小时（此速率与Facebook相同！）Gmail拥有4.5亿用户沃尔玛—100万笔客户交易/小时（相当于2.5P的数据库）大型强子对撞机一年产生的数据量达13P业务数据每1.2年翻一番19%的市值达10亿美元的公司拥有超过1P的数据（2013年将达到31%）2011年—Oracle率先发布EB级磁带库之前对人类基因组进行解码需10年；现在只需一周！*Oracle大数据解决方案IOUG调查*—2012年9月*大数据带来巨大的挑战与机遇：2012年IOUG大数据战略调查（IOUG=IndependentOracleUsersGroup，独立的Oracle用户组）*Oracle大数据解决方案大数据预测未来天气*Venturebeat.com*EarthRisk公司的系统基于:820亿次计算60年的数据*Oracle大数据解决方案什么是大数据和大数据分析？大数据是指规模超出常用软件工具在容许时间内捕获、管理和处理能力的数据集。大数据分析是指可处理传统分析方法因数据量过大、数据类型过于多样、速度变化过快等原因无法分析处理的数据。*Oracle大数据解决方案每个组织都将使用大数据大数据涵盖以下领域：社交媒体、传感器数据、生物学、交通数据、RFID数据、环境数据、航空、无线网络、安防与视频数据、零售、医疗、工程系统、搜索数据、摄影、呼叫记录和CRM/ERP数据等。*Oracle大数据解决方案IOUG调查—2012年9月*Oracle大数据解决方案IOUG调查—2012年9月*Oracle大数据解决方案大数据的特点大数据的主题适用于大数据量的软硬件技术专注于Web2.0技术数据库横向扩展关系型&分布式数据分析分布式文件系统实时分析大数据的领域数字营销优化数据探索和发现欺诈检测与防范社交网络和关系分析机器生成的数据分析数据保留财务电信媒体生命科学零售政府*Oracle大数据解决方案大数据提供商*Oracle大数据解决方案在最开始的阶段……我们是如何实现的？LarryPage和SergeyBrin编写BigFile；GFS(Google)得自于此，接着，MapReduce将工作映射到集群的多工作节点，然后对分布式处理结果做聚合（用于生成Google的WWW索引）Apache推出了Hadoop（Facebook、Yahoo、AmazonEC2和S3均采用此框架），此开源版框架采用HDFS和MapReduce—在同一工作节点对分布处理后的作业做批处理，—速度不算超快（秒钟比毫秒），也不适合于交互式分析（不支持更新,只支持叠加）Google则推出了BigTable（支持压缩的高性能数据存储），GoogleMaps、GoogleReader、GoogleEarth、YouTube和Gmail均采用该存储系统Apache添加了NoSQL数据库：Cassandra和HBase多个系统开始采用NoSQL，这其中也包括Oracle的NoSQL(BerkeleyDB)。*Oracle大数据解决方案大数据基础知识我们的目标是组织数据而不移动数据！—HadoopHDFS和MapReduce（访问PB级数据的低成本方式）。HDFS能够存储任何类型的数据或结构，但MapReduce只与键值对配合工作获取并存储数据—NoSQL（简单的键值对存储)—AmazonDynamoDB（托管）、ApacheCassandra、HBase、BigTable、MongoDB、OracleNoSQL（分布式键值），或者仅使用原始的HDFS/GFS和MapReduce（这些架构大多都具备最终一致性！）分析数据—GoogleDremel、ApacheHive数据仓库、Oracle数据分析工具(OBIEE)54%正在使用大数据的公司表示：“项目至关重要！”*Oracle大数据解决方案多种NoSQL数据库—最终一致性NoSQL支持BASE：基本可用性(BasicallyAvailable)柔性状态(Softstate)最终一致性(Eventuallyconsistent)*Oracle大数据解决方案大数据工具革命……Google(GFS)GoogleMapReduceApache/Hadoop世界Hadoop文件系统(HDFS)MapReduceHbaseHypertable（百度使用）GoogleBigTableApacheHive(DWHSE)ZooKeeper与Pig（协作）（操作HDFS）Cassandra（基于DynamoDB[Amazon]和BigTable）*Oracle大数据解决方案审视Hadoop生态系统的另一种方法*这张精彩的幻灯片节选自ClouderaHadoop演示文稿，作者是ToddLipcon*Oracle大数据解决方案Yahoo!将Hadoop扩展至4000个节点4000个节点—100个机架（每个机架40个节点）32T的RAM=8G/节点x4000个节点超过30,000个核心的CPU处理能力16PB的裸容量,千兆以太网*Oracle大数据解决方案IOUG调查—2012年9月*Oracle大数据解决方案IOUG调查—2012年9月注意：未来3年，“NotUsingHadoop”所占的比例为56%*Oracle大数据解决方案2012年的NoSQL趋势Hadoop扩展至企业级Microsoft加入Hadoop大军（与Yahoo!分拆出的Hortonworks建立合作伙伴关系在WindowsServer和Azure中采用Hadoop，有到MSSQL的连接器）基于NoSQL的解决方案安全问题阻碍了NoSQL的发展Oracle以更大的力度投入NoSQL竞争（大数据机）“随着客户寻求方法应对新的以及不断发展的数据源(如Web、传感器、社交网络、和移动应用）引发的数据激增，Oracle开始通过提供高可用、可靠和可伸缩的NoSQL数据库环境，帮助客户发现和挖掘这些数据的价值。”—Oracle高级副总裁AndrewMendelsohn内存数据网格与NoSQL的集成成就了Facebook和Twitter的成功案例2012年1月26日发布于DataVersity*Oracle大数据解决方案NoSQL数据库—超过120种*Oracle大数据解决方案下一代数据架构*Oracle大数据解决方案所有数据都有所不同！数据领域特征（Oracle信息架构框架）*Oracle大数据解决方案IOUG调查—2012年9月*Oracle大数据解决方案IOUG调查—2012年9月*Oracle大数据解决方案开源项目框架查询/数据流数据访问协作/工作流统计工具实时*Oracle大数据解决方案分析两面性各个领域保持一致统计学、计算机科学、应用数学、经济学、机器学习、数据挖掘、模式识别、自然语言处理、数据融合与集成、模拟和优化等等。以下描述模型和预测模型有助于获得对数据的有益的了解交流已获得的认识（可视化）分析具有各种各样的形式和规模：零售业销售分析金融服务分析风险分析与信用分析人才分析营销分析行为分析集合分析欺诈分析定价分析电信供应链分析运输分析以上跨职能分析有助于推动组织战略交流已获得的认识（可视化）石油与天然气炼油石油化工冶金电力化工预定义的职能KPI、知识数据模型、目标、警报多维绩效分析、预测分析、预测设计正确的战略、沟通、协作、记分卡、促进行动工程师、主管、操作员直属经理、职能经理职能专员/战略分析师高管基于实时运营数据和业务数据以及现场图的智能*Oracle大数据解决方案分析解决方案*Oracle大数据解决方案Oracle数据库具备分析功能！！分析功能说明数据挖掘Oracle数据挖掘通过复合算法实现模式发现、结果预测以及识别关键预测指标等。复杂数据转换ETL功能,SQL表达式或DBMS_DATA_MINING_TRANSFORM程序包。适用于缺失值、异常值处理、分级和标准化。统计功能SQL统计功能：假设检验（t测试、F测试）、皮尔逊相关、交叉表/描述统计（中值和模式等）DBMS_STAT_FUNCS包添加了分布拟合过程。窗口函数/SQL分析函数计算累积、移动和居中聚合。频繁项目集OracleDataMining所使用的关联算法将以DBMS_FREQUENT_ITEMSET为基础。图像特征提取OracleIntermedia支持提取颜色直方图、纹理和位置颜色。线性代数UTL_NLA程序包提供用于向量和矩阵运算的常用BLAS库和LAPACK库的子集。OLAP除下钻和汇总之外，OracleOLAP还支持多维分析、时间序列分析、建模和预测空间分析OracleSpatial的分析和挖掘功能包括分级、模式识别、空间关联、共存挖掘和空间聚类、拓扑和NW数据模型分析—最短路径、最小生成树、最近邻分析和货郎担问题等等文本挖掘此标准SQL用于通过自动分类和聚类对存储在数据库、文件和Web中的文本/文档进行索引、搜索和分析*Oracle大数据解决方案还提供预先打包的分析……*Oracle大数据解决方案Oracle支持常用DMF和DMA函数适用性算法分类适用于预测特定结果的常用技术逻辑回归朴素贝叶斯支持向量机决策树回归预测连续的数值结果多重回归支持向量机属性重要性根据与目标属性的关系紧密程度对属性进行排名。最短描述长度异常检测识别罕见情况或可疑情况一类支持向量机聚类找到自然分组。增强的K均值正交分区聚类关联找到与频繁一起出现的项关联的规则Apriori特性提取产生新的属性作为现有属性的线性组合。非负矩阵分解高价值客户、中等价值客户或低价值客户可能会购买/不会购买客户终身价值制程不良率医疗诊断因素买方优先保险欺诈依法纳税客户细分生命科学发现产品捆绑缺陷分析模式识别数据预测示例*Oracle大数据解决方案是否具有预测性？后见之明洞察先见之明历史定位典型MIS报告或BIOracleReports、Hyperion、IBMCognos和SAPBO等业务/行为分析、趋势当前正在发生什么情况？/为什么会发生这种情况？预测优化过去的行为有助于预测未来结果目前正在发生什么情况？为什么会发生这种情况？将会/应当会发生什么情况？*Oracle大数据解决方案Oracle适用于大数据预测分析的“开放性”秘诀源：Wikipedia*Oracle大数据解决方案“Hadoop增强了Oracle的力量”“Hadoop旨在增强传统数据库，而不是取而代之。”DougCutting*Oracle大数据解决方案IOUG调查—2012年9月*Oracle大数据解决方案Oracle为大数据预测分析提供的技术*Oracle大数据解决方案Oracle用10天的时间访问TwitterFirehose**选自LarryEllison在2012甲骨文全球大会上发表的主题演讲*Oracle大数据解决方案将关注者、地理位置、荣誉和兴趣等绘制成图选自LarryEllison在2012甲骨文全球大会上发表的主题演讲使用X2-8Exadata,X2-4Exalytics及Endeca*Oracle大数据解决方案Oracle为大数据快速部署提供的技术—已准备就绪！*Oracle大数据解决方案ExadataX-3：内存数据库4TDRAM/22T闪存缓存*Oracle大数据解决方案优势倍增*：访问1/2000的数据；就像将8P内存驻留在X3-8的4T存储中一样1TB（经压缩）10TB用户数据需要10TB的IO100GB（使用分区修剪）20GB（使用存储索引）5GB（使用智能扫描）亚秒级（在数据库机上）数据减少到原来的1/10，扫描加快2000倍工程化系统的优势！*Oracle幻灯片—感谢！*Oracle大数据解决方案IOUG调查—2012年9月*Oracle大数据解决方案Oracle大数据优势真正成熟和完备—与众不同完全集成Hadoop和加载器Exadata和ExalyticsBI集成与解决方案大数据硬件,其上包括HadoopHDFS、MapReduce、R编程语言（统计和回归等）、OracleNoSQL，符合ACID，简单的键-值对数据模型（多服务器上的哈希键—主键/次键和字节数组）OracleBerkeleyDB（已商业化8年！），该架构能够根据需要使用外部表与HDFS（Hadoop文件系统）集成。OracleLoaderforHadoop(OLH)从MapReduce获取分析的数据，最后将这些数据装载到11gDatabase（这样做更加容易）任何级别的并发都是灵活的，并且可以横向扩展Oracle对集群化和高可用性(HA)具有深刻理解（不会出现单点故障！）Oracle管理工具与Oracle专业人员一样具有巨大作用BerkeleyDB是全球最广泛使用的数据库工具包，全球已部署超过2亿个Oracle的速度堪称实时，不会像批处理那样缓慢*Oracle大数据解决方案建立一支成功的团队使用能够创造未来的技术！使每位团队成员觉得有责任为项目成功出一份力使每位团队成员各尽其职与所有团队成员分享成功成功团队的特质：尊重客户忠诚度信任共同目标沟通灵活性诚信无私精神支持相互理解积极态度领导力凝聚众人之力，取得更大成就*Oracle大数据解决方案Oracle的规模成长到多么大—OW*Oracle大数据解决方案最后的思考……追逐技术浪潮！“守株待兔或许也会有所得，但得到的总是别人争取后剩下的东西。”—亚伯拉罕·林肯 *Oracle大数据解决方案Amazon一年多来最畅销的Oracle数据库书籍！也可以从其他地方（例如Barnes&Noble）获得此书。在Kindle及其他书籍阅读器上提供为什么该书最畅销？*Oracle大数据解决方案最希望拥有的……*Oracle大数据解决方案Rolta引领大数据分析，而且是Oracle全球白金合作伙伴Oracle年度合作伙伴：多次获得此荣誉Oracle用户组领袖Oracle国际用户组前任主席应用程序与技术咨询委员会的成员Oracle中西部用户组现任主席面向服务的架构(SOA)FusionOracle11gOracle年度杂志顾问九次荣获OracleTitan奖全体员工当中有6人获评“Oracle大师”业界认可全球首批获得高级别应用程序与技术合作伙伴认证的公司*Oracle大数据解决方案Rolta/AdvizeX技术战略*Oracle大数据解决方案谢谢！让我们一起改变世界吧！*Oracle大数据解决方案Rolta—您成功路上的合作伙伴……在Oracle的支持下实现成功！2012Oracle年度合作伙伴（9次荣获Titan奖/卓越奖）之前获奖年度：2002、2004*、2007*、2008、2010、2011*荣获两个奖项*Oracle大数据解决方案版权信息Rolta和作者均不保证本文档绝对正确。请将评论/问题发送到rich.niemiec@roltasolutions.com。我一直期望能够有所改进！RichNiemiec/Rolta©2013。未经RichNiemiec或Rolta官员的明示书面批准，不得复制本文档，但可以复制或拷贝本文档以用于演示/会议用途。参考资料包括：RichNiemiec的Exadata演示文稿和《Oracle11gDatabasePerformanceTuningTips&Techniques》一书、、en.wikipedia.org、slashgear.com、gifsoup.com、、TechCrunch、、电影《黑客帝国》、《信息周刊》、Gartner、《Computerworld》和甲骨文全球大会联系信息RichNiemiec：rich.niemiec@roltasolutions.com*Oracle大数据解决方案