大数据概念、技术及应用

知识改变命运为明天事业腾飞蓄能http://www.bgwahaha.cn上海蓝草企业管理咨询有限公司大数据概念、技术及应用——段方老师1概述1.1大数据的概念和特点1.1.1大数据的基础1.1.2大数据如何“与时俱进”？1.1.3大数据发展趋势人工智能物联网结合各个行业的深入1.2大数据的技术基础1.2.1从数据仓库开始1.2.2HADOOP生态圈1.2.3与云计算的关系1.2.4数据运维能力提升1.3大数据的应用举例1.3.1大数据提升客户分析能力1.3.2大数据提升产品分析能力1.3.3大数据提升管理水平1.3.4大数据提升各行业“智慧”1.4大数据下的人工智能（AI）1.4.1什么是人工智能1.4.2人工智能改变哪些行业？1.4.3大数据下的人工智能有何不同？1.4.4人工智能的“颠覆”1.5大数据如何精细化管理1.5.1量化管理的引出1.5.2大数据如何提升“量化”的维度和深度1.5.3从艺术到技术1.5.4自动驾驶到自动管理？1.6电信企业的大数据“商机”1.6.1从网络运营到数据运营1.6.2提炼“内功”1.6.3提升外部管理能力1.6.4扩展增值产品运营市场2大数据的行业解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 应用案例2.1基础应用范围2.2石油行业应用案例2.3交通行业应用案例2.4旅游行业应用案例2.5金融行业应用案例2.6电信行业应用案例2.7互联网行业应用案例等3机器学习基础3.1多维分析方法3.1.1OLAP分析3.1.2上钻和下钻3.1.3用OLAP分析问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 3.2分析算法3.2.1回归算法线性回归逻辑回归3.2.2决策树算法C4.5算法CART算法3.2.3贝叶斯算法朴素贝叶斯算法BBN（BayesianBeliefNetwork）算法3.2.4基于核的算法支持向量机SVM算法线性判别分析(LinearDiscriminateAnalysis，LDA)3.2.5聚类算法K-MEANS算法期望最大化算法(ExpectationMaximization，ME)3.2.6关联规则算法Apriori算法3.2.7降低维度算法主成份分析(PrincipleComponentAnalysis，PCA)算法偏最小二乘回归(PartialLeastSquareRegression，PLS)算法3.2.8集成算法随机森林算法梯度推进机3.3机器学习方法在电信行业应用举例4深度学习基础4.1神经网络算法的演进历史4.1.1传统的神经网络算法4.1.2神经网络算法的特点4.1.3神经网络算法的瓶颈点4.2神经网络的算法原理4.2.1神经元的原理4.2.2神经网络的原理4.2.3神经网络的BP算法4.3多层神经网络算法4.3.1单层神经网络4.3.2两层神经网络4.3.3多层神经网络——深度学习4.4深度学习算法4.4.1卷积神经网络CNN4.4.2循环神经网络RNN4.4.3深度神经网络DNN4.5深度学习的应用案例4.5.1深度学习用于图像识别4.5.2深度学习用于语音识别4.5.3深度学习用于语言翻译5大数据技术基础5.1从数据仓库开始5.1.1数据仓库的“集中”5.1.2数据仓库的模型 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 化5.1.3大数据的演进5.2HADOOP生态圈5.2.1开源社区概述5.2.2开源改变了什么？5.2.3HADOOP生态圈内容5.2.4HADOOP的技术原则5.2.5HADOOP的运维5.3HADOOP基础5.3.1HDFS的原理5.3.2MAP/REDUCE原理5.3.3YARN原理5.4HIVE/HBASE技术5.4.1HIVE的原理5.4.2HBASE的原理5.4.3两者的关系5.5SPARK技术5.5.1基本原理5.5.2应用案例5.6KAFKA/FLUME5.6.1基本原理5.6.2应用案例5.7各个技术的特点对比6HADOOP技术介绍6.1发展历史6.1.1google的影响6.1.2命名来源6.2HDFS原理6.2.1适合做什么？6.2.2不适合做什么？6.2.3namenode和datanode6.3HA方法6.3.1基本原理6.3.2HADOOP2.0的HA实现方法6.4MAP/REDUCE原理6.5YARN原理6.5.12.0引出的原因6.5.2与容器（docker）的关系6.6HIVE基础6.6.1基本原理6.6.2应用案例6.7HBASE基础6.7.1基本原理6.7.2与HIVE的关系6.7.3应用案例6.8HADOOP的难点6.8.1安全性6.8.2可操作性6.8.3运维难题6.9MR的具体编程案例6.9.1Wordcount原理6.9.2API介绍及编程6.9.3案例及高级编程7SPARK7.1背景7.1.1对HADOOP的改良7.1.2SPARK的生态环境7.2SPARK的原理7.2.1RDD概念7.2.2DAG概念7.2.3运行机制7.2.4相关运算7.3SPARK的实施建议7.3.1集群部署模式7.3.2版本选择7.3.3硬件配置建议7.3.4混搭建议7.3.5参数配置建议7.3.6SPARK做金融业的应用场景7.4某公司SPARK（500节点）部署实际案例7.4.1建设历程7.4.2技术要点计算引擎的高性能如何实现多种异构环境透明访问7.4.3技术引入策略建议7.4.4运维建设经验8大数据下的企业运营8.1从泰勒经济学说起8.1.1简述泰勒经济学8.1.2数据与企业管理的天然联系8.1.3让大数据渗透到企业的每个毛孔8.2客户分析8.2.1客户的数据维度8.2.2客户视图分析8.2.3客户离网分析等8.3产品分析8.3.1产品数据维度8.3.2产品视图分析8.3.3产品的潜在客户分析8.3.4如何优化产品？8.4精准营销8.4.1营销的本质——配对8.4.2精准营销——数据的魅力8.4.3营销时机、渠道等选择8.5员工的管理8.5.1员工的量化分析8.5.2大数据下的“办公室分析”8.5.3员工绩效考评8.5.4如何避免“苍蝇犯大案”8.6外部生态圈的管理8.6.1生态圈的概念8.6.2电信企业的生态圈8.6.3上下游企业的管理8.6.4如何识别渠道欺诈？8.7【例】某大数据系统应用案例9*大数据的互联网思维9.1互联网思维概述9.1.1什么是互联网思维？9.1.2互联网思维在互联网企业中的落地9.1.3互联网思维的案例9.2大数据的客户体验9.2.1什么是客户体验？9.2.2大数据的客户有哪些？9.2.3如何提升客户大数据使用体验？9.2.4【例】大数据的客户提升案例9.3大数据的产品设计9.3.1大数据产品应该长什么样？9.3.2产品如何简约？9.3.3提供“千人千面”的产品9.3.4大数据的“爆品”在哪里？9.3.5【例】大数据产品示例9.4大数据的极致思维9.4.1如何极致？9.4.2数据的极致9.4.3 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 的极致9.4.4讲故事的极致9.4.5服务的极致9.5大数据的平台思维9.5.1什么是平台思维？9.5.2大数据的平台化如何实现？9.5.3从APPSTORE到BISTORE9.6其它9.6.1互联网思维如何用于企业运营？9.6.2互联网思维堪比“文艺复兴”？9.7【例】互联网思维在中国移动大数据系统中的落地实践10大数据的收集及整理10.1大数据的收集10.1.1内部数据哪些IT系统？财务系统招聘系统等10.1.2外部数据爬虫获取数据交换数据购买数据等10.2大数据的整理10.2.1如何表述数据间的关系？10.2.2数据建模的概念10.2.3数据建模的方法10.3大数据的数据治理10.3.1数据质量问题10.3.2数据质量如何管控10.3.3数据字典的定义10.4大数据的数据资产10.4.1什么是数据资产？10.4.2数据资产如何梳理？10.5【案例】某数据收集整理实际案例11系统架构建设实施11.1项目的管理方法11.2大数据 项目管理 工程项目管理制度介绍工程项目管理课程设计政府投资项目管理意见建设工程项目管理合同工程项目管理培训总结 的特点11.3不同系统间数据接口控制11.4数据导入及管控11.5大数据系统建设过程中关键问题11.6大数据的数据质量保障11.7大数据的应用推广重点11.8大数据项目协调要点11.9【例】某大数据系统建设过程解剖12电信行业大数据案例12.1某电信企业大数据建设案例分享12.2某电信企业大数据应用案例分享12.3某电信企业大数据管理案例分享12.4某电信企业大数据变现案例分享12.5其它行业大数据案例分享13总结