顶尖大数据工程教学实训平台(TipDM-H8)产品白皮书V3.0

泰迪科技(www.tipdm.com),2005~20161顶尖大数据工程教学实训平台(TipDM-H8)产品说明书广州泰迪智能科技有限公司版权所有地址：广州市经济技术开发区科学城232号网址：http://www.tipdm.com邮箱：services@tipdm.com热线：40068-40020企业QQ：40068-40020邮编：510663电话：（020）82039399泰迪科技(www.tipdm.com),2005~20162目录1产品简介.......................................................................................................................32产品构成.......................................................................................................................52.1大数据挖掘建模平台...............................................................................................52.2大数据开发实训平台...............................................................................................72.3大数据分析教学实训教程.......................................................................................82.4大数据分析教学案例库.........................................................................................102.5大数据分析案例配套资源.....................................................................................102.6大数据分析教学PPT及微课视频........................................................................102.7课程规划及师资培训.............................................................................................122.8学生实习实训.........................................................................................................133应用案例.....................................................................................................................153.1主要客户.................................................................................................................153.2典型示例.................................................................................................................153.2.1设备清单.........................................................................153.2.2环境部署.........................................................................153.3虚拟机资源.............................................................................................................163.3.1硬件配置及软件部署.....................................................17泰迪科技(www.tipdm.com),2005~201631产品简介大数据的出现催生出产业人才缺口瓶颈，在大数据挖掘项目的实施方面，被调查公司普遍缺乏相关的技术能力。75%以上的公司表示在人员和培训方面存在障碍，会大数据挖掘技术的人才很热门，但是比较难找而且昂贵，会Hadoop技术的数据挖掘人才更是奇缺。虽然大数据目前在国内还处于初级阶段，但是其商业价值已经显现出来，特别是有实践经验的大数据分析人才更是各企业争夺的热门。为了满足日益增长的大数据分析人才需求，很多大学开始尝试开设不同程度的大数据分析课程。“大数据分析”作为大数据时代的核心技术，必将成为高校数学与统计学专业的重要课程之一。目前高校大数据教学的主要困境：教师资源严重不足尚未建立起合理的大数据教学体系实践教学平台搭建困难大数据实践应用案例缺乏学生缺少实战机会大数据工程教学实训平台又称大数据挖掘实战中心（TipDM-H8，简称H8），将云存储资源、服务器资源和网络资源整合，然后通过Vmware等虚拟化搭建私有云平台，在私有云平台上搭建统一的数据挖掘平台和基于Hadoop的大数据分析平台。大数据工程教学实训平台的建设能让学生既掌握必要的理论基础，又能将大数据分析理论和方法用于解决实际问题。该大数据教学平台也能解决教学过程中实验环节非常薄弱，造成学生缺少数据挖掘实践经验、缺乏实践应用能力等问题。基于Hadoop实战项目，在大数据实战环境中，通过动手实操，让学员在短时间内掌握使用平台开发Hadoop程序，以完成高效的大数据存储、清洗和分析。大数据工程教学实训平台的建设采用四层架构，其整体架构如下图所示。泰迪科技(www.tipdm.com),2005~20164大数据工程教学实训平台大数据挖掘建模平台（TipDM-HB，无编程经验）大数据开发实训平台（TipDM-HD，需编程基础）虚拟化层（VMWare、Hyper-v或KVM等）云基础设备层（服务器、云存储、网络等）大数据工程教学实训平台底层数据处理平台采用云计算技术实现，基于云计算的基础设施层能充分保障资源的有效利用率和资源的动态伸缩性，云基础设施层上搭建了基于VMware、Hyper-v或KVM等的虚拟化层，该虚拟化层能充分保证业务的连续性和平台运行的可靠性。建立在虚拟化层上的统一数据挖掘平台TipDM-HB能满足有大数据挖掘需求的师生利用图形化的界面进行大数据分析，而基于Hadoop的大数据开发平台（TipDM-HD）能为大数据算法分析和大数据处理提供基础平台。位于架构最上层的大数据工程教学实训平台为培养大数据时代的数据科学家提供实训平台。适用对象:有大数据分析课程教学的高校、研究所和培训机构用大数据分析进行科研的高校、研究所特别说明：泰迪科技作为目前国内唯一Hortonworks官方同时认证的培训和系统集成签约合作伙伴，有多年的Hadoop开发及大数据分析和挖掘实战经验。TipDM团队的讲师均获得Hortonworks专业讲师资格认证。所有教材均由Hortonworks官方授权提供，课程涵盖Hadoop生态系统中所有常用组件，与美国HortonworksCollege保持同步，是进行HortonworksHadoop认证考试的唯一官方教程。建议：如果采用泰迪科技提供的大数据工程教学实训平台建设 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ，泰迪科技将派出讲师对实战中心技术人员进行专业培训（或直接派讲师进行授课），课程结束后，学员可直接参加认证考试！泰迪科技(www.tipdm.com),2005~201652产品组件H8主要可包含以下8个组件：核心组件：大数据挖掘建模平台（云数据挖掘引擎；云数据挖掘算法库；主机监控系统；云平台监控系统）大数据开发实训平台（基于VMware、Hyper-v或KVM等虚拟化的Hadoop开发实训平台）可选组件：大数据分析教学实训教程（《Hadoop大数据分析与挖掘实战》）大数据分析教学案例库（所有案例均来自企业在大数据挖掘领域的典型应用）大数据分析案例配套资源（源数据及过程数据，Hadoop环境下程序/模型）及大数据分析教学PPT及微课视频（理论、工具及案例）数据挖掘教学沙盘（智能交通仿真沙盘、管网漏损自动分析模型沙盘、窃漏电用户自动识别模拟沙盘、餐饮智能服务平台）课程规划及师资培训：协助完成课程设置及教学规划，并为数据挖掘课程教学提供师资培训学生实习实训：提供数据挖掘实践项目，组织学生参与公司的项目实习及集中实训2.1大数据挖掘建模平台HB是一套基于Hadoop架构的大数据挖掘建模平台，能满足有大数据挖掘需求的师生利用图形化的界面进行大数据分析。HB主要主要包括：云数据挖掘引擎、调度系统、主机监控系统、云平台监控系统、云数据挖掘算法库等，具体如下表：功能模块说明云数据挖掘引擎挖掘引擎云分类引擎、云聚类引擎、云关联规则引擎、云智能推荐引擎等调度系统包括作业调度、作业监控和作业管理主机监控系统主要用来采集集群中主机的cpu、memory、disk、process、network等相关数据，并采用图形化的方式展示云平台监控系统主要用来监控云计算平台的运行指标，可以实时监控云平台的运行情况，子节点运行情况，用来为系统增加/删除/更新节点提供知道依据。它主要包括：1）分布式文件系统监控；2）作业监控；3）云平台管理等功能泰迪科技(www.tipdm.com),2005~20166云数据挖掘算法库分类算法基于并行计算的分类算法，如：1、朴素贝叶斯、贝叶斯网络2、随机森林3、神经网络4、模糊神经网络5、支持向量机聚类算法基于并行计算的聚类算法，如：1、K-Means算法2、Canopy算法3、FuzzyK-Means算法4、MeanShift算法关联规则基于并行计算的关联规则算法，如：1、二项集关联规则2、推荐器算法智能推荐基于并行计算的智能推荐算法，如：1、基于用户的协同过滤算法2、基于内容的协同过滤算法运行界面：泰迪科技(www.tipdm.com),2005~201672.2大数据开发实训平台HD是一套建立在虚拟化层上的大数据开发平台，提供了一个开放、稳定和高度可扩展的框架，集成有ApacheHadoop的数据流业务与现有的数据架构。基于此平台，学员能在极短的时间内快速掌握各种ApacheHadoop项目以及Hadoop分布式文件系统（HDFS）、MapReduce、Pig、Hive、HBase、泰迪科技(www.tipdm.com),2005~20168Zookeeper和其他各种组件的使用方法，并真正完成基于Hadoop框架的大数据应用开发。2.3大数据分析教学实训教程结合课程教学需要，H8提供《Hadoop大数据分析与挖掘实战》辅助教学教程，方便教师授课和学生学习。《Hadoop大数据分析与挖掘实战》主要包括两部分：大数据基础理论和大数据挖掘案例分析。大数据基础理论主要包括常用算法、工具、Hadoop原理及开发；大数据挖掘案例分析详尽介绍10个经典的大数据应用案例，每个案例分别由挖掘目标的提出、分析方法与过程、建模仿真、结果评价和动手实践等部分构成，如下图示：泰迪科技(www.tipdm.com),2005~20169泰迪科技(www.tipdm.com),2005~2016102.4大数据分析教学案例库大数据分析教学案例库是泰迪科技在数据挖掘领域探索10余年和高校资深讲师联合经验总结之作，内容涵盖电信、电力、制造、互联网、银行、水产、税务等诸多行业。实践演练环境包括：R、Mahout、Hadoop、TipDM-HB。精选大数据挖掘案例包括为：基于大数据的餐饮智能服务平台基于协同过滤的互联网电影智能推荐航空公司客户数据挖掘分析基于电商平台家电设备评论信息挖掘面向网络舆情的关联度分析家用电器用户行为分析及事件识别基于基站定位数据的商圈分析气象与电力输电线路缺陷关联分析基于关联规则的电子商务智能推荐服务2.5大数据分析案例配套资源案例配套资源包括：源数据及过程数据，Hadoop环境下的程序/模型。2.6大数据分析教学PPT及微课视频泰迪科技(www.tipdm.com),2005~201611结合课程教学需要，大数据工程教学实训平台(TipDM-H8)同时提供配套的教学用PPT：泰迪科技(www.tipdm.com),2005~2016122.7课程规划及师资培训为适应大数据时代及数据挖掘实践教学需求，泰迪科技可参与到高校教师队伍建设，协助完成课程设置及教学规划，并为数据挖掘课程教学提供一对一的师资培训，培训主要包括：大数据挖掘案例培训；基于Hadoop框架的大数据开发培训。基于Hadoop框架的大数据开发培训使用TipDM提供的培训资料，帮助开发者了解HDP平台，理解开发Hadoop程序的基本原理，最后可以使培训者能自主开发Hadoop程序，同时进行培训后，学员可以有更大的机会通过HortonWorks培训师认证，其认证在业界是比较有含金量的。课程安排内容如下：大纲课程Hadoop基础培训准备：环境配置单元1：理解Hadoop2.0和HDFS单元2：开发MapReduce程序Hadoop进阶单元3：Map端流程—聚合单元4：分区和排序Hadoop进阶单元5：Hadoop输入输出格式单元6：优化MapReduce任务单元7：高级MapReduce特性Hadoop应用单元8：Hadoop单元测试编程泰迪科技(www.tipdm.com),2005~201613单元9：HBase编程单元10：Pig编程Hadoop应用单元11：Hive编程附录A：Oozie工作流其他：交流与课程相关的代码资源：2.8学生实习实训结合课程教学需要，可组织学生到泰迪公司进行集中实训或实习，也可由泰迪科技从在建的企业项目中剥离出部分大数据挖掘应用子课题，让学生真切参与到企业大数据挖掘项目建设中，并由公司支付一定的研发费用。泰迪科技(www.tipdm.com),2005~201614泰迪科技(www.tipdm.com),2005~2016153应用案例3.1主要客户韩山师范学院广东技术师范学院华南师范大学3.2典型示例3.2.1设备清单按60人规模配置。1、台式计算机（学生用机）联想扬天R系列（60台）CPU：Intel酷睿i5内存容量：4GBDDR31600MHz硬盘容量：1TB2、服务器IBMx3650M4（16台）具体配置见3.3.13、液晶投影仪明基MP782ST（2台）2500流明以上分辨率：1280*8004、网络交换机千兆以太网交换机华为S5700-24TP-SI（1个）应用层级：三层传输速率：10/100/1000Mbps背板带宽：256Gbps包转发率：36Mpps3.2.2环境部署使用10台实体服务器分别安装Windows764位操作系统或者Linux（Redhat6、CentOS6都可）64位操作系统，每台机器安装Vmware软件用于部署培训使用虚拟机。每台实体服务器建立6个虚拟机，其虚拟机参数设置如下：泰迪科技(www.tipdm.com),2005~201616硬件要求备注服务器数量7（集群）+1（数据库服务器）+1（应用服务器）CPU厂家：Intel/AMD主频：3000MHz+核数：12+L3缓存：15MB+线程数量：12+针对所有服务器内存16G+（集群）8G+（数据库服务器）8G+（应用服务器）最少8G硬盘SATA/SAS1T+200G，2个磁盘驱动器，每个500G+2个磁盘驱动器每个100G（用作系统盘）（集群）1T+200G（数据库服务器）300G+200G（应用服务器）最少50G网络千兆以太网固定IP宿主机支持虚拟化/64位系统系统CentOS6.464位可为虚拟机系统说明：若需保持60个客户端同时可操作，则每台实体机开启6个虚拟机，这时需要客户端安装Vmware相关软件保证可以远程桌面到虚拟机。3.3虚拟机资源虚拟机资源列表如下：软件版本备注系统CentOS6.464位TipDM-HDHadoop平台HDP2.0包括服务：HDFSYarnMapReduceHiveHBasePigGangliaNagiosZooKeeperAmbari1.5HDP调度软件Eclipse4.3Java开发IDEJava1.6数据包含培训使用各种数据泰迪科技(www.tipdm.com),2005~201617HD平台包括的服务有：3.3.1硬件配置及软件部署硬件清单：硬件使用使用16台IBM机器，分为两部分：1）大数据挖掘建模平台（TipDM-HB）使用6台；2）大数据开发实训平台（TipDM-HD）使用10台。其主要硬件要求以及说明如下表。服务器名称服务器型号服务器数量CPU内存硬盘备注IBM机x3650M46XeonE5-2650每16G/个SAS硬盘/2个每200G个TipDM-HB使用IBM机X3650M410XeonE5-2650每60G/个SAS硬盘/2个每500G个TipDM-HD培训使用/支持虚拟化以上硬件配置供参考，同类配置亦可。大数据挖掘建模平台（TipDM-HB）配置：部署TipDM-HB共6台机器，其中云平台占用5台机器，数据挖掘平台主工程部署在1台机器，其拓扑图如下所示：泰迪科技(www.tipdm.com),2005~201618大数据开发实训平台（TipDM-HD）机器配置：大数据开发实训平台机器配置主要是指针对学员使用的环境进行配置。初步估计60个客户端接入，那么10台IBM机器每台配置6个虚拟机即可。同时需保证每台虚拟机占有专属的IP，每个客户端可以远程桌面到虚拟机。