首页 主流大数据处理技术及应用方案

主流大数据处理技术及应用方案

举报
开通vip

主流大数据处理技术及应用方案1主流大数据处理技术及应用方案中国联合网络通信有限公司网络技术研究院王振亚2016年12月2目录一主流分析型数据库技术介绍、对比及选型二数据处理技术的演进应用方案-网研院大数据平台三3什么是大数据大数据指不用随机分析法(抽样调查)这样的捷径,而采用对所有数据进行分析处理的方法——维克托·迈尔·舍恩伯格“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产——全球...

主流大数据处理技术及应用方案
1主流大数据处理技术及应用 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 中国联合网络通信有限公司网络技术研究院王振亚2016年12月2目录一主流分析型数据库技术介绍、对比及选型二数据处理技术的演进应用方案-网研院大数据平台三3什么是大数据大数据指不用随机分析法(抽样调查)这样的捷径,而采用对所有数据进行分析处理的方法——维克托·迈尔·舍恩伯格“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产——全球领先的信息技术研究和分析公司Gartner一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征——麦肯锡4大数据4V特征VolumeVarietyVelocityValue•随时随地产生数据,数据量更大•以“低成本”的方式获得“可接受”的数据分析结果•Cheap:“廉数据”•数据具有多样性•数据来源多、类型多•Multi-X:同一对象多维描述•价值密度低•更多高价值的数据产生•对有价值数据进行“提纯”•大数据的目的•对处理速度要求更高•实时和在线•Swift:“快数据”BigDataBigMoney5大数据处理流程数据库技术是大数据处理的关键数据获取数据ETL数据存储数据分析数据服务数据库技术是大数据的关键!6数据处理技术的演进SQL/ACID传统关系型数据库的崛起,提出面向企业应用的商业智能,面向数据仓库的数据分析(OLAP)技术兴起20001995200520102015分布式技术提出谷歌提出分布式文件系统、分布式数据库和分布式计算框架,奠定大数据技术基础大数据Hadoop技术提出开源ApacheHadoop逐渐兴起,大幅推进互联网大数据应用实时计算技术提出流计算、图计算、交互式分析、内存计算等技术不断演进混合技术 架构 酒店人事架构图下载公司架构图下载企业应用架构模式pdf监理组织架构图免费下载银行管理与it架构pdf 兴起Spark、Flink等新一代分析引擎融入大数据平台7数据处理框架的演进RDBMPP数据库Hadoop8数据处理框架-RDB(RelationalDatabase)特点单服务器、小型机集中式数据和业务处理ACID(Atomicity、Consistency、Isolation、Durability)Scale-UpOLTP(On-LineTransactionProcessing),响应时间敏感成本低缺点大数据处理性能较差容灾性较差稳定性有局限业务和数据处理规模有限扩展性和灵活性较差9数据处理框架-MPP特点MassivelyParallelProcessing多服务器、多节点,多任务并行执行数据分布式存储和计算ACIDScale-outOLAP(OnlineAnalyticalProcessing)商业化缺点扩展规模有限对并发的支持有限节点增删维护工作较复杂不支持非结构化数据成本较高10Hadoop,允许使用简单的编程模型,以跨集群分布式的方式,处理大型数据集。具有可靠、高效、可伸缩的特点。它的目的,是从单一的服务器到上千台机器进行扩展,从而利用各自的本地计算和存储资源。是一个能够让用户轻松构建和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop在应用层面检测与处理各类错误,因此能够在一个集群内实现高可用性。并且Hadoop已经成为大数据行业的标准,形成了一个健康活跃的生态系统。可靠性、高扩展性、高效性、高容错性、低成本。Hadoop生态系统11数据处理框架-Hadoop特点多服务器、多节点的集群架构大数据多任务的分布式处理HDFS(HadoopDistributedFileSystem)——分布式文件系统、流式访问MapReduce——曹冲称象,分而治之可靠、高效、高扩展(Scale-out)、高容错、低成本可处理多种格式数据源,非结构化、半结构化数据开源缺点对SQL的支持有限无法高效存储大量小文件不支持多用户写入及任意修改文件缺乏专业的支持服务12数据处理框架的对比数据库框架分析性能扩展性容灾性数据类型业务场景支持全SQL异构数据整合成本RDB一般较差较差结构化OLTP能不支持中等MPP好局限局限结构化OLAP能不支持较高Hadoop好好较好(非)结构化OLAP部分支持低没有最好的技术,只有最合适的技术。针对业务需求“有的放矢”。13目录一主流分析型数据库技术介绍、对比及选型二数据处理技术的演进应用方案-网研院大数据平台三14分析型数据库分析型数据库是面向分析应用的数据库,可以对数据进行统计分析和即席查询等挖掘数据价值的工作。传统数据库是以事务处理为主,大数据时代的主要应用则是数据分析。数据库三大阵营:OldSQL、NoSQL、NewSQL分析事务互联网OldSQL一种架构支持多类应用NewSQL分析OldSQL事务NoSQL互联网OldSQL+NoSQL+NewSQL多种架构支持多类应用15大数据下的分析型数据库NewSQL•列式存储•关系型•ACID•MPP分布式计算,分布式文件系统内存计算(InMemoryComputing)新的硬件:FlashCard,SSD,高速网络、InfinibandNoSQL•列式存储•Key-Value•灵活性•MPPOldSQL•行存储•关系型•ACID•SMP16OldSQL►OldSQL是指传统的关系型数据库,借助于数学概念和方法来处理数据。►数据规范化:关系型数据库的数据存储是为了更高的规范性,把数据分隔成最小的逻辑表(关系表)以避免重复,获得最精简的空间利用。►事务性:SQL数据库支持对事务原子性细粒度控制,并且易于回滚事务。17NewSQL►NewSQL是对各种新的可扩展、高性能的关系型数据库的统称。►既能够提供OldSQL的质量保证,也能提供较强的可扩展性。18NoSQL►大数据类型的多元化急速增长,OldSQL不满足分布式技术架构的适用性。►NotOnlySQL,泛指非关系型的分布式数据库。19OldSQL&NoSQL&NewSQL 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 海量数据实时分析Vertica/Impala20类型OldSQLOldSQLOldSQLNoSQLNoSQLNoSQLNoSQLNoSQLNewSQLNewSQLNewSQL存储方式行/列式存储行式存储行式存储分布式文档存储分布式K-V存储分布式列式存储分布式HDFS分布式HDFS行式存储分布式存储分布式列式存储运算方式磁盘磁盘内存内存/磁盘内存/磁盘内存/磁盘内存磁盘磁盘磁盘内存/磁盘系统架构RDBMSRDBMSRDBMSC/S分布式集群C/S分布式集群HadoopHadoopHadoopC/S分布式集群MPPMPP支持SQL支持支持支持不支持不支持需插件类SQL类SQL支持支持支持大数据处理能力较差较差一般较好较好好很好好好好很好容灾性较差较差较差较好较好好好好较好好好应用场景传统数据分析WEB应用低成本内存运算对象存储及处理数据键值关系突出海量存储与扩展实时分析批处理分析二次订制开发数据仓库即席查询扩展性Scale-upScale-upScale-upScale-outScale-outScale-outScale-outScale-outScale-upScale-outScale-out开放性商业开源商业开源开源开源开源开源开源开源商业目前主流分析型数据库对比21分析型数据库选型思路决定性因素关键因素一般因素分析需求数据格式数据存储方式数据分析运算能力数据查询能力稳定性&容灾能力架构选择可扩展性成本22目录一主流分析型数据库技术介绍、对比及选型二数据处理技术的演进应用方案-网研院大数据平台三23一运行分析视图二大数据平台总体架构规划支撑视图三决策支撑视图四目录24网络建设初期阶段•阶段一:先期基于路测数据、投诉数据进行简单分析;后引入MR数据进行深度覆盖分析;•阶段二:网络规划建设简单、粗糙,直接在空白区域建设。•缺乏针对用户、业务和终端进行深入关联分析;网络精细化建设阶段•基于现网23类运行数据,建立了基于移动网络“O域+B域”数据的分析方法体系;•在长春、成都、重庆、广州、兰州、上海6重要城市进行推广和验证。•探索六城市精细化建设支撑,并固化方法模型。大数据平台化阶段•基于“以我为主、自主研发”原则,搭建大数据分析平台,进行迭代式开发,实现方法固化。•逐步实现全网数据的统一采集、解析与存储管理;•开发大数据平台,实现规模化、精准化建设支撑。通过运行数据挖掘分析,实现网络优化精准分析、提升网络建维优的精准性和有效性网研院大数据平台-背景25人在哪干什么怎么样网研院大数据平台-建设总体思路用户群体特征分析用户群体的行为轨迹分析不同业务体验分析B侧价值发现覆盖能力评估用户投诉O侧网络定位网络性能、质量网络问题分析关联要素时间小区终端业务区域三大落地支撑客户维系,支撑精准市场推广维度接口3G4G分析定位问题支撑引导规划网络性能反馈支撑网络运维优化,改善网络质量支撑网络规划建设,提高资源投放精准度26网研院大数据平台-方法体系全面梳理23类数据序号分类数据源1OSS侧数据基础数据2DT/CQT数据3IU-PS(挂表采集)/Gn数据4CDR(平台采集)5MR数据6无线话统数据7无线参数8核心网参数9告警数据10无线侧呼叫记录数据11设备版本及补丁12设备与板卡负荷数据13无线COUNTER数据14核心网报表数据(核心网COUNTER数据)15投诉数据16话单数据17配套资源配置及运行情况18BSS侧数据用户信息19月度话单数据20语音详单21数据详单22套餐信息23终端数据库系统建立现网分析方法体系-24个分析模块序号分类分析模块项目1网络与资源无线侧资源情况室内外站、建筑物、物理站址分析2网络覆盖下行覆盖、上行干扰、上行干扰分析3资源瓶颈网络资源、空口效率、载波负荷分析4网络性能网络侧性能指标、问题小区分析5网络结构站高、站密、重叠覆盖、有效性分析6多网协同2、3、4G多网络协同分析7用户与终端终端情况终端统计、终端与用户及业务分析8用户情况用户情况总体分析9用户画像用户属性、消费、时间、业务等标签10群体特征分析用户结构及用户偏好分析114G转网用户分析4G转网用户及潜在4G用户分析12感知分析用户各类业务感知分析13用户轨迹各级别用户迁徙及单用户轨迹分析14业务与应用业务情况语音数据业务、分类主流业务分析15业务分布及特征总体业务情况及分类业务情况16业务质量语音、CSFB、数据业务质量分析17综合专题趋势分析小区数、用户数、业务量等发展趋势18联合分析覆盖、结构、资源、感知综合分析19资源重点投放场景、网格、扇区等区域价值分析20LTE部署区域LTE部署区域及部署建议分析21LTE站址分析LTE站址可用性及合理性分析22流量经营终端、流量、闲时包及业务内容营销23总览总览资源、用户、业务、网络、终端总览24简报简报全国级及省级基本简报和自定义简报全方位支撑-10个应用方向用户画像、聚类及签转分析用户终端业务网络经营用户黏性和潜在离网预判基于轨迹和感知的投诉支撑主流业务的感知分析及回溯各粒度价值区域分析网络质量&性能预警及回溯网络调整与技术演进支撑多维度的网络规划方案终端特征、性能评估体系流量经营支撑27内部可实现对2/3/4G现网各接口及设备数据的解析能力,能够满足现网网络优化需求;可满足全国B+O数据的存储与处理;实现一体化解析、存储与管理;与数据中心共享资源,着重网络分析应用;具备商业智能数据分析能力,可对外开放接口,实现海量数据的可视化分析;5*N:满足纵向从集团到省、市、县、网格,横向从N个专业线条的多层次、全链条支撑需求,同时可逐步对外部行业应用需求进行适配。网络资源精准投放基于投诉问题定位现网用户维系精准营销API接口开放各行业应用外部平台能力网研院大数据平台-平台能力28网研院大数据平台-平台架构元数据管理数据质量管理数据层ETL层数据处理层中间层数据展现层元模型管理元数据采集元数据分析元数据共享辅助开发运维辅助业务应用元数据存储元数据共享数据质量信息采集数据质量模型管理核查指标管理数据质量分析数据质量监控数据质量改进核查执行调度质量问题管理网优平台BSS系统上网详单系统网管系统挂表采集MR性能基础投诉账单详单终端数据业务位置KPI参数负荷版本CDRIuPS网络规划仿真可研/技术方案 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 /施工/后评价评估优化B侧数据解析Gn口解析C/D口解析S1口解析COUNTER解析MR解析B侧预统Gn预统A/Iu口解析IuPS解析MapReduce数据调度Job调度MPP数据库内存数据库OLTPRSQLModelerSASSPARKHIVE数据共享查询转换数据采集代理查询代理GIS引擎GIS呈现图表表格29一运行分析视图二大数据平台总体架构规划支撑视图三决策支撑视图四目录301、端到端网络优化——整体思路贯通“端-管-云”的全链条网络优化支撑方案,为端到端网络优化的各个环节提供数据分析支撑。用户终端无线接入核心网络应用服务•终端情况•终端性能分析•网络覆盖•网络资源•多网协同•联合分析•站址合理性•参数核查•网络性能•业务质量LAC/CIIMSIRNC_IPSGSN_IPGGSN_IPDST_IPDNS_IPSP_IP管端云31•终端情况:结合B侧数据、核心网用户面数据及终端库,实现针对终端类型、品牌、制式和能力等方面聚类统计和地理化呈现。•终端性能:建立终端无线性能评价体系,对现网主流活跃终端进行网络性能评判,支撑网优建设、优化的有效性投放。终端情况终端性能多种GIS展现形式终端用户业务三个维度联合分析基于RNC呼叫记录及各类不同事件原因进行分类统计,针对终端建立无线网络性能评价机制,进行量化参考。华为G700-U00华为G750-T00酷派7269华为G610-U00ZTEAD3812MI2013023MI20131212014012酷派7295SonyXperiaCiPadmini(A1490)iPadAir(A1475)iPhone5S(A1528)iPhone5C(A1529)iPhone5S(A1530)iPhone5C(A1526)LGNexus5iPhone5(A1429)华为AscendG730iPhone5S(A1533)三星SM-N9005三星SM-G3502IiPhone5(A1428)iPhone4(A1332)OPPOOPPOX909iPhone4S(A1431)华为E5220s-1iPhone5A1429iPhone4S(A1387)iPhone4S(A1387)MI2012121iPadmini(A1455)三星GT-I9082三星SM-N9002MI2012061iPad(A1430)三星GT-I9502三星SM-N900三星GALAXYS4GT-I9500三星GT-I9300三星GT-I9500三星GALAXYNOTE2GT-N7100honor3C酷派7295酷派7296酷派7295+联想A820MI3W联想A850华为G520-0000三星GT-I9152iPhone4(A1332)酷派7295AMIMI-ONEPlus三星SM-G7106MI2013012三星GT-I9082iYUGECWM630三星SM-G3502MI2S三星GALAXYWINGT-I8552三星SM-G3812HTCT328w三星SM-G9006VMI2012052HTCD816wHTCT528w三星GT-N7102HTC606wHTC802w三星GT-I8552三星GT-I8262D三星GT-S7572魅族MXM353三星GT-I9100三星GT-S7562iHTCPG58130魅族MXM351三星SM-N9006魅族M040三星GT-I9100GiPad2A1396三星GT-N7100三星GT-S7562TechwishTR105-17.50-16.50-15.50-14.50-13.50-12.50-11.500.1%0.2%0.3%0.4%0.5%0.6%0.7%异常比例低,EcIo高异常比例高,EcIo高异常比例低,EcIo低异常比例高,EcIo低Redmi1SMI2013029华为G700-U00华为G750-T00酷派7269华为G610-U00ZTEAD3812MI2013023MI20131212014012酷派7295SonyXperiaCiPadmini(A1490)iPadAir(A1475)iPhone5S(A1528)iPhone5C(A1529)iPhone5S(A1530)iPhone5C(A1526)LGNexus5iPhone5(A1429)华为AscendG730iPhone5S(A1533)三星SM-N9005三星SM-G3502IiPhone5(A1428)iPhone4(A1332)OPPOOPPOX909iPhone4S(A1431)华为E5220s-1iPhone5A1429iPhone4S(A1387)iPhone4S(A1387)MI2012121iPadmini(A1455)三星GT-I9082三星SM-N9002MI2012061iPad(A1430)三星GT-I9502三星SM-N900三星GALAXYS4GT-I9500三星GT-I9300三星GT-I9500三星GALAXYNOTE2GT-N7100honor3C酷派7295酷派7296酷派7295+联想A820MI3W联想A850华为G520-0000三星GT-I9152iPhone4(A1332)酷派7295AMIMI-ONEPlus三星SM-G7106MI2013012三星GT-I9082iYUGECWM630三星SM-G3502MI2S三星GALAXYWINGT-I8552三星SM-G3812HTCT328w三星SM-G9006VMI2012052HTCD816wHTCT528w三星GT-N7102HTC606wHTC802w三星GT-I8552三星GT-I8262D三星GT-S7572魅族MXM353三星GT-I9100三星GT-S7562iHTCPG58130魅族MXM351三星SM-N9006魅族M040三星GT-I9100GiPad2A1396三星GT-N7100三星GT-S7562TechwishTR105-20.00-18.00-16.00-14.00-12.00-10.00-8.00-6.00-4.00-2.000.000.0%0.2%0.4%0.6%0.8%1.0%1.2%1.4%1.6%1.8%2.0%比较各品牌终端的综合表现筛选个别型号表现差终端端2、端到端网络优化——终端情况和终端性能32•网络资源:从业务量及设备负荷、网络侧资源情况、网络资源拥塞情况及关联分析等多个维度,分别对网络中小区的资源使用情况进行分析和呈现。•多项协同:通过对2/3/4G网络性能的综合分析,反应2/3/4G网络业务、终端、用户的协同发展状况。网络资源多网协同管多维度可选的网络资源横向对比高负荷及拥塞小区一目了然分析粒度小区扇区任意切换重点扇区详细信息钻取多个组合维度分析234G网间协同全面的网间协同指标展示天面维度分段指标展示3、端到端网络优化——网络资源和多网协同33•联合分析:结合现网覆盖、结构、感知、资源各方面分析结果,针对每个扇区给出优化建议,为现网实际规划优化提供参考。•站址合理性:建立终端无线性能评价体系,对现网主流活跃终端进行网络性能评判,支撑网优建设、优化的有效性投放。管联合分析站址合理性综合感知、覆盖、结构、资源四方面给出扇区联合分析结果网格维度汇总问题扇区,提供优化建议从结构和覆盖两方面综合评定各小区站址合理性GIS展示各级别小区重点小区钻取详细信息,明确问题所在4、端到端网络优化——联合分析和站址合理性34云•业务质量:采用信令面XDR数据对语音业务、数据业务以及其他各类业务的运行质量,指导网络优化与规划。指标呈现从用户/终端/网元等维度呈现业务质量指标原因排查从数据流程和信令流程维度分析异常情况成因联合定位从地理维度定位小区,从地址维度定位网元分析处理针对发现的问题提出进一步核查与处理的建议分析呈现TOP网元问题原因分析钻取问题网元定位查找5、端到端网络优化——业务质量35投诉分析多维度分析全网投诉投诉收集投诉挖掘原因定位优化建设从投诉时间、位置、原因、类别、等级、客户等多个维度综合分析投诉数据,全面呈现投诉问题分布,辅助问题查找。投诉信息一键导出6、投诉跟踪处理——投诉分析36我今天上午在XX大厦附近上网,网络总是不好,图片显示不出来。常见投诉问题•时间地点提供不清•问题描述太过模糊用户画像自然属性:性别、年龄用户属性:VIP等级、入网时长、签约套餐消费属性:ARPU、MOU、DOU终端属性:终端型号、终端能力偏好属性:业务偏好、时间偏好、地理偏好提供6大类用户标签的选择109种标签描绘每个用户多重筛选定位具体用户•查询投诉用户的手机号码快速定位用户投诉收集投诉挖掘原因定位优化建设7、投诉跟踪处理——用户画像37BO+•用户轨迹结合用户感知,B侧及O侧数据关联分析,精准定位用户投诉问题的精确时间及位置。用户轨迹感知分析多种形式展示不同维度分析结果投诉收集投诉挖掘原因定位优化建设•个体轨迹辅助定位单个用户、查找用户投诉具体位置。•群体轨迹分析群体的地理聚集度及业务聚集度,评价不同区域的群体分布。个体用户轨迹点群体用户轨迹趋势图8、投诉跟踪处理——用户轨迹和感知分析38网络性能网络稳定性从接入性、保持性、移动性、完整性、互操作等角度全方位评估网络性能。深入分析断站、退服等影响用户感知的故障告警,辅助查找网络稳定性问题。投诉收集投诉挖掘原因定位优化建设•从用户感知映射网络问题,从网络覆盖、性能、稳定性多方位定位网络问题,完成KQI到KPI的转化。数据、图表、GIS多维度联合展示指标问题小区分析直接筛选质差小区断站次数及时长分析断站原因分析9、投诉跟踪处理——网络性能和网络稳定性39投诉收集投诉挖掘原因定位优化建设•从客户投诉/用户感知入手,提升网络整体支撑保障能力与客户感知。•以解决客户投诉为核心,发现感知问题,查找网络原因,指导优化建设,形成网络优化闭环。•从需求热点、投诉重点、网络短板等分析结论出发,提升运维优化水平。支撑运维优化建设•以投诉为切入点,通过用户感知查找网络问题,不断推进网络优化建设。用户投诉为出发点投诉优化建设感知问题网络问题10、投诉跟踪处理——优化建设40一运行分析视图二大数据平台总体架构规划支撑视图三决策支撑视图四目录41平台从现网资源情况、存在问题、用户终端业务分布等多方面为网络规划提供信息参考;在此基础上提供规划建议;并通过GIS辅助平台进行方案落地;通过“覆盖情况”专题寻找可能的问题区域基于地市/网格/场景/扇区/基站等不同维度呈现区域内现网站点情况结合“网络结构”专题查看区域内站点分布情况通过热度图呈现区域用户数量、业务量;通过区域内不同制式的终端数量为4G网络建设和2G退网提供支撑;基于收入、用户、终端、业务情况提供资源重点投放排名和LTE建设区域推荐;在Web界面上呈现各类结果图层供规划参考,并提供手动加站和批量站点导入功能;了解资源现状定位存在问题用户终端业务提供规划建议方案平台落地综合用户感知情况判断是否存在问题;完成站点规划后在“规模调整”模块自动计算单个站点投资,并根据设定优先级规则生成三年滚动规划;1、平台落地基本思路42•对2\3\4G的室内外无线侧资源进行统计与展现,从而了解本地网的站点分布和资源情况;•可以进行省份、城市、BSC\NodeB\eNodeB等多维度查询及统计结果的呈现,呈现方式包括表格和地理呈现。2、了解资源现状菜单维度选择数据报表呈现指标图表显示GIS展示43查看本地网覆盖整体情况3、定位存在问题—覆盖情况和网络结构•覆盖情况:基于MR/路测数据从地市场景网格逐级统计覆盖情况,并在地图上对弱覆盖区域予以呈现;•网络结构:针对现网站点的站高、站密和覆盖有效性进行分析,并结合覆盖情况进行关联分析,为问题定位提供参考覆盖情况网络结构查看场景维度覆盖扇区粒度的覆盖情况呈现通过平均站址、高/中/正常/稀疏站数量/占比等指标,并结合GIS多维度(地市、场景、网格等)呈现区域内的站密情况。站高分析通过软切换比例是否合理,并结合覆盖有效性指标对区域内网络整体覆盖的合理性进行评估。将网络结构与覆盖情况结合综合定位问题区域444、定位存在问题—用户感知分析构建移动互联网主流业务的感知评价方法体系,输出单用户级综合业务感知评价、小区级综合业务感知评价,形成基于感知门限的预警及回溯机制,实现差异化建设目标,精准匹配客户需求。1、建立主流业务的用户感知体系2、获取用户及用户群体的感知3、获取扇区级主流业务感知4、基于感知的问题定位流媒体感知结果下载业务感知结果及时通信感知结果浏览业务感知结果其他业务感知结果数据业务总体感知结果455、用户终端分析结合O域信令与B域用户类型信息及终端库,实现针对终端、用户类型的聚类统计和地理化呈现。2G用户2G终端分布2G用户3G终端分布2G用户4G终端分布3G用户2G终端分布3G用户3G终端分布3G用户4G终端分布4G用户2G终端分布4G用户3G终端分布4G用户4G终端分布463G语音话务量3G上行数据流量3G下行数据流量4G上行数据流量4G下行数据流量6、业务分析针对用户在网络中的各大类业务使用情况,进行统计并呈现;综合用户、终端、网络、业务量多维度呈现业务使用情况,为2G退网、4G建设提供有力支撑;主流业务分布Top5品牌的主流业务分布47扇区收入地图提取用户、业务、终端要素数据并进行标准化打分,AHP算法对实现综合价值计算alue=价值用户业务终端Value=U+A+T价值区域应用①数据提取、解析及入库整理层次分析打分&价值区域发掘分析要素业务终端用户•分维度独立加权评分、排名、分档•各维度综合加权评分、排名、分档•网络性能作为联合分析,不做综合评分•结合GIS的地理价值地图生成及区域发现•结合场景及名单的逻辑价值区域发掘•结合时间维度的时域价值地图及发掘价值发掘规划支撑标准化打分业务标准化终端标准化用户标准化层次分析打分业务要素价值终端要素价值用户要素价值网络性能联合分析价值展示优化支撑②利用Z-Score算法对要素各指标进行标准化打分③利用专家矩阵对准则层(要素)打分④根据专家矩阵采用AHP方法,进行综合打分;结合地理和逻辑进行价值区域发掘⑤落地应用价值量化计算价值分布及汇聚重点投资区域是中国联通进行资源投放的重要指向,需从用户、业务、终端等维度进行综合考量。构建B+O打通的基础数据集合,支撑网络规划及优化应用。用户聚集地图终端均价地图业务分布地图综合价值地图7、提供规划建议—资源重点投放区域488、方案平台落地—整体流程规模调整确定站点建设年份,生成项目库规则编辑工程配置设定及初始化计算批量选择和修改工程汇总和项目库的图层导出基于仿真或覆盖半径进行预评估覆盖评估人口评估效果预评估建设方案前后对比方案审核规划审核基于导出文件实现和PMS线下对接需求库、现状库生成项目库、指标库生成其他表人工导入PMS对接基础数据维护基础工参/图层维护场景\网格\厂家等图层现有站点信息现网运行分析站点入网后基于网络运行指标对网络运行情况进行评估辅助加站需求库生成现网运行指标的GIS呈现批量站点导入、单个站点选网格场景等关键字段的回填站点造价计算49基于平台完成设备造价信息配置、对规划相关网络指标予以GIS呈现供规划人员参考;实现需求站点批量导入/手动添加、站点造价综合计算等一系列功能,从而初步形成规划站点需求库。9、方案平台落地—辅助加站设备造价信息配置规划相关网络指标的GIS呈现规划站点的手工添加规划需求站点的文件导入需求库的初步形成50对辅助加站模块所生成的站点需求库进行重要性排序,并基于排序规则确定出站点规划建设年份。在此基础上计算每个站点的实际投资,并以制式、场景等不同维度进行汇总统计。10、方案平台落地—规模调整选择规模调整项目进行初始配置对站点重要性进行排序考虑场景、网格、管理属性、市场重要性等多个条件创建规则,进行站点筛选支持对扩展字段的筛选规则创建策略规则设定完成规则创建后实时显示每个规则所筛选的站点数和投资额批量站选择也可在地图上单个站点,选择相同属性的所有站点工程期配置对筛选出来的批量站点基于网络规划原则确定建设年份站点信息51一运行分析视图二大数据平台总体架构规划支撑视图三决策支撑视图四目录52总览•从资源、用户、业务、网络、终端五个方面全面概括网络现状,纵观全网、把握全局。•各指标全国横向对比,逐层钻取,为各级网络规划和优化提供决策支撑。网络规划及优化最关注的5大类,30个关键指标,分各维度描绘网络全貌1、总览视图——指标内容53全国省份地市区县网格场景各省指标横向对比点击某省钻取到地市点击某市钻取到区县区县、网格、场景视图任意切换点、线、面各种场景分别展示线型场景一目了然不同颜色标示场景范围2、总览视图——指标维度54折线图、饼图、堆积图等多种图表展示形式一目了然区县、网格、站址、扇区、小区等不同维度GIS分档展现3、总览视图——展示形式55标准简报一键生成省级以上月度简报并导出PDF文件,通过关键指标统观全网、支持决策,方便长期对网络运行状况监测汇报。4、简报视图——标准简报每月月初生成上月月度简报通过权限控制对不同层级使用者开放全国简报或省级简报从客户群体和网络能力两方面展示网络整体情况不同指标一键定位跳转,方便查看一键导出PDF文件56谢谢!
本文档为【主流大数据处理技术及应用方案】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
个人认证用户
天山书童
暂无简介~
格式:pdf
大小:16MB
软件:PDF阅读器
页数:0
分类:高中语文
上传时间:2019-11-24
浏览量:0