GaussDB云数据库行业解决方案

GaussDB云数据库行业解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 加速企业数字化转型华为云数据库发展及GaussDB全新升级GaussDB产品与技术优势GaussDB未来演进趋势GaussDB加速企业数字化转型目录CONTENTS1234数据库历史回顾和趋势：云化，融合是方向60s诞生70s兴起关系型数据库SQL语言80s发展SQL事实标准化I&O的黄金岁月90s转型互联网数据爆发00s新玩家4VNoSQL当前演进Scale-Out未来创新层次型数据库IBM网状型数据库CODASTY关系模型白皮 书 关于书的成语关于读书的排比句社区图书漂流公约怎么写关于读书的小报汉书pdf 关系型数据库SystemRIBM（SQL）ORACLE1st商用IBMDB2SAPSybaseInformix分布式实体关系型面向对象型Teradata 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 New分布式SQL数据湖应用互联网兴起NoSQLGoogleBigTableCouchDBCassandraNeo4JMangoDBRedis分布式SQLClustrixNuoDBGoogleSpannerSAPHANAVoltDBOraclein-memoryoptionHadoopSparkSQLHIVEReplaced？通常不支持事务及SQL语言，性能、容量、可扩展性突出规模并行处理MS、Oracle、SAP、IBM实时分析全分析规模并行处理纵列商业智能分布式云化HTAP多模图、时序、帐本AI关系型数据库Oracle/MySvQL键值数据库Redis宽列数据库Cassandra文档数据库MongoDB图数据库Neo4JML数据解决方案Spark/Tensorflow数据湖解决方案融合数据分析应用场景事务处理储存用户信息等日志等Web应用等图分析、搜索数据分析、特征抽取全场景数据模型关系表K-V键值对以列簇式存储KV键值对，V结构化图模型稀疏矩阵关联数组数学基础关系代数，集合论hashtableKV二维数组嵌套KV图论线性代数关联代数不同类型的数据库基于不同的理论基础，满足不同的数据管理、处理需求华为数据库依托华为云整体解决方案和全栈软硬件创新能力，为客户服务智慧城市智能制造数字化政府智慧金融行业互联网智慧园区智慧零售智能网联汽车云游戏数据库服务基础服务开发者专业服务企业应用IoT物联网安全EI企业智能华为云华为云Stack统一运维管理统一应用生态统一高阶服务18类200+服务,190+解决方案,10000+商业合作伙伴混合云解决方案多元算力HuaweiConfidential6俄罗斯研究所-莫斯科：•定位：内核算法、数据库自治•合作高校：Skolkovo（Prof.VictorLempitsky）；HigherSchoolofEconomics等爱尔兰研究所：•定位：数据库自治、新介质、大内存•合作高校：EPFL、ETH、TUM等欧洲德国研究所：•定位：数据库自治、新介质、大内存•合作高校：EPFL、ETH、TUM等以色列研究所：•定位：数据库安全能力中心•合作高校：以色列理工、特拉维夫大学等印度研究所-班加罗尔：•定位：数据库工具•合作高校：印度科学理工学院等中国深圳、北京、杭州、上海、南京、西安研究所：•定位：数据库内核、交付、维护•合作高校：清华、华东师大等加拿大多伦多研究所：•定位：OLTP•合作高校：滑铁卢大学，多伦多大学等20072011201420172020数据库技术原型华为GaussDB内核研发启动GaussDB分析型场景商用GaussDB交易型场景商用GaussDB升级全场景云服务7大全球研究所从事基础研究，10+年数据库领域技术积累，1000+数据库专项人才，40000+数据库集群（套）华为囊括全球1000+数据库专业人才，战略投入超13年HuaweiConfidential7选型安心全场景业务，全开放生态，安全可信非关系型•GaussDB(forMongo)•GaussDB(forInflux)•GaussDB(forCassandra)•GaussDB(forRedis)关系型GaussDB(openGauss)GaussDB(forMySQL)GaussDB(forPostgreSQL)OLTPOLAPGaussDB(DWS)管理省心无缝协同上层应用成本风险全监控80%90%100%数据开发数据库可视化查询与开发服务数据库管理服务DAS华为云数据库迁移放心数据库结构+应用+数据一站式迁移结构迁移(UGO)评估并转换异构数据库语法数据迁移/同步(DRS)实时变化数据捕捉数据校验（DRS）增量数据实时校验流量回放通过业务仿真提前感知业务稳定性和性能第三方数据库···GaussDB新一代企业级数据库，面向金融政企客户RDS/DDS开源数据库，面向互联网等关系型RDSforMySQLRDSforPostgreSQLOLTP非关系型DDS(Mongo)单机社区版本开源网站：http://opengauss.org不丢数据，不中断/影响业务，迁移成本低，提前仿真感知，透明可视化数据库运维数据库实时性能诊断与智能优化GaussDB数据库：为政企客户打造传统商业数据库一站式上云解决方案华为云数据库发展及GaussDB全新升级GaussDB产品与技术优势GaussDB未来演进趋势GaussDB加速企业数字化转型目录CONTENTS1234新场景新挑战：在政企、金融等企业级客户业务场景更为复杂对账系统传统解决方案创新，但依旧存在问题：•对账系统解决高可用/高可靠问题→事后业务成本高•核心数据库分片，应对业务演进→有一致性问题开源架构已经30年，传统HA方案：•半同步模式在极端场景可能丢数据•复制会导致性能下降核心业务Proxy分片1分片2Proxy分片3分片4分片5分片6ProxyRDSRDSRDSRDSRDSRDSRDSRDSRDS数据库分片分片7分片8分片9Pagereads(random)Master(read-write)Secondary(read-only)Secondary(read-only)Redologwrites(seq.)Pagewrites(random)LogshippingLocaldiskLocaldiskLocaldiskR/WRonlyRonly来自市场的核心诉求TopN需求和痛点需求描述海量数据存储支持大数据量业务分布式高扩展自动化分库分表或者非分库分表，应用透明无缝弹性扩容分钟级弹性扩容，应用透明强一致事务支持分布式事务的强一致性，数据0丢失高可用支持跨AZ高可用、跨Region容灾高并发性能支持大并发下的极致高性能非中间件式架构非DDM类方案（或者非DRDS）云数据库高性能高扩展易运维高可用高可靠GaussDB(forMySQL)新一代企业级OLTP数据库主备部署最大支持1写15读，分钟级添加只读实例，支持读写分离，自动负载均衡全分布式部署分布式高扩展：数据按shard划分，读写负载准线性扩展，满足大规模业务量场景……Shard1Shard2ShardN华为云底座RonlyR/WReplica(read-only)Master(read-write)Replica(read-only)SharedStorageRonlyGaussDB(forMySQL)主备版架构和优势PagereadsRedologwritesCoherencetrafficRonlyR/WReplica(read-only)Master(read-write)Replica(read-only)SharedStorageRonly极致可靠多维扩展海量存储极致架构卓越性能尖端硬件GaussDB(forMySQL)分布式架构和优势DFV分布式存储层db_02db_03db_00db_01db_04db_05业务系统分布式SQL引擎GaussDB多点写入分库分表业务系统业务系统分布式事务SQL解析器SQL执行器SQL优化器SQL解析器SQL优化器SQL执行器分布式事务兼容开源MySQL生态•语法•工具•连接器•开发生态超高性能，满足海量数据高并发场景•PB级数据•百万级TPS•千万级QPS极致架构成就极速扩展•300s分片扩展•自动扩展存储空间•秒级热点数据迁移架构更优GaussDB(forMySQL)能力和演进性优势明显VS性能更强提升30%计算存储分离+数据库逻辑下推可靠性更佳支持跨AZGaussDB(openGauss)数据库，灵活应对核心交易系统和海量事务型场景GaussDB(openGauss)分布式版聚焦海量事务扩展场景GaussDB(openGauss)主备版聚焦企业核心交易场景CORECORECORE并发线程CPU能源金融政府运营商交通数据新基建开源社区版：https://opengauss.org/zh/高性能:支持高吞吐强一致性事务能力鲲鹏2路服务器•分布式强一致：32节点1200万tpmC高可用:双活和两地三中心高可用•集群内HA，数据不丢失，业务秒级中断•同城跨AZ容灾，数据不丢失，分钟级恢复•两地三中心部署高扩展:容量和性能按需水平扩展•256节点扩展能力，卓越线性比•在线扩容易管理:易迁移，易监控，运维•兼容SQL2003标准语法+企业扩展包•数据复制、监控运维、开发工具异构迁移UGO数据同步DRS运维管理DAS工具集CoordinatorNode（分布式CBO）GTM(分布式事务)Computingnetwork主备HA切换跨AZ多活两地三中心X86/鲲鹏+EVS存储电信金融电力政府平安城市适用行业GaussDB(openGauss)总体架构和优势分布式执行分布式SQL存储引擎DataNode分布式执行分布式SQL存储引擎DataNode面向企业新型应用的云原生多模GaussDBNoSQL系列服务3倍自动弹性伸缩N-1个10倍10倍分钟级秒级100T多模GaussDBNoSQL系列服务文档型接口兼容MongoDB宽列接口兼容CassandraKey-Value接口兼容Redis时间序列型接口兼容InfluxDB计算存储分离架构，极致性价比GaussDBNoSQL架构应用程序1应用程序2应用程序3……应用程序NCassandra接口MongoDB接口Redis接口InfluxDB接口Node1Node2Node3Node4NodeN……架构优势01多个数据模型全负荷分担04N-1个节点故障容忍可用性数倍于基于ECS自建或者开源服务化的方案海量数据05100TB10+高可靠0620+7+03高性能3倍百倍提升02计算存储分离GaussDBNoSQL系列服务计算存储分离的架构创新社区版MongoDBGaussDB(forMongo)性能一个ShardServer节点承担读写压力三个ShardServer分担读写压力，相同成本2~3倍性能。成本存储成本：两层复制，3*3共9副本存储；存储计算绑定，同步扩展；起配成本：副本集3节点，集群模式11节点；存储成本：仅存储层3副本复制存储计算分别按需扩展，降低20%~40%成本；起配成本：只支持集群模式，7节点起配。HA副本集主备切换，10s。ShardServer间Failover，<5s。扩容小时~天级；扩容步长3节点。分钟级完成，100倍以上性能提升；扩容步长1节点。备份恢复逻辑备份，小时级。基于快照的物理备份，分钟级，10倍性能提升。生态兼容100%兼容，屏蔽高危、管理类命令。屏蔽convertToCapped、已有表重新Shard；GaussDB(forMongo)MongosPersistenceLayer(三副本)ShardServer(Primary)ShardServer(Primary)ShardServer(Primary)社区版MongoDBShardServer(Primary)Mongos本地FS本地FS本地FSShardServer(Hidden)ShardServer(Secondary)三副本复制LUNLUNLUNEVSEVSEVS主要技术创新存储计算分离复制集卸载到分布式存储RocksDB存储引擎基于快照的物理备份Ongoing实现分钟级节点扩缩容扩容耗时十小时级扩容耗时分钟级华为云GaussDB(forMongo)社区自建扩容迁移30.0025.0020.0015.0010.005.000.00140001200010000800060004000200000:05:002:20:004:35:006:50:009:05:0011:20:0013:35:0015:50:0018:05:0020:20:0022:35:000:50:003:05:005:20:007:35:002分片扩容到4分片TIME(5分钟统计粒度)OPSOPSLatency8.006.004.002.000.0080001300018000230000:00:100:00:400:01:100:01:400:02:100:02:400:03:100:03:400:04:100:04:400:05:100:05:402节点扩容到4节点TIME(10秒统计粒度)OPSLatencyOPSLatencyVS传统数据库迁移的痛点与诉求172839410511612云上语法迁移(UGO)评估并转换异构数据库语法数据迁移(DRS-数据同步)基于日志的实时变化数据捕捉数据校验(DRS-数据校验)基于日志的增量数据实时校验数据库管理服务(DAS-数据开发)数据库可视化查询与开发服务SQL查询对象开发实例管理操作审计敏感保护……实时分析SQL诊断SQL洞察慢SQL参数推荐……RDSDDSGaussDB线下……商业数据库数据库迁移工具集华为云数据库数据库开发与运维初始化时执行一次持续采集应用SQL迁移评估DML迁移DDL迁移PLSQL迁移流量捕获流量仿真实时转换性能分析在线迁移多活灾备数据同步数据订阅行级比对 内容 财务内部控制制度的内容财务内部控制制度的内容人员招聘与配置的内容项目成本控制的内容消防安全演练内容 比对列级比对组合校验持续运行，实时同步数据并比对数据准确性流量回放通过业务仿真提前感知业务稳定性和性能华为云数据库迁移管理云化解决方案，助力您轻松上云，极简运维数据库管理服务(DAS-云DBA)数据库实时性能诊断与智能优化华为云数据库发展及GaussDB全新升级GaussDB产品与技术优势GaussDB未来演进趋势GaussDB加速企业数字化转型目录CONTENTS1234云托管计算存储分离20182020Q12020Q22021~20192020H2未来，华为云数据库将持续技术创新与服务好客户Serverless华为云数据库发展及GaussDB全新升级GaussDB产品与技术优势GaussDB未来演进趋势GaussDB加速企业数字化转型目录CONTENTS1234国有某大行核心业务已商用GaussDB(openGauss)………数据库演进方式…CoreBanking柜台ERP/OA信用卡xx业务系统xx风险贵金属ATMxx特征识别支付清算POSxx公文系统AsIsToBe华为云Stack数据库服务GaussDB(OpenGauss)AZ1GaussDB三层互联(OpenGauss)AZ2云管面华为消费者业务数据库全面切换上云，3AZ数据0丢失华为消费者业务数据库全面切换上云APPAPPAZIELBAZ2ELB统一读IPAZ3ProxyELBDFV数据日志数据日志数据日志etcdetcdetcdDCGAZ1主节点VIPAZ2RegionCBU和CBG分工界线Region跨AZRPO为0的前提下，RTO<10s性能相较单AZ场景损耗<10%核心诉求日志强一致页面Gossip保障可靠性和性能关键技术GaussDB主节点(forMySQL)读节点读节点写&强读ProxyProxyrainbowrainbow弱读急速无感扩容，百倍超越友商•游戏开服6小时内需多次扩容•表级时间点恢复支持游戏快速回档•扩容期间性能稳定，不影响游戏体验游戏场景：急速扩容GaussDB助力开天创世游戏火爆开服05101520253530小时302分钟基于ECS自建或基于开源服务化的方案华为云多模GaussDBNoSQL系列服务扩容效率百倍提升急速扩容，性能平稳电信运营商软件22+省级：北京、重庆、上海、江苏、广东、新疆、贵州、…100+地级市：深圳、广州、厦门、西安、无锡、苏州、青岛、南京、中山、宜昌、天津、石家庄、扬州、连云港…泛政府泛金融酒店、互联网快递、娱乐能源&交通涉及财政、税务、医保、自然资源..成都空港城市发展集团制造、电商在500+大客户规模商用，遍布金融、政府、电信、能源、交通、物流、电商等行业谢谢观看THANKSFORWATCHING