AWS Aurora关系型数据库介绍

AWSAurora关系型数据库介绍技术创新，变革未来议程Aurora特性Aurora技术架构应⽤场景和客户 案例 全员育人导师制案例信息技术应用案例心得信息技术教学案例综合实践活动案例我余额宝案例 AmazonAurora的与众不同高性能和高可扩展性高可⽤性和高耐⽤性高度安全完全托管5倍于 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 MySQL的吞吐量3倍于PostgreSQL的吞吐量性能相当⽽成本仅为商⽤DB的1/10可以跨3个AZ,最多15个可读副本存储⾃增⻓，单实例可达64TB可⽤性高于99.99%具有容错及⾃我修复能⼒跨3个AZ复制6个数据副本数据持续备份到S3实例故障转移⼩于3秒通过VPC进⾏⽹络级隔离，⽀持静态存储及传输时加密，集群中的备份、快照和副本⾃动加密⽆需担⼼硬件、软件补丁、设置、配置或备份等数据库管理任务。会⾃动持续监控并将其备份到S3，可以实现精细的时间点恢复。兼容MySQL和PostgreSQL的关系数据库，为云打造。性能和可⽤性与商⽤数据库相当，成本只有1/10。与MYSQL写性能⽐较SysBenchWrite-Only(writes/sec)SysBenchOLTP(writes/sec)ConnectionsAmazonAuroraMySQLDBSizeAmazonAuroraMySQL1GB107,0008,40010GB107,0002,400100GB101,0001,5001TB41,0001,2005040,00010,00050071,00021,0005,000110,00013,000与MYSQL读性能⽐较Fourclientmachineswith1,000threadseachREADPERFORMANCESingleclientwith1,600threadsMySQLSysBenchR3.8XLwith32coresand244GBRAMWRITEPERFORMANCE性能测试减少⽹络传输缓存计算和存储分离减少不必要⼯作 更少IO减少延迟优化锁机制提高效率异步处理如何实现高性能？ 批量处理 数据库取决于IO⽹络存储依赖流量EU-WEST(Ireland)ASIAPAC(Tokyo)ASIAPAC(Singapore)US-WEST(N.California)US-EAST(Virginia)US-WEST(Oregon) GOVCLOUDASIAPAC(Sydney)ASIAPAC(Beijing)EU(Frankfurt)ASIAPAC(Seoul)ASIAPAC(Mumbai)OhioUKNXMontrealSOUTHAMERICA(SaoPaulo)全球18个Region区域（低延时，高覆盖，多运营商接⼊）ParisAWS全球区域AvailabilityZones可⽤区：多数据中⼼组成的同城灾备AWS全球可⽤区AvailabilityZoneAAvailabilityZoneBBeijingRegion北京区域AvailabilityZone可⽤区每个region区域⾄少有两个可⽤区每个可⽤区都由多个数据中⼼组成可⽤区之间地理与⽹络都是独⽴设计与运营可⽤区间⽹络延时保持在3ms以下可⽤区内延时保持在0.3ms以下跨可⽤区的高可⽤部署极低成本的城市圈级别的实时异地容灾⽅案AmazonAurora体系结构(横向扩展)PrimaryInstanceAmazonS3AZ1 AZ2 AZ3ReplicaInstanceASYNC4/6QUORUMDISTRIBUTEDWRITESReplicaInstanceLogging+StorageSQLTransactionsCaching控制层⾯数据层⾯AmazonS3DynamoDBAmazonSWFRoute53将⽇志记录和存储层移⼊多租户，横向扩展为数据库优化的存储服务与EC2､VPC、DynamoDB、SWF、Route53等其他AWS服务集成，⽤于控制层⾯的操作持续备份与S3集成，并具有11个9的持久性Aurora只读副本的不同之处LogRecordsBinlogDataDouble-WriteBufferFRMFiles,MetadataMySQLWithReplicaAZ1 AZ2PrimaryInstanceReplicaInstanceAmazonElasticBlockStore(EBS)S3EBSmirrorEBSEBSmirrorPiTRSequentialwriteSequentialwriteAZ1AZ3PrimaryInstanceS3AmazonAuroraAZ2ReplicaInstanceasync4/6quorumDistributedwrites主要改进⽇志结构化存储对异常值的⼀致性容忍度显着提高⽹络I/O的使⽤效率Aurora存储节点的I/O处理LOGRECORDSPrimaryInstanceINCOMINGQUEUESTORAGENODES3BACKUP12345678UPDATEQUEUEACKHOTLOGDATAPOINTINTIMESNAPSHOTGCBLOCKSSCRUBCOALESCESORTGROUPPEERTOPEERGOSSIPPeerStorageNodesI/O控制流接收记录并添加到内存队列中持久化⽇志记录并确认组织⽇志记录并鉴别⽇志中的缝隙通过Gossip协议填补对等节点中缝隙将⽇志记录合并到新版本的数据块中定期将⽇志和新块中转到S3定期垃圾回收旧块定期对块进⾏CRC校验实际运⾏效果 ①所有步骤都是异步的②仅有步骤1与2处于前台延时过程中③输⼊队列⽐MySQL少46倍④有利于延时敏感型操作⑤使⽤磁盘空间缓冲活动中的峰值AmazonAurora存储引擎概述数据在3AvailabilityZones中复制6份持续备份到AmazonS3(11个9的持久性)持续监视节点和磁盘并⾃动修复10GB的区段作为修复和存储根据⽤量⾃动增⻓的基础，存储最⼤扩展到64TBQuorumsystem读写;Quorummembership变更不会阻塞写AZ1AZ2AZ3AmazonS3DatabaseNodeStorageNodeStorageNodeStorageNodeStorageNodeStorageNodeStorageNodeStorageMonitoring可能问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ?Segment损坏(磁盘)节点损坏(主机)AZ损坏(⽹络或数据中⼼)AZ1 AZ2 AZ3SQLTransactionCachingAmazon 存储引擎容错SQLTransaction优化4outof6writequorum3outof6readquorumAZP1eer-to-peAZer2replicatAioZn3forrepairsCachingAmazonAurora 只读副本•可⽤性⾃动检测并替换失败的databasenodes⾃动检测并重启失败的databaseprocesses只读副本在主节点故障时⾃动提升(failover)客户可以指定fail-over顺序AZ1AZ3AZ2PrimaryNodePrimaryNodePrimaryDatabaseNodePrimaryNodePrimaryNodeReadReplicaPrimaryNodePrimaryNodeReadReplicaDatabaseandInstanceMonitoring性能客户程序可以将读流量指向只读副本读负载在多个只读副本间均衡⽀持15个只读副本⾃动故障转移 集群读写与只读终端节点横向扩展读取性能ApplicationReadReplica1⾃动添加或删除只读副本 ReadReplica2MasterNodeShareddistributedstoragevolumeAmazonAurora—扩展与高可⽤AppRunningFailureDetection DNSPropagationRecoveryRecoveryDBFailureMYSQLAppRunningFailureDetectionDNSPropagationRecoveryDBFailureAURORAWITHMARIADBDRIVER5-6 sec5-10 secAurora⾃动故障接管过程SEGMENTSNAPSHOTLOGRECORDSSEGMENT1SEGMENT2SEGMENT3TIMEAurora数据库备份与恢复RECOVERYPOINT并⾏为每个段定期拍快照，将重做⽇志流传输到S3存储桶持续进⾏备份，并不影响性能或可⽤性在还原时，从S3返回相应的段快照与重做⽇志流到存储节点以并⾏和异步⽅式应⽤重做⽇志流到段快照传统数据库需要从lastcheckpoint重放所有⽇志⼀般来说从checkpoints开始5分钟内在MySQLandPostgreSQL上是Single-threaded需要⼤量的diskaccessesAmazonAuroraCheckpointedDataLogCrashatT0requiresare-applicationoftheSQLinthelogsincelastcheckpointT0T0启动时⽆需重放，存储系统transaction-aware底层存储不管是否恢复阶段都会持续⽇志合并操作是并⾏，分布和异步的CrashatT0willresultinlogsbeingappliedtoeachsegmentondemand,inparallel,asynchronouslyAmazonAurora 紧急崩溃恢复Aurora只读副本⾃动伸缩技术MASTERREADREPLICAREADREPLICAREADREPLICASHAREDDISTRIBUTEDSTORAGEVOLUMEREADEREND-POINT基于重做⽇志复制的副本低延时-通常<10毫秒读取器端点具有负载平衡和⾃动缩放(CPU及连接数)AvailabilityZone1AvailabilityZone2跨多个可⽤区最多可提升15个只读副本AvailabilityZone3克隆数据库⽽不复制数据瞬间创建⼀个数据库克隆仅在发⽣写⼊时复制数据(COW)–当原始数据和克隆卷数据不同时应⽤场景克隆⽣产数据库以运⾏测试数据库重组为分析提供⼀个时间点快照，不影响⽣产环境PRODUCTIONDATABASECLONECLONECLONEDEV/TESTAPPLICATIONSBENCHMARKSPRODUCTIONAPPLICATIONSPRODUCTIONAPPLICATIONSAurora数据库克隆技术存活 caches••将cache从数据库进程中分离出来数据库重启时Cache可以依旧保持热度更快地恢复全量加载操作实例崩溃恢复+可存活cache=更快速容易地从DB失败中恢复SQLTransactionsCachingSQLTransactionsCachingSQLTransactionsCachingCachingprocess和DBprocess分离开来并在数据库重启时保持warm数据回溯••可以多次恢复，直到需要的时间点t0t1t2t0 t1 t2 t3 t4快速恢复⽤户的错误操作使⽤Backtrack允许您将数据库回退到以前的某个时间点，⽆需从备份还原，即使是⼤型数据库也只需要⼏秒钟时间。t3t4Rewindtot1Rewindtot3InvisibleInvisible跨区域副本容灾提升replica到master实现容灾•不同地区的客户离数据更近轻松迁移当任何的实例故障，应⽤零停机✓更快速的写⼊性能 更强⼤的扩展能⼒Aurora多主节点(Multi-Master)NEW!ApplicationRead/WriteMaster1ShareddistributedstoragevolumeRead/WriteMaster2当任何的AZ故障，应⽤零停机 Read/WriteMaster3通过使⽤AmazonAuroraMulti-Master，可以在多个可⽤区中创建多个读取/写⼊主实例。应⽤程序就可以在集群的多个数据库实例中读取和写⼊数据，就像⽬目前可以在只读副本中读取⼀样。横向扩展读/写性能按需⾃动启停⽆服务器化、⾃动扩展仅为您使⽤的资源按秒付费Aurora⽆服务器架构(Serverless)WarmCapacityPoolApplicationDatabaseEndpointScalableDatabaseCapacity(Compute+Memory)SharedDistributedStorageNEW!Serverless是⼀种⾯向Aurora的按需扩展配置，数据库将根据您的应⽤程序的需求来⾃动启动、关闭以及纵向和横向扩展数据库容量。可在云中运⾏关系数据库，⽽⽆需管理数据库实例或集群。Aurora全球同库跨区域多主节点HEADNODESHEADNODESLOCALPARTITION REMOTEPARTITIONMULTI-AZSTORAGEVOLUMEREGION1本地写、低延时乐观锁并发控制-没有分布式锁管理器与全局锁管理协议LOCALPARTITION REMOTEPARTITIONMULTI-AZSTORAGEVOLUMEREGION2分层冲突处理-主节点、存储节点,可⽤区、区域级别仲裁，当⽆或低冲突级别时性能近线性扩展NEW!AWS RDS主要特性对⽐FeatureAuroraMySQLMariaDBPostgreSQLOracleSQLServerVPC✓✓✓✓✓✓HighAvailability✓✓✓✓✓✓InstanceScaling✓✓✓✓✓✓Encryption✓✓✓✓✓✓ReadReplicas15555N/AN/ACrossRegion✓✓✓✓N/AN/AMaxStorage64TB16TB16TB16TB16TB16TBScaleStorageAutoScaling✓✓✓✓✓ProvisionedIOPSN/A30,00030,00030,00030,00020,000LargestInstanceR4.16XLR4.16XLR416XLR4.16XLR4.16XLR4.16XLAurora适⽤场景Mysql/PostgreSQL即使优化仍然遇到瓶颈优化索引优化SQL主从读写分离拆分数据库高并发读写OLTP优势明显千万级以上⼤表⽆需拆分需要快速恢复Aurora最佳实践遵循关系型数据库的优化原则如果没有Mysql或者跨区域复制需求，禁⽤binlog未知负载或者不经常⽤的场景，使⽤Serverless必要时使⽤⾃动扩展增强监控CloudWatch监控安全实践IAM⽤户最⼩权限安全组只允许内部应⽤服务器访问禁⽌从公⽹访问MySQLshardsAuroraDMSMySQLshardsMySQLshardsEC2MySQLTakesnapshot;LoadtoS3IngestsnapshotintoAuroraRDSMySQLAuroraIngestsnapshotCatchupusingbinlogreplicationAuroraRDSMYSQLtoAuroraEC2/on-premisesMYSQLtoAuroraMany-to-onemigrationConsolebasedautomatedsnapshotingestionandcatchupviabinlogreplication.BinarysnapshotingestionthroughS3andcatchupviabinlogreplication.ConsolidatemultipleMySQLshardsintoasingleAurorainstanceusingDatabaseMigrationService.AmazonS3Aurora数据库迁移⽅法Aurora 客户AWStop100客户中的3/4使⽤AuroraAWS增⻓最快的服务Aurora技术要点回顾专为云环境设计（CloudNative）实现计算与存储分离核⼼观念-⽇志即数据库全⾯兼容MySQL与PostgreSQL引擎与AWS服务⽆缝对接(IAM、S3､Lambda、Kinesis)Multi-Master、Serverless、全球同库感谢聆听！