GBase-Up统一数据平台管理员手册

南大通用数据技术有限公司-1-GBaseUP统一数据平台管理员手册GBaseUP管理员手册南大通用数据技术股份有限公司I目录前言..............................................................1手册简介.............................................................................................................1公约.....................................................................................................................11系统简介......................................................21.1系统简介..............................................................................................21.2产品技术特点......................................................................................21.3产品功能简介......................................................................................31.4架构.....................................................................................................42集群规划......................................................52.1数据模型规划......................................................................................52.2空间规划..............................................................................................72.3Hadoop生态空间规划........................................................................82.4C3辅助工具........................................................................................92.4.1C3简介............................................92.4.2C3工具常用命令....................................92.5cgroup控制组....................................................................................133GBaseUP集群管理.............................................143.1基本管理............................................................................................143.1.1系统安装..........................................143.1.2修改数据库gbase用户密码..........................143.1.3集群服务的启停....................................153.1.4集群的登录与退出..................................153.1.5集群基本配置......................................163.2高级管理命令gcadmin.....................................................................173.2.1distribution命令.................................183.2.2rmdistribution命令...............................263.2.3addnodes命令.....................................273.2.4rmnodes命令......................................293.2.5showdistribution命令.............................313.2.6switchmode命令...................................343.2.7showlock命令.....................................343.2.8showddlevent命令.................................353.2.9showdmlevent命令.................................373.2.10showdmlstorageevent命令......................39GBaseUP管理员手册II南大通用数据技术股份有限公司3.2.11showcluster命令..............................403.2.12getdistribution命令..........................433.2.13setnodestate命令.............................453.2.14help命令.....................................453.2.15version命令..................................453.3DDL与DML.....................................................................................463.3.1DDL..............................................463.3.2DML..............................................613.4数据加载............................................................................................653.4.1功能简介.........................................653.4.2语法格式.........................................653.4.3使用约束.........................................693.4.4数据服务器配置...................................723.4.5加载状态监控.....................................803.5集群的审计日志................................................................................863.5.1简介.............................................863.5.2配置参数.........................................863.5.3存储方式.........................................873.5.4使用约束.........................................873.5.5使用示例.........................................873.6集群的扩容、缩容............................................................................923.6.1集群扩容和缩容操作流程...........................923.6.2安装和卸载data节点..............................943.6.3创建distribution和hashmap.......................943.6.4删除hashmap和distribution.......................953.6.5rebalance命令....................................953.6.6rebalance命令相关参数..........................1103.7集群节点替换..................................................................................1123.7.1简介............................................1123.7.2功能概述........................................1123.7.3注意事项........................................1133.7.4节点替换的步骤..................................1143.8集群的权限管理..............................................................................1173.8.1用户管理........................................1173.8.2权限管理........................................1184Hadoop集群管理..............................................1235Hive引擎支持KERBEROS认证...................................123GBaseUP管理员手册南大通用数据技术股份有限公司III5.1使用前提..........................................................................................1235.2使用方式..........................................................................................1236图形化管理工具..............................................1256.1企业管理器......................................................................................1256.2集群监控工具..................................................................................1266.2.1GBaseUP监控....................................1267常见故障处理................................................1267.1MysqlHA出现异常........................................................................1267.1.1Last_IO_Error错误...............................1267.1.2CouldnotexecuteUpdate_rows错误...............1317.1.3Last_IO_Error错误...............................1327.1.4Last_IO_Error错误...............................1327.2HadoopHADatanode异常处理.....................................................1337.3HadoopHANamenode异常处理...................................................1377.3.1Zookeeper恢复...................................1387.3.2Zkfc/Namendoe/Journalnode........................141GBaseUP管理员手册南大通用数据技术股份有限公司-1-前言手册简介GBaseUP管理员手册主要从用户使用的角度，介绍了GBaseUP数据库日常维护管理的知识。通过阅读本手册，用户可以学习到GBaseUP数据库的常用管理技能和维护技巧，掌握对数据库常用对象的命令管理和图形化管理技能，掌握对数据库状态监控的技能。第一章对GBaseUP做简单介绍，主要描述了GBaseUP的功能，特点等方面的内容。第二章介绍了GBaseUP的规划，主要描述了GBaseUP的数据模型规划、空间规划的内容。第三章介绍了GBaseUP的基本管理以及Hadoop生态系统管理，主要描述了集群服务的启停，集群的登录与退出和集群基本配置等内容。第四章介绍了Hadoop集群管理及配置。第五章对GBaseUP的图形化管理工具进行了简单介绍。第六章介绍常见故障处理。公约下面的文本约定用于本文档：约定说明加粗字体表示文档标题大写英文（SELECT）表示GBaseUP关键字等宽字体表示代码示例…表示被省略的内容。GBaseUP管理员手册-2-南大通用数据技术股份有限公司1系统简介1.1系统简介南大通用统一数据平台系统，简称：GBaseUP，它融合了GBase8aMPP、GBase8s、开源Hadoop生态系统，兼顾大规模分布式并行数据库集群系统、稳定高效的事务数据库，以及Hadoop生态系统的各种大规模结构化与非结构化数据处理技术，能够适应OLAP、OLTP和NOSQL三种计算模型的业务场景，是构建企业数据平台的重要基础设施。1.2产品技术特点GBaseUP具备以下技术特征：1)低硬件成本：完全使用x86架构的PCServer，不需要昂贵的Unix服务器和磁盘阵列；2)集群架构与部署：完全并行的MPP+ShareNothing的分布式架构，采用多活Coordinator节点、对等数据节点的两级部署结构。Coordinator节点支持最多部署32个，数据节点支持最多部署300个，数据量支持15PB。3)海量数据分布压缩存储：可处理PB级别以上的结构化数据，采用hash或random分布策略进行数据分布式存储。同时采用先进的压缩算法，减少存储数据所需的空间，可以将所用空间减少1～20倍，并相应地提高了I/O性能；4)数据加载高效性：基于策略的数据加载模式，集群整体加载速度随节点数增加线性增长；5)高扩展、高可靠：支持集群节点的在线扩容和缩容，效率更高，对业务的影响更小。支持全量、增量的备份/恢复。GBaseUP管理员手册南大通用数据技术股份有限公司-3-6)高可用、易维护：数据通过最多2个副本提供冗余保护，自动故障探测和管理，自动同步元数据和业务数据。提供图形化监控工具和企业管理器等管理工具，简化管理员对数据库的管理工作；7)高并发：读写没有互斥，支持简化模式的MVCC，支持数据的边加载边查询，单个节点并发能力大于300用户；8)行列转换存储：提供行列转换存储 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ，从而提高了列存数据库特殊查询场景的查询响应耗时；9)标准化：支持SQL92标准，支持ODBC、JDBC、ADO.NET等国际接口规范。10)数据节点多分片：在一个数据节点上可同时部署多个数据分片；单数据节点数据分片数量支持最多32个。11)灵活的数据分布：用户可以按照业务场景的需求，自定义数据分布策略，从而在性能、可靠性和灵活性间获得最佳匹配。12)异步消息：Coordinator默认采用异步消息模式与数据节点通信，支持高达300节点的集群规模。1.3产品功能简介GBaseUP支持的功能如下表所示：功能描述结构化查询语言符合SQL92标准，支持CREATE、ALTER、DROP等DDL语法，支持SELECT、INSERT、UPDATE、DELETE等DML语法，支持单表，多表联合查询；支持HQL扩展语法数据类型INT、TINYINT、SMALLINT、BIGINT、DECIMAL、FLOAT、DOUBLE数值数据类型CHAR、VARCHAR、TEXT字符数据类型DATE、TIME、DATETIME、TIMESTAMP日期类型BLOB二进制数据类型GBaseUP管理员手册-4-南大通用数据技术股份有限公司功能描述数据库对象提供了数据库，表，索引，视图，存储过程，自定义函数等常用数据库对象的创建，修改和删除操作，支持数据库用户的创建，删除操作，以及用户权限的分配与回收行列混合存储基于创建的物理表，可以实现行存列的创建，修改和删除图形化工具提供了企业管理工具和集群监控工具。接口符合并支持ODBC、JDBC、ADO.NET等接口规范，并提供本地CAPI接口。1.4架构引擎层GbaseUP集群(Node1)corosyncgclusterdgcrecoverquery(Node2)corosyncgclusterdgcrecover(Node3)corosyncgclusterdgcrecoverGbase8aMPPgbasedGBase8tHadoops生态HiveonsparkHBase......8t图1-1GBaseUP拓扑结构图SSGBaseUP管理员手册南大通用数据技术股份有限公司-5-标准ODBC、JDBC、ADO.NET、Restful集群基础服务8t引擎8t/8t集群8tAPI元数据管理SQL解析器调度执行器用户与授权引擎层（含关联引擎）8a引擎8a集群（含全文）8aAPIHive引擎Hadoop集群Hive/HadoopAPI资源管理统一接口层8a企业管理器数据仓库应用数据挖掘应用事务密集型应用扩展引擎扩展模块和服务图1-2GBaseUP架构图2集群规划在集群上需要部署海量数据，如果集群部署失败后，再重新部署，成本将很高。因此，在实际部署集群前，需要对将在集群上部署应用的数据模型(schema)，数据容量，数据更新率，数据生命期，数据安全策略，查询性能等诸多方面进行分析和优化。2.1数据模型规划GBaseUP中，数据是按表存放的，因此数据模型规划阶段需要对数据表的分布策略进行仔细规划。GBaseUP中的表可以分为如下类别：复制表：在集群中复制表所在的Distribution中的每个节点都保存一份全量数据，再与其它表进行关联查询时可以直接在本节点上完成，无需与其它节点进行交互，因此性能最优。但由于各个节点上数SSSSSGBaseUP管理员手册-6-南大通用数据技术股份有限公司据完全相同，导致存储空间增加，因此通常用于小表、维度表或经常需要JOIN关联的数据表。分布表：将数据分布存储到不同的节点上。每个节点上存储一部分数据（分片存储），根据不同应用场景，GBaseUP提供如下两种分布表：哈希分布表：将表中某列指定为哈希列，然后将数据按照哈希算法的取值存储到不同的节点上。每个节点上只存储一部分数据。这种存储策略，将大表数据进行分拆，实现分布式存储。哈希分布表，经常用于对哈希列进行等值查询的场景，是大型数据中心最常用的数据分布方式。随机分布表：将数据随机存储到不同的节点上，每个节点只存储一部分数据，各个节点上的数据量接近。这种数据分布方式，通常用于对数据进行汇总计算的场景。例如,在星型模型中，一般将维度表设为复制表，事实表设为分布表(哈希分布或者随机分布)。在下图ssb模型中，lineorder表设为分布表，其他维度表设为复制表。事实表(FactTable)维度表(DimensionTable)维度表(DimensionTable)维度表(DimensionTable)维度表(DimensionTable)维度表(DimensionTable)图2-1ssb星型模型结构图GBaseUP管理员手册南大通用数据技术股份有限公司-7-对于分布表，还需要考虑数据的高可用，即需要确定备份个数及备份策略，最多支持备份个数为两个，满足不同的高可用需求。nocopies表：nocopies表的引入是为了提供一种作为中间表使用的表，用以消除副本存储带来的开销，并且nocopies表也可以转换为分布表。临时表：当创建表时，使用关键词TEMPORARY。临时表被限制在当前连接中，当连接关闭时，临时表会自动地删除，这样两个不同的连接可以使用同一个临时表名而不会发生冲突，也不会与同名现有的表冲突（现有表将被隐藏，直到临时表被删除）。可以联合使用NOCOPIES关键字来创建临时的nocopies表；可以联合使用REPLICATED关键字来创建临时复制表；可以联合使用DISTRIBUTEDBY关键字来创建临时哈希分布表；2.2空间规划确定了应用的schema模型和高可用需求后，要根据物理节点存储空间的大小，计算每个节点的有效存储空间，为确定集群中所需节点数量提供重要的参考数据。节点空间的用途主要分为两部分，数据存储空间、运算存储空间。数据存储空间主要包括:复制表占用空间。分布表占用空间。分布表的副本占用的空间。索引占用的空间（如果有索引）。运算存储空间主要包括:运算存储空间主要是运算过程中需要的临时空间。需要根据业务实际GBaseUP管理员手册-8-南大通用数据技术股份有限公司场景来分析，通常运算存储空间至少是数据存储空间的20%~30%。另外，GBaseUP支持对数据进行压缩存储，并且提供多种压缩模式。可以实现深度压缩，最大程度节省磁盘空间；也可以实现轻度压缩，最大程度提升性能。用户需根据实际的业务数据特征、业务需求来选择不同的压缩方式，并根据实际数据测试结果来估算压缩后的空间需求。数据管理策略主要指在时间方向上，随着时间推移，伴随数据生命期在GCluster上的管理策略。其主要内容包括:集群扩容，扩充集群的数据存储容量，支持在线扩容。复制表数据加载采用复制分布模式，即所有节点数据内容都一致。分布表数据加载策略有随机分布模式和哈希模式。随机分布模式：随机分布模式是指数据库创建随机分布的分布表，在对其进行加载时按随机模式分发数据内容。哈希模式：哈希模式是指在加载之前先对原始数据中的每条数据中指定的哈希列进行处理，处理后的数据按照哈希值装入特定的哈希桶中，每个哈希桶对应一个集群节点。这样每个节点所得到的数据就都具有了某种共同特征（指定列都具有相同的哈希值），在查询时优化引擎可以根据这些共同特征对查询计划进行优化，以达到缩短查询时间的目的。2.3Hadoop生态空间规划跨引擎功能需要确保hdfs的容量安全，所以需要对所用hdfs目录进行配额设置。"/tmp/gbase8up"为跨引擎查询的临时目录，如果没有需要手动创建"/user/hive/warehouse"为hive数据存储目录。配额阈值配置依据：1、应大于业务表最大容量需求GBaseUP管理员手册南大通用数据技术股份有限公司-9-2、需同时满足HDFS空间容量处于安全状态，小于最大可用容量//手动创建目录/tmp/gbase8up$./hdfsdfs–mkdir-p/tmp/gbase8up//默认配置最小空间为10G，配额容量要大于10G，可根据具体情况进行调整【如下设置100G仅为示例】$./hdfsdfsadmin-setSpaceQuota100G/tmp/gbase8up//查询配额配置$./hdfsdfs-count-q/tmp/gbase8upnoneinf107374182400107374182400100/tmp/gbase8up//默认配置最小空间为10G，配额容量要大于10G，可根据具体情况进行调整为合理值【如下设置100G仅为示例】$./hdfsdfsadmin-setSpaceQuota100G/user/hive/warehouse//查询配额配置$./hdfsdfs-count-q/user/hive/warehousenoneinf107374182400107374182400100/user/hive/warehouse2.4C3辅助工具2.4.1C3简介C3工具的安装过程请参见《GBaseUP安装手册(LinuxRHEL6)》中的相关章节。2.4.2C3工具常用命令GBaseUP管理员手册-10-南大通用数据技术股份有限公司2.4.2.1cexec和cexecs命令功能：cexec以并行方式调用（cexecs以串行方式调用）Linux和集群管理的命令工具，可以在所有节点或指定节点上运行Linux和集群管理的命令。语法：cexec|cexecs[clustername:indexvalue]command_nameclustername：是C3配置文件中的集群名称；indexvalue：是集群中每台节点机器序号，从01开始，如果是连续的多台机器，可以使用-来标注划分起始节点序号和终止节点序号，例如01-03，如果是不连续的多个集群节点，可以使用“,”来分隔各序号，例如：01,03,05；上面的都是可选项。可以省略，此时表示全部集群节点的信息。command_name：为在操作系统中，当前用户可以执行的Linux和集群命令，使用单引号括起命令。示例1：显示Linux机器上的日期#cexec'date'*************************test*************************---------192.168.10.35---------2012年12月18日星期二22:35:45CST---------192.168.10.36---------2012年12月18日星期二22:35:41CST---------192.168.10.37---------2012年12月18日星期二22:35:42CST示例2：显示指定集群节点机器上日期#cexec'test:01date'*************************test*************************---------192.168.10.35---------GBaseUP管理员手册南大通用数据技术股份有限公司-11-2012年12月18日星期二22:39:19CST示例3：查看gcware服务的状态。#cexec'servicegcwarestatus'************************test************************---------192.168.10.35---------corosync(pid1190)isrunning...---------192.168.10.36---------corosync(pid1210)isrunning...---------192.168.10.37---------corosync(pid1195)isrunning...示例4：在指定节点上执行停止gcware服务的操作#cexec'test:01servicegcwarestop'*************************test*************************---------192.168.151.205---------StoppingGCMonitsuccess!SignalingGCRECOVER(gcrecover)toterminate:[OK]Waitingforgcrecoverservicestounload:.[OK]SignalingGCSYNC(gc_sync_server)toterminate:[OK]Waitingforgc_sync_serverservicestounload:[OK]SignalingGCLUSTERDtoterminate:[OK]Waitingforgclusterdservicestounload:...[OK]SignalingGBASEDtoterminate:[OK]Waitingforgbasedservicestounload:.[OK]SignalingGCWARE(gcware)toterminate:[OK]Waitingforgcwareservicestounload:[OK]注意事项：1、必须首先安装好GBaseUP产品及配置好C3工具后，才能使用C3工具。2、使用cexec|cexecs执行servicegcware……和GBaseUP管理员手册-12-南大通用数据技术股份有限公司gcluster.server……这两个集群管理命令时，需要在root用户下执行。2.4.2.2cpush命令语法：cpush[clustername:indexvalue]sourcetargetclustername：是C3配置文件中的集群名称；indexvalue：是集群中每台节点机器序号，从01开始，如果是连续的多台机器，可以使用-来标注划分起始节点序号和终止节点序号，例如01-03，如果是不连续的多个集群节点，可以使用“,”来分隔各序号，例如：01,03,05；source：源文件路径及文件名；target：分布后的目标路径。功能：可以复制集群中的文件和目录到所有节点或指定节点上，最常用的场景就是，在集群装有C3工具的节点机器上编辑一个文件后，需要将此编辑后文件拷贝粘贴或覆盖到集群其他节点上。示例1：在装有C3工具的节点机器的/home/gbase/下有一个new.txt文件，而集群另一个节点上并无此文件。在192.168.10.35机器上查看new.txt文件：$lsnew.txtnew.txt$catnew.txt1,Mike2,Rose3,Jane4,JohnGBaseUP管理员手册南大通用数据技术股份有限公司-13-5,Tom6,Jim7,Jerry在192.168.10.36机器上查看new.txt文件， 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 无此文件。$lsnew.txtls:无法访问new.txt:没有那个文件或目录。在192.168.10.35上使用cpush命令分布new.txt文件。$cpush/home/gbase/new.txt/home/gbase/在192.168.10.36上查看分布后的文件。$lsnew.txtnew.txt$catnew.txt1,Mike2,Rose3,Jane4,John5,Tom6,Jim7,Jerry2.5cgroup控制组关于cgroup参数配置，请具体参考《GBase8aMPPClustercgroup控制组配置参考手册》。GBaseUP管理员手册-14-南大通用数据技术股份有限公司3GBaseUP集群管理3.1基本管理3.1.1系统安装这部分内容请参见《GBaseUP安装手册(LinuxRHEL6)》。3.1.2修改数据库gbase用户密码用户安装完GBaseUP后，会自动创建一个数据库用户gbase，其初始密码为gbase20110531，这个密码用户可以修改。GBaseUP支持修改数据库gbase用户的密码，如果数据库gbase用户的密码已修改，则在使用以下工具时，需要用户输入密码，进行身份验证后，才能执行：备份恢复工具登录GBaseUP后，可以修改gbase用户密码，语法如下：SETPASSWORD[FORuser_name]=PASSWORD(password_newvalue);user_name：被修改数据库登录密码的用户名称，如果省略此参数，则修改的就是当前登录集群用户的密码。password_newvalue：新密码，使用一对单引号“'”括起来。示例1：使用root用户修改gbase用户的密码。$gccli-uroot-pEnterpassword:GBaseclient8.6.1.1build60753.Copyright(c)2004-2016,GBase.AllRightsReserved.gbase>SETPASSWORDFORgbase=PASSWORD('123456');GBaseUP管理员手册南大通用数据技术股份有限公司-15-QueryOK,0rowsaffectedgbase>\q;示例2：使用gbase用户修改密码。$gccli-ugbase-pEnterpassword:GBaseclient8.6.1.1build60753.Copyright(c)2004-2016,GBase.AllRightsReserved.gbase>SETPASSWORD=PASSWORD('1111111');QueryOK,0rowsaffectedgbase>\q;3.1.3集群服务的启停当GBaseUP安装完毕后，其中的gcware服务就会自动运行，并且，每当开机和重新启动机器时，gcware服务也会自动运行，而不必手动启动。如果用户在使用中，需要手工进行集群服务的启停操作，则需要在每个节点机器中，使用Linux下的root用户进行操作。具体命令如下：启动命令#servicegcwarestart停止命令#servicegcwarestop重新启动命令#servicegcwarerestart3.1.4集群的登录与退出GBaseUP管理员手册-16-南大通用数据技术股份有限公司正常情况下，在集群安装完毕后，系统会在Linux中创建一个gbase用户，登录集群时，用户需要切换到gbase用户，操作如下：#su-gbase$切换完毕后，可以登录集群。默认情况下，在集群安装完毕后，系统会创建一个默认的数据库超级帐号root，其初始密码默认为空。首次登录GBaseUP后，管理员必须为root帐号设置一个安全密码。示例：安装GBaseUP后，用户首次登录集群，需要修改root用户的密码，退出登录，重新使用root用户及修改后的密码，进行登录。$gccli–urootGBaseclient8.6.1.1build60753.Copyright(c)2004-2016,GBase.AllRightsReserved.gbase>SETPASSWORDFORroot=PASSWORD('H133%_h');QueryOK,0rowsaffected退出登录的命令为在gbase>提示符下，键入“\q”。gbase>\qBye修改root的口令后，重新登录集群。$gccli-uroot-pEnterpassword:GBaseclient8.6.1.1build60753.Copyright(c)2004-2016,GBase.AllRightsReserved.gbase>更详细的介绍，参见《GBaseUP安装手册(LinuxRHEL6)》。3.1.5集群基本配置GBaseUP管理员手册南大通用数据技术股份有限公司-17-3.1.5.1GCWare配置信息GCWare主要负责管理三部分集群信息：集群静态结构、集群节点及数据状态、集群锁信息。配置文件保存在/etc/corosync/corosync.conf中。3.1.5.2GCluster基本配置在/opt/gcluster/config/gbase_8a_gcluster.cnf配置文件中，可以查看集群的基本配置。3.1.5.3GNode基本配置在/opt/gnode/config/gbase_8a_gbase.cnf配置文件中，可以查看GNode的基本配置。3.2高级管理命令gcadmingcadmin为管理员提供管理集群的操作，包括生成、删除distribution，查看集群状态、distribution信息等常用功能。gcadmin命令在DBA用户（即安装时指定的dbaUser）下进行操作，支持的选项如下：#gcadmin--helpUsage:gcadmin[arg1[,arg2...]]1.gcadmindistribution[dnum][pattern1|2][db_pwdpassword]:generatedistribution2.gcadminrmdistribution[ID]:removedistribution3.gcadminaddnodesgcChangeInfo.xml:addnodesGBaseUP管理员手册-18-南大通用数据技术股份有限公司4.gcadminrmnodesgcChangeInfo.xml:removenodes5.gcadminshowdistribution[node]:showclusterdistribution,orsegmentsonnodeswhenuseparameternode6.gcadminswitchmode:switchclustermode,modetakevaluein:{normal|readonly|recovery}7.gcadminshowlock:showcurrentclusterlockinformation,includelockname,lockowneripaddress,etc8.gcadminshowddlevent[||]:showcurrentclusterddlfailevent,replicatedtablesegnameis[n0]9.gcadminshowdmlevent[|]:showcurrentclusterdmlfailevent,replicatedtablesegnameis[n0]10.gcadminshowdmlstorageevent[tableIDsegnamenodeip]|]:showcurrentclusterdmlstoragefailevent,replicatedtablesegnameis[n0]11.gcadminshowcluster[c|d|f]:showcurrentclusterinformation,includeallnodes,clusterstateandclusternodeinformation12.gcadmingetdistribution:getdistributioninformation13.gcadminsetnodestateip:setonenodestate,statetakevaluein:unavailable14.gcadmin--help:showhelpinfo15.gcadmin-V,--version:showversioninfo3.2.1distribution命令语法：gcadmindistribution[dnumber][pattern1|2][db_root_pwdpassword]功能：安装完集群，生成distribution时，需要使用该命令进行操作。注：此命令需要切换到dbaUser用户下，才能正确执行。若使用其它用户执行生成distribution命令，将提示用户切换到dbaUser用户执行该命令，并报错退出。GBaseUP管理员手册南大通用数据技术股份有限公司-19-gcChangeInfo.xml:生成distribution的gnode节点信息文件。集群安装成功后，执行安装操作命令的节点上，在安装包目录下，会生成一个gcChangeInfo.xml文件。该文件为xml格式，其根标签为，描述生成distribution的gnode节点信息；子标签为，即机架，描述的是机架与gnode节点对应关系。安装后生成的gcChangeInfo.xml中仅有一个，其中包含集群中的所有gnode节点信息，在使用pattern1模式生成distribution时，可按机器部署情况插入多个标签，将gnode节点信息插入到对应的标签下。pnumber：每个数据节点存放的分片数量，最小值为1，p值乘数据节点数不大于65535，即集群总分片数不大于65535，否则gcadmin将报错退出。dnumber：每个分片的备份数量，取值为0，1或2。若不输入参数d，默认值为1。patternnumber：生成distribution所使用模式，取值为1或2，pattern1为负载均衡模式，pattern2为高可用模式。若不输入参数pattern，默认使用pattern1生成distribution。db_root_pwd:如果数据库root用户密码不为空，需要在执行命令的过程中，传入数据库root用户密码。目前密码中不支持单引号，其它特殊符号用单引号包围。示例：生成distribution有pattern1，pattern2和编写distribution配置信息文件三种模式。使用编写distribution配置信息文件方式生成distribution时，需手工编写一个配置文件，描述每个分片及其备份分片存放的节点信息。pattern1为负载均衡模式，此模式下gcChangeInfo.xml中的每个rack中的节点为一组，每个rack中的节点上主分片的备份分片1存放到gcChangeInfo.xml中下一个rack中的节点上，备份分片2存放到GBaseUP管理员手册-20-南大通用数据技术股份有限公司gcChangeInfo.xml中上一个rack中的节点上。gcChangeInfo.xml中的第一个rack的上一个rack为最后一个rack，最后一个rack的下一个rack为第一个rack。使用pattern1模式生成distribution，每节点主分片数（即参数p）必须小于每个rack的节点数，以此来保证备份分片分布均匀。每个rack包含的节点数尽可能相同，若gcChangeInfo.xml文件中有多余1个rack的节点数与其它rack不同，gcadmin将会提示用户系统性能可能会下降，需用户确认后才能生成distribution。在安装好集群后，在执行安装操作的节点上，安装包目录下会生成一个包含所有gnode节点信息的gcChangeInfo.xml文件,如下所示：图4-1gcChangeInfo.xml文件根据实际机架和机器部署情况，在该文件中插入标签，如下所示：GBaseUP管理员手册南大通用数据技术股份有限公司-21-图4-2标签使用pattern1和该修改后的gcChangeInfo.xml文件生成distribution如下所示：图4-3生成distribution生成distribution后，可使用showdistribution和showdistributionnode命令查看生成的distribution信息，如下所示：GBaseUP管理员手册-22-南大通用数据技术股份有限公司图4-4showdistribution图4-5showdistributionnodepattern2模式为高可用模式，此模式下生成的distribution将每个data节点的备份分片1存放到下一个data节点上，备份分片2存放到上一个data节点上。使用pattern2模式配置文件gcChangeInfo.xml中仅需一个rack即可，有多个rack也作为一个rack处理。生成distribution的配置文件如下所示：GBaseUP管理员手册南大通用数据技术股份有限公司-23-图4-6生成distribution的配置文件使用pattern2和该配置文件生成distribution如下所示：图4-7生成distribution生成distribution后，可使用showdistribution和showdistributionnode命令查看生成的distribution信息，如下所示：GBaseUP管理员手册-24-南大通用数据技术股份有限公司图4-8showdistribution命令图4-9showdistributionnode命令编写distribution配置信息文件模式需手工编写一个distribution分片配置的xml文件，在文件中指明每个分片的主/备分片存放的节点。使用该方GBaseUP管理员手册南大通用数据技术股份有限公司-25-式生成distribution无需输入参数p，d和pattern。生成distribution的gcChangeInfo.xml文件如下所示：图4-10gcChangeInfo.xml文件distribution分片配置信息文件distribution.xml如下所示：图4-11分片配置信息文件distribution.xml使用编写distribution信息文件模式生成distribution如下所示：GBaseUP管理员手册-26-南大通用数据技术股份有限公司图4-12生成distribution图4-13showdistribution3.2.2rmdistribution命令语法：gcadminrmdistribution[ID]ID：distributionid。功能：从集群中删除指定id的distribution。若不输入distributionid，则默认删除旧的distribution，集群中只有一个distribution时则默认删除该distribution。注：若nodedatamap中有要删除的distributionID，即该distribution为正在使用，则无法删除该distribution，gcadmin将报错退出。待删除的distribution有DDL，DML或DMLSTORAGEevent，需先清除event才可删除该distribution，否则gcadmin将报错退出。注：若distribution为正在使用，需先执行refreshnodedatamapdrop操作才可删除。若distribution中有feventlog需先清除才可删除该GBaseUP管理员手册南大通用