ORACLE_11g_FOR_RedHat_Linux_AS5安装操作手册

目录11.ORACLE11gRACFORRedHatLinuxAS5.5安装操作手册1具体步骤22.Oracle10gRAC数据库简介22.1.oracle11gRAC结构43.安装RedhatAS5.594.RAC系统相关规划114.1.RedhatLinuxOracleRAC配置注意项124.2.前期准备124.2.1.ORACLE安装依赖包124.2.2.配置时钟同步144.2.3.配置环境变量164.2.4.为用户等效性设置SSH194.2.5.配置hangcheck-timer模块194.2.6.连接ISCSI硬盘194.2.7.ASM配置共享磁盘245.安装软件245.1.安装CRS软件315.2.安装ORACLE数据库365.3.配置OracleNet405.4.建立实例495.5.配置客户端505.6.测试RAC525.7.集群基本命令566.LinuxRAC安装问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 566.1.节点联通性问题566.2.设备权限问题576.3.文件夹权限问题576.4.登录oracle用户时登录界面报错576.5.无法使用sudo命令586.6.安装失败后，注意事项586.7.创建ASM实例，找不到磁盘586.8.磁盘无法挂载，报ORA-12523错误1.ORACLE11gRACFORRedHatLinuxAS5.5安装操作手册 文档摘要 1、本文档主要讲述在redhatlinuxas5.5上安装oracle11gRAC的安装步骤与方法，本手册所讲述的内容已经成功实施过，并在健康运行。2、本文档讲述的内容同样适合redhatlinux与ORACLE11G的其他版本，但是可能在细节上有出入3、该文档将尽量的详细，但是在使用本文档前，仍然建议必须具有一定的ORACLE和LINUX基础知识4、第一次撰写如此复杂的操作 指南 验证指南下载验证指南下载验证指南下载星度指南下载审查指南PDF ，错误疏漏之处难免，敬请批评指正具体步骤本手册在以下环境中试验安装成功：1、IBM服务器(64位双网卡)2台，网络存储硬盘已做好raid52、光纤盘阵、光纤交换机3、服务器安装redhatas5.5，本次安装需要的软件：1、linux_x86_11gR1_clusterware.zip2、linux_11gR1_database_1013.zip3、oracleasm-2.6.18-194.el5PAE-2.0.5-1.el5.i686.rpm4、oracleasmlib-2.0.4-1.el5.i386.rpm5、oracleasm-support-2.1.7-1.el5.i386.rpm6、iscsi包(DVD版下的Server有)下载地址：1、2http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html3、4、5http://www.oracle.com/technetwork/server-storage/linux/downloads/rhel5-084877.html本手册的根本目标是安装并实现ASM+RAC，安装过程中以安装实际情况为准，并参考网上很多实施 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 、OTN网站等大量文档，力争把安装中遇到的问题及解决方法完整的 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 达出来。本文档由Oracle10gRAC数据库简介、安装Redhatas5.5、针对Oracle配置redhat、ASM配置共享磁盘、安装配置OracleRAC、创建和删除数据库六部分组成。注：以下部分如果没有特别说明，则要求在每个节点分别执行2.Oracle10gRAC数据库简介2.1.oracle11gRAC结构下图显示了OracleRAC11g配置的主要组件。集群中的节点通常是单独的服务器（主机），本文中，两个节点即是两台s4800服务器。根据集群规模的大小，可以扩展到更多节点。硬件在硬件级别上，RAC集群中的各节点共享三种功能：1.对共享磁盘存储的访问2.与专用网络的连接3.对公共网络的访问。共享磁盘存储OracleRAC依赖于一个共享磁盘体系结构。数据库文件、联机重做日志和数据库的控制文件必须都能为集群中的每个节点所访问。共享磁盘还存储OracleClusterRegistry和VotingDisk（稍后讨论）。配置共享存储有多种方法，包括直接连接磁盘（通常是使用铜缆或光纤的SCSI）、存储区域网(SAN)和网络连接存储(NAS)。专用网络每个集群节点通过专用高速网络连接到所有其他节点，这种专用高速网络也称为集群互联或高速互联(HSI)。Oracle的CacheFusion技术使用这种网络将每个主机的物理内存(RAM)有效地组合成一个高速缓存。OracleCacheFusion通过在专用网络上传输某个Oracle实例高速缓存中存储的数据允许其他任何实例访问这些数据。它还通过在集群节点中传输锁定和其他同步信息保持数据完整性和高速缓存一致性。专用网络通常是用千兆以太网构建的，但是对于高容量的环境，很多厂商提供了专门为OracleRAC设计的低延迟、高带宽的专有解决方案。Linux还提供一种将多个物理NIC绑定为一个虚拟NIC的方法（此处不涉及）来增加带宽和提高可用性。公共网络为维持高可用性，为每个集群节点分配了一个虚拟IP地址(VIP)。如果主机发生故障，则可以将故障节点的IP地址重新分配给一个可用节点，从而允许应用程序通过相同的IP地址继续访问数据库。Oracle集群就绪服务(CRS)OracleRAC11g引进了Oracle集群就绪服务(CRS)—一组用于集群环境的与平台无关的系统服务。在RAC和Oracle并行服务器先前版本中，Oracle依靠厂商提供的集群管理软件来提供这些服务。虽然CRS与厂商供应的集群件协同工作，但OracleRAC10g所需组件只是CRS。实际上，必须在安装RAC之前安装CRS。OracleRAC软件OracleRAC11g软件是RAC数据库的核心，每个集群节点上都必须安装。幸运的是，OracleUniversalInstaller(OUI)可以完成在每个节点上安装RAC软件的大部分工作。您只需在一个节点上安装RAC—OUI会完成其余的工作。Oracle自动存储管理(ASM)ASM是Oracle数据库11g中的一个新特性，它以一种与平台无关的方式提供文件系统服务、逻辑容量管理器和软件RAID。OracleASM可以条带化和镜像磁盘，从而实现了在数据库被加载的情况下添加或移除磁盘以及自动平衡I/O以删除“热点”。它还支持直接和异步的I/O，并使用Oracle9i中引入的Oracle数据管理器API（简化的I/O系统调用接口）。OracleASM不是通用的文件系统，只能用于Oracle数据文件、重做日志、控制文件和RMAN快速恢复区。ASM中的文件既可以由数据库自动创建和命名（使用Oracle管理文件特性），也可以由DBA手动创建和命名。由于操作系统无法访问ASM中存储的文件，因此对使用ASM文件的数据库执行备份和恢复操作的唯一途径就是使用恢复管理器(RMAN)。ASM作为单独的Oracle实例实施，只有它在运行时其他数据库才能访问它。ASM需要的内存不多：对大部分系统来说只需64MB。在OracleRAC环境中，ASM实例必须运行在每个集群节点上。3.安装RedhatAS5.5本文档实例安装在IBMX3650M3服务器上，双网卡、每个节点通过光纤交换机连接两个盘阵。安装过程中最好把连接节点和盘阵的光纤拔下；或者如果不拔下光纤，安装过程中分区时只选择本机硬盘，不要选择盘阵。假设服务器全新安装redhat，并且服务器为oracle专用。Oracle11g经认证可以在不需要更新的情况下运行RedhatAS5.5的基本版本。(由于某些原因，服务器无法用光驱引导安装RedhatAS5.5,所有采用以下方法安装)1.首先使用UltraISO将Redhatas5.5写入U盘，开机的时候选择从U盘启动，按照提示继续2.启动屏幕上出现时在底部显示boot:。选择Enter，从控制台上执行图形安装。（对于其他安装方法和选项，请参阅RedHat安装指南。）如图3-1图3-1安装程序扫描硬件，短暂显示RedHat闪屏，然后开始显示一系列屏幕提示。3.选择语言选择简体中文。4.配置键盘接受默认值。5.当出现选择安装介质时，将光驱插上去，（一定要将U盘拔下，不然以后都得插上U盘才能启动）,如图3-2图3-26.欢迎屏幕单击下一步,如图3-37..配置鼠标接受默认值。8.安装类型选择Custom。9.设置磁盘分区本文不介绍磁盘分区的详细方法，而是假设您熟悉磁盘分区方法交换分区—将此分区大小至少设置为系统RAM的两倍，但32位系统不要超过2GB。如果需要大于2GB的交换空间，则创建多个交换分区。如图3-4图3-410.配置启动加载程序接受默认值。11.配置网络此时配置两个网卡，用规划好的两个地址，一个公网地址，一个私有地址。使用静态IP地址配置数据库服务器。单击Edit。出现一个弹出窗口。取消选中ConfigureusingDHCP复选框，并输入服务器的IP地址和网络掩码。确保选中Activateonboot，然后单击OK。在Hostname框中，选择manually并输入主机名dbrac1……集群依次类推。在MiscellaneousSettings框中，输入其他网络设置。如图3-5图3-512.配置防火墙本次将不配置防火墙。选择Nofirewall。图3-613.其他语言支持接受默认值。14.选择时区选择适合您区域的时间设置。将系统时钟设置为UTC对服务器而言通常是一个很好的做法。为此，单击SystemclockusesUTC。15.SELinux(SecurityEnhancedLinux),如图3-7　　图3-716.设置Root口令输入root的口令，并再次输入以进行确认。17.选择程序包组最下面选择全选。单击下一步继续操作。18.准备安装单击下一步。19.安装程序包软件将被复制到硬盘并被安装。根据提示更改光盘，然后在安装完成时单击下一步。20.配置图形界面(X)接受默认值，除非安装程序无法识别您的视频卡。如果您的视频卡无法被识别，则将无法继续操作。a)配置监视器如果安装程序正确识别了您的监视器，则接受默认值。否则，从列表中选择一个兼容的监视器。21.定制图形配置接受默认值。从系统中取出安装介质，然后单击下一步。22.系统自动重新启动并显示一个新的欢迎屏幕。若无特别说明，“$”提示符均表示在oracle用户下执行，“#”提示符均表示在root用户下执行4.RAC系统相关规划 服务器名项目名称 RAC节点1 RAC节点2 硬件型号 IBM服务器 IBM服务器 操作系统 Redhatas5.5（32位） Redhatas5.5（32位） 服务器主机名 DATA-HOST01 DATA-HOST02 IP地址(（eth0）) 语言环境 中文/英文 中文/英文 域名服务方式 无 无 时区 中国 中国 安装方式 安装全部安装包 安装全部安装包 内置硬盘 容量 146G 146G 数量 1(RAID0) 1(RAID0) 系统分区 物理路径 / 30G 30G Swap 16G 16G /home 50G 50G /tmp 5G 5G /usr 5G 5G /opt 100G 100G 系统用户 RootOracle RootOracle 磁盘阵列柜 型号 每硬盘容量 1T 总容量 14T RAID名称 RAID5 磁盘分区 OCR(oracle集群注册表) /dev/raw/raw1/dev/sdb11000M（主分区） 表决磁盘（votingdisk） /dev/raw/raw2/dev/sdb21000M（主分区） ASM /dev/sdb36TASM卷名：FDB图3-1操作系统安装规划 项目 DB1 DB2 机器名(HostName) DATA-HOST01 DATA-HOST02 公有ip(Public) 192.168.2.2/DATA-HOST01 192.168.2.4/DATA-HOST02 心跳/私有ip(Private) 172.1.1.2/DATA-HOST01-priv 172.1.1.3/DATA-HOST02-priv VIP(仅配置在hosts中) 192.168.2.3/DATA-HOST01-vip 192.168.2.5/DATA-HOST02-vip OracleServiceName fdb1 fdb2 ORA_CRS_HOME /home/oracle/oracle/product/11.1.0/crs /home/oracle/oracle//product/11.1.0/crs ORACLE_HOME /home/oracle/oracle/product/11.1.0/db_1 /home/oracle/oracle/product/11.1.0/db_1 ORACLE_BASE /home/oracle/oracle /home/oracle/oracle图3-2Oracle安装配置 项目 描述 OCR磁盘 /dev/raw/raw1/dev/sdb11000M 表决磁盘 /dev/raw/raw2/dev/sdb21000M ASM卷 /dev/sdb36TAsm卷名：FDB Oracle安装目录 /home/oracle/oracle图3-3存储分配表图3-4RAC体系4.1.RedhatLinuxOracleRAC配置注意项1)集群中各节点的时间应尽量一致2)不要给公共网卡指定192.168.*.*和10.*.*.*这样的私有IP地址3)公共网络必须使用各个节点的同一个网卡4)每个节点需要一个VIP,VIP必须和公共网络在同一个子网中5)在有些系统中(如Solaris)，需要给VIP指定默认网关6)对硬盘分区时，要保证在所有节点上都能看到分区信息7)要为OCR设备和vote设备指定正确的权限和属主8)要为公共IP、私有IP和VIP指定主机名，主机名不能包含大写字母和_,但是可以包含减号9)如果配置失败，应该把刚才的配置结果全部删除，从头再来10)在安装clusterware时，需要设置环境变量ORCLE_HOME。在安装Oracle和RAC时，需要重新指定这个变量，而且不能指定同一个目录11)正确配置节点间的信任关系(SSH)4.2.前期准备4.2.1.ORACLE安装依赖包一、安装操作系统Swap不能低于2G二、关闭selinux安全程序三、选择提供的程序四、安装rpm包(DVD版，全在盘上的Server目录下)(具体的包名，忘了，仅给出包前面的名称，会玩Linux的人，应该知道怎么做的)1.conpat-libstdc++-32.compat-gcc-343.gcc-44.libXp-15.openmotif-26.compat-db-47.unixODBC-这边会有依赖包，在Server目录下都可以找到，请耐心点4.2.2.配置时钟同步所有节点的时间必须同步，这通常是通过配置NTP服务实现的。在集群中一某一节点作为时间服务器，NTP服务只需要占用很少的系统资源。整理以第一个节点(DATA-HOST01)为时间服务器,DATA-HOST02向它同步，其配置方法如下：编辑DATA-HOST01的/etc/ntp.conf文件，编辑后的内容如下:server127.127.1.0#注意不是127.0.0.1fudge127.127.1.0startum11driftfile/var/lib/ntp/driftbroadcastdelay0.008编辑DATA-HOST02的/etc/ntp.conf文件，编辑后的内容如下:server192.168.2.2prefer#IP以第一节点的publicIP为准driftfile/vat/lib/ntp/driftbroadcastdelay0.008配置完成后，启动NTP服务root用户下执行/etc/init.d/ntpdstart1、建立组及用户groupadd-g700dbauseradd-u600-gdbaoraclepasswdoracle#设置oracle用户密码注意在这里，每个节点的oracle用户ID，DBA组ID必须一致，其他使用默认值，同时创建完毕后在每个节点执行如下命令#chown–Roracle:dba/home/oracle修改每个节点系统内核参数./etc/sysctl.conf，#vi/etc/sysctl.confkernel.shmmni=4096kernel.sem=25032000100128fs.file-max=65536net.ipv4.ip_local_port_range=102465000net.core.rmem_default=1048576net.core.rmem_max=1048576net.core.wmem_default=262144net.core.wmem_max=262144/sbin/sysctl–p使其生效4.2.3.配置环境变量据oracle的安装文档要求，CRS的目录最好不是ORACLE_BASE的子目录，因为安装过程中会改变CRS的父目录的权限，这会影响ORACLE的安装。在按以上要求生成对应目录之前，需检查所在磁盘的空间是否满足安装要求，确定之后生成目录，并将相关环境变量设置在oracle用户的profile中（oracle用户下vi.bash_profile）。设置每个节点ORACLE用户环境变量（修改ORACLE的.bash_profile），该文件如下：#.bash_profile#Getthealiasesandfunctionsif[-f~/.bashrc];then.~/.bashrcfi#UserspecificenvironmentandstartupprogramsexportTMP=/tmpexportTMPDIR=$TMPexportORACLE_BASE=/home/oracle/oracle----oracle安装目录/home/oracle/oracle/product/11.1.0/db_1exportORACLE_HOME=$ORACLE_BASE/product/11.1.0/db_1----oracle安装目录exportORA_CRS_HOME=$ORACLE_BASE/product/11.1.0/crs---rac安装目录/home/oracle/oracle/product/11.1.0/crsexportORACLE_SID=fdb1---SIDexportORACLE_TERM=xtermexportPATH=/usr/sbin:$PATHexportPATH=$ORACLE_BASE/product/10.2.0/crs/bin:$ORACLE_HOME/bin:$PATHLD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;exportLD_LIBRARY_PATHexportNLS_LANG=AMERICAN_AMERICA.AL32UTF8PATH=$PATH:$HOME/binexportPATH注意：在节点DATA-HOST02上，ORACLE_SID应该变为fdb2，后面安装crs会报错，手动执行exportORACLE_HOME=$ORACLE_BASE/product/11.1.0/db_1配置每个节点的/etc/hosts文件#vi/etc/hosts然后修改里面的内容为如下#Donotremovethefollowingline,orvariousprograms#thatrequirenetworkfunctionalitywillfail.127.0.0.1localhost.localdomainlocalhost::1localhost6.localdomain6localhost6192.168.2.2DATA-HOST01192.168.2.3DATA-HOST01-vip172.1.1.2DATA-HOST01-priv192.168.2.4DATA-HOST02192.168.2.5DATA-HOST02-vip172.1.1.3DATA-HOST02-priv---------------------------------------------------------------2台主机hosts文件最好一样，不然节点2的rac服务起不来。虚拟地址可以随便起一个（保证同publicaddress一个网段），在安装RAC的时候，vipca会自动将虚拟地址绑定在公共网卡上的。注意：确保在每个节点上/etc/hosts文件的回送地址中不包含节点名（dbserver1或dbserver2）。如果机器名出现在回送地址条目中，如下所示：127.0.0.1JMRAC1localhost.localdomainlocalhost需要将其如下删除：127.0.0.1localhost.localdomainlocalhost编辑/etc/security/limits.conf文件，添加如下内容Oraclesoftnproc2047Oraclehardnproc16384Oraclesoftnofile1024Oraclehardnofile655364.2.4.为用户等效性设置SSH在安装OracleRAC11g期间，OUI需要把文件复制到集群中的其他主机上并在其上执行程序。为了允许OUI完成此任务，必须配置SSH以启用用户等效性。用SSH建立用户等效性就提供了一种在集群中其他主机上复制文件和执行程序时不需要口令提示的安全方式。第一步是生成SSH的公共密钥和专用密钥。SSH 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 有两个版本；版本1使用RSA，版本2使用DSA，因此我们将创建这两种类型的密钥，以确保SSH能够使用任一版本。ssh-keygen程序将根据传递给它的参数生成任一类型的公共密钥和专用密钥。当您运行ssh-keygen时，将提示您输入一个用于保存密钥的位置。当提示时只需按Enter接受默认值。随后将提示您输入一个口令短语。输入您能记住的口令，然后再次输入该口令进行确认。当您完成以下步骤后，在~/.ssh目录中将会有四个文件：id_rsa、id_rsa.pub、id_dsa和id_dsa.pub。id_rsa和id_dsa文件是您的专用密钥，id_rsa.pub和id_dsa.pub文件是您的公共密钥，必须将其复制到集群中其他每个主机上。在每个主机上，以oracle用户身份登录：$mkdir~/.ssh$chmod755~/.ssh$/usr/bin/ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/home/oracle/.ssh/id_rsa):Enterpassphrase(emptyfornopassphrase):Entersamepassphraseagain:Youridentificationhasbeensavedin/home/oracle/.ssh/id_rsa.Yourpublickeyhasbeensavedin/home/oracle/.ssh/id_rsa.pub.Thekeyfingerprintis:4b:df:76:77:72:ba:31:cd:c4:e2:0c:e6:ef:30:fc:37oracle@ds1.orademo.org注意：本例中此处一路按回车选择默认$/usr/bin/ssh-keygen-tdsaGeneratingpublic/privatedsakeypair.Enterfileinwhichtosavethekey(/home/oracle/.ssh/id_dsa):Enterpassphrase(emptyfornopassphrase):Entersamepassphraseagain:Youridentificationhasbeensavedin/home/oracle/.ssh/id_dsa.Yourpublickeyhasbeensavedin/home/oracle/.ssh/id_dsa.pub.Thekeyfingerprintis:af:37:ca:69:3c:a0:08:97:cb:9c:0b:b0:20:70:e3:4aoracle@ds1.orademo.org注意：本例中此处一路按回车选择默认$cat~*.pub>~/.ssh/authorized_keys现在，必须将每个主机上的公共密钥文件id_rsa.pub和id_dsa.pub的内容复制到其他每个主机的~/.ssh/authorized_keys文件中。使用ssh将每个文件的内容复制到~/.ssh/authorized_keys文件。请注意，当您使用ssh第一次访问远程主机时，其RSA密钥将是未知的，从而将提示您确认是否希望连接该主机。SSH将记录该远程主机的RSA密钥，并在以后连接该主机时不再做出相关提示。只需在第一个主机上，以oracle用户身份登录（复制本地帐户的密钥，以便连接本地主机的ssh能够起作用）：（如果您要剪切和粘贴这些命令，则分别运行它们。SSH每次会提示输入oracle的口令，如果同时粘贴这些命令，则第一个命令在提示输入口令之前刷新输入缓冲区，从而导致其他命令将会丢失。）$scpauthorized_keysDATA-HOST02:/home/oracle/.ssh/keysTheauthenticityofhost'data-host02(192.168.2.4)'can'tbeestablished.RSAkeyfingerprintisd1:23:a7:df:c5:fc:4e:10:d2:83:60:49:25:e8:eb:11.Areyousureyouwanttocontinueconnecting(yes/no)?yesWarning:Permanentlyadded'data-host02192.168.2.4'(RSA)tothelistofknownhosts.oracle@data-host02'spassword:$catkeys>>authorized_keys$scpauthorized_keysDATA-HOST01:/home/oracle/.ssh/.:$chmod644~/.ssh/authorized_keys请注意，这次有的SSH不会提示您输入oracle的口令。这是因为第一个主机(data-host01)现在知道了第二个主机的公共密钥，而SSH现在使用的是一种不同的认证协议。建立用户等效性如果一切均设置正确，则您现在就可以使用ssh在其他集群主机上不必输入口令而登录、执行程序和复制文件了。通过在远程集群主机上运行诸如date等简单命令来验证用户等效性：$sshDATA-HOST02SunJun2719:07:19CDT2010测试每个方向上所有服务器的连通性是非常重要的。这样会确保当OUI在CRS和数据库软件安装期间试图复制文件时不会出现类似以下的消息。该消息只有在远程节点上第一次执行操作时才会出现，因此通过测试连通性，您不仅确保了远程操作的正常运行，还完成了初始的安全密钥交换。Theauthenticityofhost'dbrac2(10.49.9.100)'can'tbeestablished.RSAkeyfingerprintis8f:a3:19:76:ca:4f:71:85:42:c2:7a:da:eb:53:76:85.Areyousureyouwanttocontinueconnecting(yes/no)?yes注意:以上步骤执行完以后，需要执行和本机建立等效性，否则安装CRS时也会出错，在每个节点上分别执行：在再每个节点上执行如下命令，应该直接显示相应的时间，而不会提示输入密码,输入密码则是不成功，一般是因为目录权限的问题，chmod775/home/oracle,$sshhostname(此处hostname分别为DATA-HOST01、DATA-HOST02)对每个ip地址进行ssh操作4.2.5.配置hangcheck-timer模块编辑/etc/rc.d/rc.localmodeprobehangcheck-timer编辑/etc/moprobe.confoptionshangcheck-timerhangcheck_tick=10hang_margin=304.2.6.连接ISCSI硬盘iscsiadm--modediscovery--typesendtargets--portal192.168.2.200iscsiadm--modenodeiscsiadm--modenode-Ttargetname(执行iscsiadm--modenode的结果)--portal192.168.2.200:3260--login4.2.7.ASM配置共享磁盘先查看系统分区#fdisk–l/dev/sdb发现阵列柜，被加载在/dev/sdb上，在分区先要确保阵列柜上没有被分区，如有分区，需要删除以前分区，然后在根据前面磁盘分区规划对磁盘阵列柜分区（下面例子中数值可能不同，命令是相同的）#parted/dev/sdb#硬盘容量大小大于2.2T所以使用该分区命令只在一个节点上执行，另外一个节点上执行分区同步命令(parted)mklablegtp根据提示分区(parted)mkpartfs#遇到选择磁盘类型是单击enter#根据提示填入磁盘的start，end，此处谨慎点，parted不需要执行类似与fdisk的w写入操作，即可以分盘提示：关于分区命令parted的详细说明，参考其他linux命令手册由于我们把oracle的OCR(oracle集群注册表)、表决磁盘（votingdisk）安装在裸设备上，对于裸设备要使用它，需要编辑/etc/sysconfig/rawdevices文件，将裸设备添加到系统中，然后再为裸设备设定属组信息以及权限信息。把下面的内容添加到/etc/sysconfig/rawdevices文件中#OCR/dev/raw/raw1/dev/sdb1/dev/raw/raw2/dev/sdb2/dev/raw/raw3/dev/sdb3#OCR/dev/raw/raw5/dev/sdb5/dev/raw/raw6/dev/sdb6/dev/raw/raw7/dev/sdb7注意：在2.6内核的RedHatLinux上，当系统重启后，裸设备的属组信息将被还原为系统默认值（root：disk）。为了使得裸设备属组信息可以被保留，你要在/etc/rc.d/rc.local中强制更新裸设备的属组信息，即在文件中加入下述内容：chownoracle:dba/dev/raw/raw1chownoracle:dba/dev/raw/raw2chownoracle:dba/dev/raw/raw3chmod660/dev/raw/raw1chmod660/dev/raw/raw2chmod660/dev/raw/raw3在Redhatas5.5上配置裸设备必须对/etc/udev/rules/60-raw.rules文件进行配置内容如下ACTION==”add”,KERNEL==”sdb1”,RUN+=”/bin/raw/dev/raw/raw1%N”ACTION==”add”,ENV{MAJOR}==”8”,ENV{MINOR}==”8”,RUN+=”/bin/raw/dev/raw/raw1%M%m”ACTION==”add”,KERNEL==”sdb2”,RUN+=”/bin/raw/dev/raw/raw2%N”ACTION==”add”,ENV{MAJOR}==”8”,ENV{MINOR}==”17”,RUN+=”/bin/raw/dev/raw/raw2%M%m”ACTION==”add”,KERNEL==”sdb3”,RUN+=”/bin/raw/dev/raw/raw3%N”ACTION==”add”,ENV{MAJOR}==”8”,ENV{MINOR}==”33”,RUN+=”/bin/raw/dev/raw/raw3%M%m”#对裸设备赋权限,务必赋权限ACTION===”add”,KERNEL==”raw[1-4]”,OWNER=”oracle”,GROUP=”dba”,MODE=”660”编辑/etc/rc.d/rc.localmodprobehangcheck-timerchownoracle:dba/dev/raw/raw1chownoracle:dba/dev/raw/raw2chownoracle:dba/dev/raw/raw3chmod660/dev/raw/raw1chmod660/dev/raw/raw2chmod660/dev/raw/raw3配置完毕后，务必重新启动两台服务器4.2.7.1.配置共享磁盘的方法有三种1.Oracle集群文件系统(OCFS)2.自动存储管理器(ASM)3.原始设备从可扩展性和可管理性方面考虑，我们使用的是用ASMLibraryDriver配置ASM的共享磁盘。安装ASM软件从http://www.oracle.com/technetwork/server-storage/linux/downloads/rhel5-084877.html找到要下载的三个RPM软件包，注意，一定要与内核版本和系统平台相符。用root权限执行：#rpm-Uvhoracleasm-support-version.arch.rpm\oracleasm-kernel-version.arch.rpm\oracleasmlib-version.arch.rpm对ASM进行配置：#/etc/init.d/oracleasmconfigureConfiguringtheOracleASMlibrarydriver.这将配置OracleASM库驱动程序的启动时属性。以下问题将确定在启动时是否加载驱动程序以及它将拥有的权限。当前值将显示在方括号（“[]”）中。按<ENTER>而不键入回应将保留该当前值。按Ctrl-C将终止。（红色部分务必要注意，否则会出现权限问题，认不到盘）Defaultusertoownthedriverinterface[]:oracleDefaultgrouptoownthedriverinterface[]:dbaStartOracleASMlibrarydriveronboot(y/n)[n]:yFixpermissionsofOracleASMdisksonboot(y/n)[y]:yWritingOracleASMlibrarydriverconfiguration[OK]Creating/dev/oracleasmmountpoint[OK]Loadingmodule"oracleasm"[OK]MountingASMlibdriverfilesystem[OK]ScanningsystemforASMdisks[OK]现在，如下所示启用ASMLib驱动程序。#/etc/init.d/oracleasmenableWritingOracleASMlibrarydriverconfiguration[OK]ScanningsystemforASMdisks[OK]4.2.7.2.为ASM配置磁盘接下来告诉ASMLib驱动程序要使用哪些磁盘。请注意，这些磁盘是不包含任何内容的空磁盘。通过以root用户身份运行以下命令来标记由ASMLib使用的磁盘。仅从一个集群主机上执行此操作。/etc/init.d/oracleasmcreatediskDISK_NAMEdevice_name提示：以大写字母输入DISK_NAME。当前版本中有一个错误，即如果使用小写字母，ASM实例将无法识别磁盘。#/etc/init.d/oracleasmcreatediskFDB/dev/sdb3Markingdisk"/dev/sdb3"asanASMdisk[OK].以下示例演示了如何列出标记为由ASMLib使用的所有磁盘。#/etc/init.d/oracleasmlistdisksFDB注意在所有集群其他节点主机上，只需要以root用户身份运行以下命令，扫描所配置的ASMLib磁盘：#/etc/init.d/oracleasmscandisks把CRS与数据库软件拷贝到服务器上，再安装，注意，在安装前先建立用户等效性,如下#su–oracle$exportDISPLAY=:0.0$exportLANG=en_US---as5不支持中文5.安装软件5.1.安装CRS软件安装之前先检查下存储的权限，ll/dev/raw如果显示是root用户需重新赋权限，操作如下：chmod-hRoracle:dba/dev/raw/chmod-R700/dev/raw查看FDB磁盘权限ll/dev/oracleasm/disks如果显示是root用户需重新赋权限chownoracle:dba/dev/oracleasm/disks/FDBchmod700/dev/oracleasm/disks/FDB$./runInstaller单击“下一步”修改安装组为“dba”，然后单击“下一步”修改crs的安装路径与.bash_profile中crs设置的路径一致。然后单击“下一步”单击“下一步”提示：在这里如果环境设置的不正确，或者硬件配置达不到要求，检测不会通过，但是对于硬件配置，我们可以选择通过验证上图中只显示了一台服务器节点，验证该节点信息是否和/etc/hosts中的内容一致同时把节点DATA-HOST02添加到集群配置中，最后如下然后单击“下一步”单击“编辑”按钮，将eth0网卡的网段设为“公共”，然后点击“确定”(默认eth0是“公共”)以上这步要确定好是哪张网卡提供公共对外服务，哪张网卡提供心跳检测私有服务，千万不能弄错，确定好后点击“下一步”指定OCR的位置（前面已经设置好的）。然后单击“下一步”提示：这里可以选择正常冗余或外部冗余，效果一样，正常冗余提供了一个OCR的镜像位置，而外部冗余没有提供OCR镜像，只需要OCR位置就可以，由于前期我们在规划的时候就规划了OCR镜像，因此我们这里选择外部冗余，下面表决磁盘的配置也是一样指定表决磁盘的位置，单击“下一步”单击安装注意当安装到后面出现如下提示时，先不要点击“确定”！！！！！点了后果很严重10.执行配置脚本：以root用户身份按顺序执行以下脚本（一次执行一个）。在当前脚本完成后，再继续执行下一个脚本。在rac1上执行/u01/oracle/oraInventory/orainstRoot.sh。在rac2上执行/u01/oracle/oraInventory/orainstRoot.sh。在rac1上执行/u01/oracle/product/10.2.0/crs_1/root.sh。在rac2上执行/u01/oracle/product/10.2.0/crs_1/root.sh。---这个只是示意，请执行弹出界面的脚本，如在其他节点都执行完毕后，此时，你需要回到节点1，在此界面上单击确定通过上面的检查后，OracleClusterware安装结束！5.2.安装ORACLE数据库$./runInataller单击“下一步”选择安装企业版数据库，单击“下一步”确定安装路径，这里安装路径要和.bash_profile中的ORACLE_HOME值一致，单击“下一步”选中集群内所有节点，单击“下一步”单击“下一步”选择仅安装数据库软件，单击“下一步”单击安装此时安装途中向导将提示先以root用户的身份在每个节点上执行上述脚本，执行完毕后在点击“确定”。执行效果如下：以上安装完毕后，下面进行ORACLENET配置5.3.配置OracleNet以oracle用户的身份执行netca，配置OracleNet选择集群配置，单击“下一步”选择全部节点，单击“下一步”选择监听程序配置，单击“下一步”选择添加，单击“下一步”使用默认的监听程序名——LISTENER，单击“下一步”选择TCP协议，单击“下一步”使用默认的监听端口——1521，单击“下一步”选择否，单击“下一步”单击“下一步”选择命名方法配置，单击“下一步”选择本地命名，单击“下一步”单击“下一步”单击完成，结束OracleNet的配置5.4.建立实例在升级之前需要确保CRS服务至少一个节点上已经启动，状态是ONLINE。如果没有启动，可以在任意节点执行以下命令启动CRS服务。操作（一）在节点1（rac1）上用oracle用户执行如下命令：[root@rac1~]#su–oracle[oracle@rac1~]$crs_start–all[oracle@rac1~]$crs_stat–t8、DBCA以ASM创建数据库以oracle用户的身份运行dbca，建立集群数据库选择OracleRealApplicationCluster数据库，单击下一步选择创建数据库，单击下一步选中集群中的所有节点，单击下一步选择一般用途的数据库模版，单击下一步输入全局数据库名以及SID，在这里都输入“fdb”，单击下一步使用默认选项，然后单击下一步输入数据库用户口令，先输入统一口令“sys”，然后单击下一步选择自动存储管理（ASM），单击“下一步”输入ASM实例的SYS用户口令，指定初始化参数文件的类型，单击“下一步”安装向导将提示开始建立并启动ASM实例，单击确定正在创建ASM实例出来磁盘组选择，由于是新安装，没有可用磁盘组，因此这里选择新建，创建ASM磁盘组这里系统自动将我们前面准备的ASM磁盘显示出来，将冗余模式设为常规，选择前面创建的FDB磁盘，磁盘组命名为FDB，然后单击确定（如果没有显示则更改磁盘路径/dev/oralceasm/disks）注意：如果冗余模式选择“高”，则要求三个裸设备构成一个磁盘组，由于我们这里是外接磁盘阵列柜，冗余模式可以选择为外部，那么可以只需要1个ASM磁盘组成一磁盘组系统开始创建ASM磁盘组已经创建好的磁盘组，就会显示在可用磁盘组里，选中，然后单击下一步使用默认值，然后单击下一步如果不需要配置Flashback，单击下一步，否则需要指定快速恢复区，这里设定4G的快速恢复区后单击下一步选择安装示例方案，单击下一步单击添加按钮，增加服务输入服务名fdb，单击确定将两个实例均设为首选，TAF策略设为基本，单击下一步调整内存大小到合适比例，字符集选择simplifedChinese.ZHS16GBK，单击下一步调整重做日志大小均为100M，然后单击下一步把“生成数据库创建脚本”选中，然后单击完成此时，安装向导将向你确认数据库的配置信息，单击确定开始建立数据库正在创建数据库出现该界面表示数据库创建完毕，单击退出，结束数据库创建5.5.配置客户端要在客户端的hosts文件中写入相应的RAC（内容与前面etc/hosts一致）地址，对于Windows系统，路径为%system32%\drivers\etc\hosts。编辑hosts文件，内容与前面etc/hosts一致客户端配置tnsnames.ora文件，内容如下：FDB=(DESCRIPTION=(ADDRESS_LIST=(LOAD_BALANCE=ON)(ADDRESS=(PROTOCOL=TCP)(HOST=172.1.1.2)(PORT=1521))(ADDRESS=(PROTOCOL=TCP)(HOST=172.1.1.3)(PORT=1521)))(CONNECT_DATA=#下面的部分应该根据你安装RAC是配置进行相应的改动(SERVICE_NAME=oradb)(FAILOVER_MODE=(TYPE=SELECT)(MODE=BASIC)(RETRY=3)//重试3次(DEALY=5)//重试间隔5秒)))说明：http://node1:1158/em即可登陆到DatabaseControl，启动DatabaseControl用如下命令$emctlstartdbconsole5.6.测试RAC以下SQL查询可以用来查看一个会话的故障切换类型、故障切换方法和是否发生了故障切换。在这个例子中自始至终使用这个查询。Sql>COLUMNinstance_nameFORMATa13Sql>COLUMNhost_nameFORMATa9Sql>COLUMNfailover_methodFORMATa15Sql>COLUMNfailed_overFORMATa11Sql>SELECTinstance_name,host_name,NULLASfailover_type,NULLASfailover_method,NULLASfailed_overFROMv$instanceUNIONSELECTNULL,NULL,failover_type,failover_method,failed_overFROMv$sessionWHEREusername='SYSTEM';从客户端计算机中，以SYSTEM用户登录集群化数据库：C:\>sqlplussystem/sys@oradbSql>COLUMNinstance_nameFORMATa13Sql>COLUMNhost_nameFORMATa9Sql>COLUMNfailover_methodFORMATa15Sql>COLUMNfailed_overFORMATa11Sql>SELECTinstance_name,host_name,NULLASfailover_type,NULLASfailover_method,NULLASfailed_overFROMv$instanceUNIONSELECTNULL,NULL,failover_type,failover_method,failed_overFROMv$sessionWHEREusername='SYSTEM';INSTANCE_NAMEHOST_NAMEFAILOVER_TYPEFAILOVER_METHODFAILED_OVER-------------------------------------------------------------fdb1fdb1SELECTBASICNO不注销上面的SQL*Plus会话！我们已经运行了上面的查询，现在到节点jmrac1上使用abort选项来关闭该节点上的fdb1实例。要执行这一操作，我们可以使用srvctl命令行实用程序，如下所示：#su-oracle$srvctlstatusdatabase-djmdbInstancefdb1isrunningonnodefdb1Instancefdb2isrunningonnodefdb2$srvctlstopinstance-doradb-ifdb1-oabort$srvctlstatusdatabase-doradbInstancefdb1isnotrunningonnodefdb1Instancefdb2isrunningonnodefdb2现在让我们返回到我们的SQL会话，然后重新运行缓冲中的SQL语句：Sql>SELECTinstance_name,host_name,NULLASfailover_type,NULLASfailover_method,NULLASfailed_overFROMv$instanceUNIONSELECTNULL,NULL,failover_type,failover_method,failed_overFROMv$sessionWHEREusername='SYSTEM';INSTANCE_NAMEHOST_NAMEFAILOVER_TYPEFAILOVER_METHODFAILED_OVER-------------------------------------------------------------fdb2fdb2SELECTBASICYESSQL>exit从上面的演示中，可以看到上述会话现在已经被通明切换到了fdb2的实例fdb2上5.7.集群基本命令停止OracleRAC11g环境第一步是停止Oracle实例。当此实例（和相关服务）关闭后，关闭ASM实例。最后，关闭节点应用程序（虚拟IP、GSD、TNS监听器和ONS）。$exportORACLE_SID=fdb1$emctlstopdbconsole$srvctlstopinstance-doradb-ifdb1$srvctlstopasm-nfdb1$srvctlstopnodeapps-nfdb1启动OracleRAC11g环境第一步是启动节点应用程序（虚拟IP、GSD、TNS监听器和ONS）。当成功启动节点应用程序后，启动ASM实例。最后，启动Oracle实例（和相关服务）以及企业管理器数据库控制台。$exportORACLE_SID=fdb2$srvctlstartnodeapps-nfdb1$srvctlstartasm-nfdb1$srvctlstartinstance-doradb-ifdb1$emctlstartdbconsole使用SRVCTL启动/停止所有实例$srvctlstartdatabase-dfdb1$srvctlstopdatabase-dfdb1所有实例和服务的状态$srvctlstatusdatabase-doradb单个实例的状态$srvctlstatusinstance-doradb-ifdb2在数据库全局命名服务的状态$srvctlstatusservice-doradb-soradb特定节点上节点应用程序的状态$srvctlstatusnodeapps-nfdb1ASM实例的状态$srvctlstatusasm-nfdb1列出配置的所有数据库$srvctlconfigdatabase显示RAC数据库的配置$srvctlconfigdatabase-doradb显示指定集群数据库的所有服务$srvctlconfigservice-doradb显示节点应用程序的配置-（VIP、GSD、ONS、监听器）$srvctlconfignodeapps-noradb1-a-g-s-lVIPexists.:/vip/192.168.1.200/255.255.255.0/eth0:eth1GSDexists.ONSdaemonexists.Listenerexists.显示ASM实例的配置$srvctlconfigasm-nfdb1+ASM1/home/oracle/product/11.1.0/db_1以下操作先切换oracle用户：suoracleCrs状态查询：/home/oracle/oracle/product/11.1.0/crs/bin/crs_stat–t结果执行下列操作前先执行：cd/home/oracle/oracle/product/11.1.0/crs/bin/启动DATA-HOST01:./srvctlstartinstance-dorcl-iorcl1启动DATA-HOST02./srvctlstartinstance-dorcl-iorcl1停止DATA-HOST01：./srvctlstopinstance-dorcl-iorcl1-oabort停止DATA-HOST02：./srvctlstopinstance-dorcl-iorcl2-oabort6.LinuxRAC安装问题6.1.节点联通性问题问题1Youmustenteruniquevalueforpublicnodename,theprivatenodenameandthevirtualhostnameforallnodesinthecluster.Thename,hostnamethatyouenterisbeingusedbymorethanonceforthesamenode更改/etc/hosts中的ip节点名，如：原192.168.2.2data01改192.168.2.2data-host01问题2PRKC-1044重新做ssh联通mkdir.sshchmod755.sshcd.sshssh-keygen-trsassh-keygen-tdsacat*.pub>authorized_keys以上操作在每个节点上都要进行在节点data-host01上进行scpauthorized_keysdata-host02:/home/oracle/.ssh/keyscatkeys>>authorized_keysscpauthorized_keysdata-host01:/home/oracle/.ssh/.6.2.设备权限问题编辑/etc/udev/rules/60-raw.rules增加一下内容：ACTION==”add”,KERNEL==”[1-n]”,OWNER=”oracle”,GROUP=”dba”,MODE=”660”6.3.文件夹权限问题在做完RAC过后，可能会影响oracle用户的权限问题，导致Database无法安装或者在远程节点上安装失败报错如“Remote“AttachHome”failedonnode2”给/home/oracle文件夹赋权限chown-hRoracle:dba/home/oraclechmod-R770/home/oracle6.4.登录oracle用户时登录界面报错User’s$HOME/.dmrcfileisbeingignored在oracle用户下执行一下操作：cd~/sudochownoracle.dmrc#如果无法使用sudo命令，看下面的解决方法chmod644.dmrc执行完注销重新登录，如果还不行，切换至root用户，执行一下操作：cd/homesudochownoracleoraclechmod755oracle如果以上两种方法都不行，你只能求老天保佑，或者Baidu+Google了6.5.无法使用sudo命令使用root登录chmodu+w/etc/sudoersvi/etc.sudoers在rootALL=(ALL)ALL下加上oracleALL=(ALL)ALLchmodu-w/etc/sudoersOK6.6.安装失败后，注意事项安装失败后，将RAC的相关组件移除，这个就不介绍了，网上一搜一大把清楚OCR磁盘信息，ddif=/dev/zeroof=/dev/raw/raw1bs=8192count=12800ddif=/dev/zeroof=/dev/raw/raw2bs=8192count=12800其中/dev/raw/raw1和/dev/raw/raw2为你安装的OCR磁盘，务必清楚这两个上的信心，不然会导致你安装结束后执行root.sh卡住，不能执行6.7.创建ASM实例，找不到磁盘这样的问题，一般有两种情况：1.权限给的不是oracle用户的权限2.你需要手动更改路径，一般情况下，第二种可能性大点，ASM的路径一般在/dev/oracleasm/Disks6.8.磁盘无法挂载，报ORA-12523错误这个问题就比较纠结，但是方法很简单$ORACLE_HOME/bin/sqlplus/nologconn/assysdbaaltersystemsetLOCAL_LISTENER=”(ADDRESS=(PROTOCOL=TCP)(HOST=data-host02-vip)(PORT=1521))”sid=”fdb2”然后$ORA_CRS_HOME/bin/crs_stop–all,crs服务全部停止后，执行$ORA_CRS_HOME/bin/crs_start–all如果还不能解决，在tnsnames.ora中加下以下内容：+ASM2.local_listener=LISTENER+ASM2+ASM1.local_listener=LISTENER+ASM1