IBM HACMP安装配置指南(HA方式)

文档名称 文档密级

IBM HACMP安装配置指南（HA方式）

作者：刘勇

1 目标 ................................................................. 2 2 集群环境配置 ......................................................... 2

2.1 2.2 2.3 2.4 2.5

硬件环境 ....................................................... 2 软件环境 ....................................................... 2 补丁 ........................................................... 2 安装磁盘阵列 ................................................... 2 配置集群成员之间的连接和公共网络的连接 ......................... 2

3 创建一个集群（2个节点） .............................................. 3

3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9

通过以下几个步骤可以完成HACMP 的安装和配置 ..................... 3 配置集群的拓扑结构 ............................................. 3 同步集群的拓扑结构 ............................................ 10 配置集群的资源 ................................................ 12 定义集群的应用 ................................................ 14 配置应用监控器(有疑问) ........................................ 15 配置并发集群资源组 ............................................ 16 同步集群的资源 ................................................ 17 集群的基础管理 ................................................ 18

4 删除一个集群 ........................................................ 20

2004-07-12

内部资料，请勿扩散 第1页, 共20页

目标

文档名称 文档密级

1

指导IBM系列机型上的使用HACMP安装配置双机集群系统（HA方式） 2

集群环境配置

2.1 硬件环境

1. 主 机：至少2台IBM P630 2. 磁盘阵列：1台IBM7133 3. 公共网络 4. 交换设备

5. 内 存(Memory)：每台主机至少配备512M内存 检测命令：$/usr/sbin/lsattr –E –l sys0 –a realmem 6. 处 理 器(CPU)： -bit 处理器

7. 交换空间(swap)：至少1G或者2倍于物理内存，物理内存超过2G可设置为2G 检测命令：$/usr/sbin/lsps –a

2.2 软件环境

1. 操作系统：English AIX 5.1(5L) 2. 集群软件：

 数据库的数据文件存储于裸设备(Raw Devices)：配套 HACMP/ES CRM 4.5(推荐

使用)

 数据库的数据文件存储于Parallel 文件系统(GPFS)： 配套HACMP/ES 4.4.x

(HACMP/CRM 不需要),GPFS 1.5,IBM Patch PTF12和IBM patch IY34917(或者IBM Patch PTF13 )

3. 数 据 库：Oracle 9i Database-V9.2.0-for IBM AIX 5.1-English version 2.3 补丁

1. IBM AIX系统环境补丁

2. 存储器件补丁或者microcode 升级补丁

2.4 安装磁盘阵列

2.5 配置集群成员之间的连接和公共网络的连接

2004-07-12

内部资料，请勿扩散 第2页, 共20页

文档名称 文档密级

3 创建一个集群（2个节点）

3.1 通过以下几个步骤可以完成HACMP 的安装和配置

1. 硬件安装

2. 在每个节点分别安装IBM AIX操作系统 3. 在每个节点分别安装IBM AIX必需的补丁 4. 在每个节点分别安装HACMP

5. 在每个节点分别安装HACMP 必需的补丁 6. 配置集群的拓扑结构 7. 同步集群的拓扑结构 8. 配置集群的资源 9. 同步集群的资源

（必须的补丁是哪些？）

以上1至5步由IBM工程师安装完成，下面介绍地6至第9步的操作过程 3.2 配置集群的拓扑结构

1. 在每个节点编辑/etc/hosts文件 在hosts里面添加如下内容 IP地址 10.71.111.144 192.168.1.144 10.71.111.146 192.168.1.146 标签 ibm1_service ibm1_standby ibm2_service ibm2_standby 主机名 ibm1 ibm2

127.0.0.1 loopback localhost # loopback (lo0) name/address

#web1

139.106.19.121 web1_boot 139.2.19.121 web1_stb

#web2

139.106.19.122 web2_boot 139.2.19.122 web2_stb #shareip

139.106.19.120 web_svc

10.75.9.41 web1 10.75.9.42 web2

2004-07-12

内部资料，请勿扩散

第3页, 共20页

文档名称 文档密级

配置好这个文件后可以通过命令检测是否连通 检测命令：$ping ibm1_service $ping ibm2_service $ping ibm1_standby $ping ibm2_standby

2. 进入HACMP的操作界面 操作命令：$smit hacmp

3. 增加一个cluster的定义 菜单导航：Smit HACMP -> Cluster Configuration -> Cluster Topology -> Configure Cluster -> Add a Cluster Definintion

亦可通过以下命令快速进入 # smit cm_config_cluster.add

显示以下界面：

\"Cluster ID\Cluster Name\" 是自定义的

\"Cluster ID\" 必须是介于0到99999 的一个有效整数 \"Cluster Name\" 必须是一个长度小于32的字符串 上面的操作增加了一个cluster的定义：aipcluster 901

Webserver

/usr/es/sbin/cluster/utilities/claddclstr –i ‘901’ –n ‘webserver’

2004-07-12

内部资料，请勿扩散 第4页, 共20页

文档名称 文档密级

4. 配置集群的各个节点

菜单导航：Smit HACMP -> Cluster Configuration -> Cluster Topology -> Configure Nodes -> Add Cluster Nodes

亦可通过以下命令快速进入 # smit cm_config_nodes.add 显示以下界面：

\"Node Names\" 必须是各个节点的hostnames，每个hostname由字符和数字组成的不超过32位的字符串，每个节点的名称之间用一个空格分隔.

上面的操作在aipcluster增加了两个节点：ibm1,ibm2 5. 配置网络适配器

下表中列出了一个双机双网卡网络配置列表，仅供参考，具体配置请按照具体情况进行 主机名 Ibm1 node2

 添加IBM1的service IP

菜单导航：Smit HACMP -> Cluster Configuration -> Cluster Topology -> Configure Adapters -> Configure IP-based Interfaces/IP Labels -> Add Initial Interfaces

亦可通过以下命令快速进入 # smit ???

显示以下界面：

2004-07-12

内部资料，请勿扩散

第5页, 共20页

IP地址 10.71.111.144 192.168.1.1 /dev/tty0 10.71.111.146 192.168.1.2 /dev/tty0 标签 ibm1_service ibm1_standby ibm1_service ibm1_standby 类型 备注 主用(service) IP网络 备用(standby) IP网络 串口(serial) 非IP网络 主用(service) IP网络 备用(standby) IP网络 串口(serial) 非IP网络

文档名称 文档密级

\"IP Label\" 必须是在/etc里面配置的service IP \"Network Type\" 选择 ether

\"Network Name\" 自定义，输入 Ethernet \"Network Attribute\" 选择 pubilc \"Interface Function\" 选择 service \"Node Name\" 选择 ibm1

上面的操作增加了一个ibm1的service IP：ibm1_service  添加IBM2的service IP

2004-07-12

内部资料，请勿扩散

第6页, 共20页

文档名称 文档密级

\"IP Label\" 必须是在/etc里面配置的service IP \"Network Type\" 选择 ether

\"Network Name\" 自定义，输入 Ethernet \"Network Attribute\" 选择 pubilc \"Interface Function\" 选择 service \"Node Name\" 选择 ibm2

上面的操作增加了一个ibm1的service IP：ibm2_service

 添加IBM1的standby IP(备用)

\"IP Label\" 必须是在/etc里面配置的standby IP \"Network Type\" 选择 ether

\"Network Name\" 自定义，输入 Ethernet \"Network Attribute\" 选择 pubilc \"Interface Function\" 选择 standby \"Node Name\" 选择 ibm1

上面的操作增加了一个ibm1的service IP：ibm1_standby

 添加IBM2的standby IP(备用)

2004-07-12

内部资料，请勿扩散 第7页, 共20页

文档名称 文档密级

\"IP Label\" 必须是在/etc里面配置的standby IP \"Network Type\" 选择 ether

\"Network Name\" 自定义，输入 Ethernet \"Network Attribute\" 选择 pubilc \"Interface Function\" 选择 standby \"Node Name\" 选择 ibm2

上面的操作增加了一个ibm2的service IP：ibm2_standby 最后还需按以上步骤增加一个双机的浮动IP配置。  添加IBM1的串口通信配置

菜单导航：Smit HACMP -> Cluster Configuration -> Cluster Topology -> Configure Adapters -> Configure Adapters on Non IP-based networks -> Add an Adapter

亦可通过以下命令快速进入 # smit ???

显示以下界面：

2004-07-12

内部资料，请勿扩散 第8页, 共20页

文档名称 文档密级

\"Adapter Label\" 自定义，输入 ibm1_tty \"Network Type\" 选择 rs232

\"Network Name\" 自定义，输入 ibmserial (请与前面的Network name保持不同,请不要使用serial)

\"Device Name\" 选择 /dev/tty0 (系统的串口设备) \"Interface Function\" 选择 standby \"Node Name\" 选择 ibm1

上面的操作增加了一个ibm2的串口通信设备：ibm1_tty

 添加IBM2的串口通信配置

菜单导航：Smit HACMP -> Cluster Configuration -> Cluster Topology -> Configure Adapters -> Configure Adapters on Non IP-based networks -> Add an Adapter

亦可通过以下命令快速进入 # smit ???

显示以下界面：

2004-07-12

内部资料，请勿扩散 第9页, 共20页

文档名称 文档密级

\"Adapter Label\" 自定义，输入 ibm2_tty \"Network Type\" 选择 rs232

\"Network Name\" 自定义，输入 ibmserial (请与前面的Network name保持不同,请不要使用serial，与前面保持一致)

\"Device Name\" 选择 /dev/tty0 (系统的串口设备) \"Interface Function\" 选择 standby \"Node Name\" 选择 ibm2

上面的操作增加了一个ibm2的串口通信设备：ibm2_tty

 添加IBM1的RS232串口 菜单导航：Smit mktty

亦可通过以下命令快速进入 # smit mktty 显示以下界面：

检测两节点之间是否能够正常通信： 检测命令：# cat /etc/group 3.3 同步集群的拓扑结构

集群的拓扑结构配置完成后必须进行同步。同步操作可以检测拓扑结构的健全性，同时把配置数据同步到该群集的各个节点。必须在不同的节点之间用root用户建立信任机制来完

2004-07-12

内部资料，请勿扩散

第10页, 共20页

文档名称 文档密级

成同步，可以通过如下操作完成：

1. 在root用户\"/\"根目录下面建立\".rhosts\"文件，在其中包含如下内容：

ibm1 root ibm2 root 或者 +

最好不用+，这样比较危险

操作命令：#vi /.rhosts

2. 确保\".rhosts\"文件的文件权限为600 操作命令：# chmod 600 /.rhosts

3. 在每一个节点上使用远程操作命令进行测试

在节点ibm1上

操作命令：# rcp /etc/group ibm2:/tmp 在节点ibm2上

操作命令：# rcp /etc/group ibm1:/tmp

4. 同步集群的拓扑结构

菜单导航：Smit HACMP -> Cluster Configuration -> Cluster Topology -> Synchronize Cluster Topology

亦可通过以下命令快速进入 # smit configchk.dialog 显示以下界面：

2004-07-12

内部资料，请勿扩散 第11页, 共20页

文档名称 文档密级

以上参数取默认值

上面的操作同步了已定义的aipcluster的拓扑结构

3.4 配置集群的资源

一个Oracle HA配置之需要一个资源组(resource group)，该资源组是一个针对逻辑卷组(vg)的rotating的组。

创建VG和LV的过程可参见《彩铃安装指导书(oracle9i 双机数据库for AIX)》。 可以使用smit vg命令界面来修改VG属性，方法如下：  界面操作 操作命令：# smit vg

选择\"change/show a Volume Group\" 显示以下界面：

2004-07-12

内部资料，请勿扩散 第12页, 共20页

文档名称 文档密级

\"PHYSICAL VOLUME names\" 必须设置为各个节点之间共享的物理盘

\"Activate volume group AUTOMATICALLY at system restart?\" 设置为 \"no\" ，HACMP会去激活不需要系统重启示激活

\"Auto-varyon in Concurrent Mode?\" 设置为 \"no\" ，HACMP 会改变它为concurrent mode

\"Volume Group MAJOR NUMBER(Num.)\" 必须在各个节点中使用同一个编号，如果不确定，可以通过以下命令现在各个节点上察看以下 3.5 增加一个并发集群的资源组

菜单导航：Smit HACMP -> Cluster Configuration -> Cluster Resources -> Define Resource Groups -> Add a Resource Group 亦可通过以下命令快速进入 # smit cm_add_grp 显示以下界面：

2004-07-12

内部资料，请勿扩散 第13页, 共20页

文档名称 文档密级

\"Resource Group Name\" 可以任意命名,输入aipsrc \"Node Relationship\" 设置为 \"rotating\" \"Side Relationship\" 设置为 \"ignore\"

\"Participating Node Names\" 一组节点名称，采用一个空格分开，这里是ibm1 ibm2 上面的操作增加了集群资源组 aipsrc

3.6 定义集群的应用

1. 定义应用

菜单导航：Smit HACMP -> Cluster Configuration -> Cluster Resources -> Define Application Servers -> Add a Application Server 亦可通过以下命令快速进入 # smit ???

显示以下界面：

2004-07-12

内部资料，请勿扩散 第14页, 共20页

文档名称 文档密级

\"Server Name\" 可以任意命名,输入\"aipapp\"

\"Start Script\" 设置为 \"usr/sbin/cluster/dbstart\" \"Stop Script\" 设置为 \"usr/sbin/cluster/dbstop\" 上面的操作增加了应用 aipapp

3.7 配置应用监控器(有疑问) 1. 定义应用

菜单导航：Smit HACMP -> Cluster Configuration -> Cluster Resources -> Define Application Servers -> Add a Application Server 亦可通过以下命令快速进入 # smit ???

显示以下界面：

其中cleanup method和restart method的值都是上一步应用中定义的\"usr/sbin/cluster/dbstop\"以及\"usr/sbin/cluster/dbstart”

2004-07-12

内部资料，请勿扩散 第15页, 共20页

文档名称 文档密级

3.8 配置并发集群资源组

菜单导航：Smit HACMP -> Cluster Configuration -> Cluster Resources -> Change/Show Resources/Attributes for a Resource Group 亦可通过以下命令快速进入 # smit cm_cfg_res.select 显示以下界面：

2004-07-12

内部资料，请勿扩散

第16页, 共20页

文档名称 文档密级

选中已经存在的资源组，显示以下界面

\"Resource Group Name\"，\"Node Relationship\"，\"Participating Node Names\" 是在增加资源组的时候指定的

service ip label需要选择已定义好的共享IP的IP label。

\" Volume groups\" 是已经建好的共享磁盘逻辑卷，必须指定，需要选择“datavg indexvg”。

\"Application Servers\" 是已经建好的应用，必须指定，选择 \"aipapp\" 上面的操作配置了资源组 \"aipsrc\" 3.9 同步集群的资源

菜单导航：Smit HACMP -> Cluster Configuration -> Cluster Resources -> Synchronize Cluster Resources

亦可通过以下命令快速进入

2004-07-12

内部资料，请勿扩散

第17页, 共20页

文档名称 文档密级

# smit clsyncnode.dialog 显示以下界面：

以上各个参数采用默认值即可 上面的操作同步了资源组 \"aipsrc\" 3.10 集群的基础管理 1. 在各个节点上启动集群

菜单导航：Smit HACMP -> Cluster Services -> Start Cluster Services 亦可通过以下命令快速进入 # smit ???

显示以下界面：

2004-07-12

内部资料，请勿扩散 第18页, 共20页

文档名称 文档密级

\"BROADCAST message at startup?\" 设置为 \"false\" \" startup Cluster Information Daemon?\" 设置为 \"true\"

\" Start now, on system restart or both\" 设置为 \"now\"或\"both\" 上面的操作启动了 \"aipcluster\"

2. 察看集群状态

在HA双机正常运行状况下，两个节点的cluster服务都应该正常启动。 ＃lssrc －g cluster 其中3个服务都为active ＃netstat –in

主节点正常获取浮动IP

3. 停止集群

命令为： ＃smit clstop

2004-07-12

内部资料，请勿扩散 第19页, 共20页

文档名称 文档密级

4 删除一个集群

删除集群的定义就可以把集群删掉了 菜单导航：Smit HACMP -> Cluster Configuration -> Cluster Topology-> Configure Cluster -> Remove Cluster Definition

2004-07-12

内部资料，请勿扩散 第20页, 共20页