9장. 오버클라우드 확장

언더클라우드에서 overcloud 스택의 현재 상태를 확인합니다.

$ source stackrc
$ openstack stack list --nested

overcloud 스택 및 해당 하위 스택에 CREATE_COMPLETE 또는 UPDATE_COMPLETE가 있어야 합니다.

언더클라우드 데이터베이스 백업을 수행합니다.

$ mkdir /home/stack/backup
$ sudo mysqldump --all-databases --quick --single-transaction | gzip > /home/stack/backup/dump_db_undercloud.sql.gz

실행 중인 Controller 노드에서 Pacemaker의 상태를 확인합니다. 예를 들어 192.168.0.47이 실행 중인 Controller 노드의 IP 주소인 경우 다음 명령을 사용하여 Pacemaker 상태 정보를 가져옵니다.

$ ssh heat-admin@192.168.0.47 'sudo pcs status'

출력에 기존 노드에서 실행 중인 서비스와 실패한 노드에서 중지된 모든 서비스가 표시됩니다.

오버클라우드의 MariaDB 클러스터에 있는 각 노드에서 다음 매개 변수를 확인합니다.

RabbitMQ 상태를 확인합니다. 예를 들어 192.168.0.47이 실행 중인 Controller 노드의 IP 주소이면 다음 명령을 사용하여 상태 정보를 가져옵니다.

$ ssh heat-admin@192.168.0.47 "sudo rabbitmqctl cluster_status"

running_nodes 키는 사용 가능한 두 개의 노드만 표시하고, 실패한 노드는 표시하지 않습니다.

펜싱이 활성화된 경우 비활성화합니다. 예를 들어 192.168.0.47이 실행 중인 Controller 노드의 IP 주소이면 다음 명령을 사용하여 펜싱을 비활성화합니다.

$ ssh heat-admin@192.168.0.47 "sudo pcs property set stonith-enabled=false"

다음 명령을 사용하여 펜싱 상태를 확인합니다.

$ ssh heat-admin@192.168.0.47 "sudo pcs property show stonith-enabled"

director 노드에서 nova-compute 서비스를 확인합니다.

$ sudo systemctl status openstack-nova-compute
$ openstack hypervisor list

출력에 모든 유지보수 이외의 모드 노드가 up으로 표시됩니다.

모든 언더클라우드 서비스가 실행 중인지 확인합니다.

$ sudo systemctl -t service

Controller 노드의 IP 주소 목록을 가져옵니다. 예를 들면 다음과 같습니다.

[stack@director ~]$ openstack server list
... +------------------------+ ... +-------------------------+
... | Name                   | ... | Networks                |
... +------------------------+ ... +-------------------------+
... | overcloud-compute-0    | ... | ctlplane=192.168.0.44   |
... | overcloud-controller-0 | ... | ctlplane=192.168.0.47   |
... | overcloud-controller-2 | ... | ctlplane=192.168.0.46   |
... | overcloud-controller-3 | ... | ctlplane=192.168.0.48   |
... +------------------------+ ... +-------------------------+

기존 노드의 /etc/corosync/corosync.conf 파일에서 제거된 노드의 nodeid 값을 확인합니다. 예를 들어 기존 노드는 192.168.0.47에서 overcloud-controller-0입니다.

[stack@director ~]$ ssh heat-admin@192.168.0.47 "sudo cat /etc/corosync/corosync.conf"

이렇게 하면 제거된 노드(overcloud-controller-1)의 ID가 포함된 nodelist가 표시됩니다.

nodelist {
  node {
    ring0_addr: overcloud-controller-0
    nodeid: 1
  }
  node {
    ring0_addr: overcloud-controller-1
    nodeid: 2
  }
  node {
    ring0_addr: overcloud-controller-2
    nodeid: 3
  }
}

나중에 사용할 수 있도록 제거된 노드의 nodeid 값을 기록해 둡니다. 이 예에서는 2입니다.

각 노드의 Corosync 구성에서 장애가 발생한 노드를 삭제하고 Corosync를 다시 시작합니다. 이 예에서는 overcloud-controller-0 및 overcloud-controller-2에 로그인하고 다음 명령을 실행합니다.

[stack@director] ssh heat-admin@192.168.0.47 "sudo pcs cluster localnode remove overcloud-controller-1"
[stack@director] ssh heat-admin@192.168.0.47 "sudo pcs cluster reload corosync"
[stack@director] ssh heat-admin@192.168.0.46 "sudo pcs cluster localnode remove overcloud-controller-1"
[stack@director] ssh heat-admin@192.168.0.46 "sudo pcs cluster reload corosync"

나머지 노드 중 하나에 로그인하고 crm_node 명령을 사용하여 클러스터에서 노드를 삭제합니다.

[stack@director] ssh heat-admin@192.168.0.47
[heat-admin@overcloud-controller-0 ~]$ sudo crm_node -R overcloud-controller-1 --force

이 노드에 로그인한 상태를 유지합니다.

RabbitMQ 클러스터에서 장애가 발생한 노드를 삭제합니다.

[heat-admin@overcloud-controller-0 ~]$ sudo rabbitmqctl forget_cluster_node rabbit@overcloud-controller-1

MongoDB에서 장애가 발생한 노드를 삭제합니다. 먼저, 노드의 내부 API 연결을 위한 IP 주소를 확인합니다.

[heat-admin@overcloud-controller-0 ~]$ sudo netstat -tulnp | grep 27017
tcp        0      0 192.168.0.47:27017    0.0.0.0:*               LISTEN      13415/mongod

노드가 primary 복제 세트인지 확인합니다.

[root@overcloud-controller-0 ~]# echo "db.isMaster()" | mongo --host 192.168.0.47:27017
MongoDB shell version: 2.6.11
connecting to: 192.168.0.47:27017/echo
{
  "setName" : "tripleo",
  "setVersion" : 1,
  "ismaster" : true,
  "secondary" : false,
  "hosts" : [
    "192.168.0.47:27017",
    "192.168.0.46:27017",
    "192.168.0.45:27017"
  ],
  "primary" : "192.168.0.47:27017",
  "me" : "192.168.0.47:27017",
  "electionId" : ObjectId("575919933ea8637676159d28"),
  "maxBsonObjectSize" : 16777216,
  "maxMessageSizeBytes" : 48000000,
  "maxWriteBatchSize" : 1000,
  "localTime" : ISODate("2016-06-09T09:02:43.340Z"),
  "maxWireVersion" : 2,
  "minWireVersion" : 0,
  "ok" : 1
}
bye

이는 현재 노드가 주 노드인지 표시합니다. 주 노드가 아닌 경우 primary 키에 표시된 노드의 IP 주소를 사용합니다.

주 노드에서 MongoDB에 연결합니다.

[heat-admin@overcloud-controller-0 ~]$ mongo --host 192.168.0.47
MongoDB shell version: 2.6.9
connecting to: 192.168.0.47:27017/test
Welcome to the MongoDB shell.
For interactive help, type "help".
For more comprehensive documentation, see
http://docs.mongodb.org/
Questions? Try the support group
http://groups.google.com/group/mongodb-user
tripleo:PRIMARY>

MongoDB 클러스터의 상태를 확인합니다.

tripleo:PRIMARY> rs.status()

_id 키를 사용하여 노드를 식별하고 name 키를 사용하여 장애가 발생한 노드를 제거합니다. 이 경우에는 name에 192.168.0.45:27017 이 있는 노드 1을 제거합니다.

tripleo:PRIMARY> rs.remove('192.168.0.45:27017')

"replSetReconfig command must be sent to the current replica set primary."

2016-05-07T03:57:19.541+0000 DBClientCursor::init call() failed
2016-05-07T03:57:19.543+0000 Error: error doing query: failed at src/mongo/shell/query.js:81
2016-05-07T03:57:19.545+0000 trying reconnect to 192.168.0.47:27017 (192.168.0.47) failed
2016-05-07T03:57:19.547+0000 reconnect 192.168.0.47:27017 (192.168.0.47) ok

MongoDB를 종료합니다.

tripleo:PRIMARY> exit

Galera 클러스터의 노드 목록을 업데이트합니다.

[heat-admin@overcloud-controller-0 ~]$ sudo pcs resource update galera wsrep_cluster_address=gcomm://overcloud-controller-0,overcloud-controller-3,overcloud-controller-2

새 노드를 클러스터에 추가합니다.

[heat-admin@overcloud-controller-0 ~]$ sudo pcs cluster node add overcloud-controller-3

각 노드에서 /etc/corosync/corosync.conf 파일을 확인합니다. 새 노드의 nodeid가 제거된 노드와 같은 경우 값을 새 nodeid 값으로 업데이트합니다. 예를 들어 /etc/corosync/corosync.conf 파일에 새 노드에 대한 항목이 포함되어 있습니다(overcloud-controller-3).

nodelist {
  node {
    ring0_addr: overcloud-controller-0
    nodeid: 1
  }
  node {
    ring0_addr: overcloud-controller-2
    nodeid: 3
  }
  node {
    ring0_addr: overcloud-controller-3
    nodeid: 2
  }
}

이 예에서 새 노드는 제거된 노드의 같은 nodeid를 사용합니다. 이 값을 사용되지 않은 노드 ID 값으로 업데이트합니다. 예를 들면 다음과 같습니다.

node {
  ring0_addr: overcloud-controller-3
  nodeid: 4
}

새 노드를 포함하여 각 Controller 노드의 /etc/corosync/corosync.conf 파일에 이 nodeid 값을 업데이트합니다.

기존 노드에서만 Corosync 서비스를 다시 시작합니다. 예를 들면 overcloud-controller-0에서 다음을 수행합니다.

[heat-admin@overcloud-controller-0 ~]$ sudo pcs cluster reload corosync

overcloud-controller-2에서 다음을 수행합니다.

[heat-admin@overcloud-controller-2 ~]$ sudo pcs cluster reload corosync

새 노드에서 이 명령을 실행하지 마십시오.

새 Controller 노드를 시작합니다.

[heat-admin@overcloud-controller-0 ~]$ sudo pcs cluster start overcloud-controller-3

Galera 클러스터를 다시 시작하고 Pacemaker 관리로 되돌아갑니다.

[heat-admin@overcloud-controller-0 ~]$ sudo pcs resource cleanup galera
[heat-admin@overcloud-controller-0 ~]$ sudo pcs resource manage galera

Pacemaker를 통해 일부 서비스를 활성화하고 다시 시작합니다. 클러스터는 현재 유지보수 모드에 있으므로 서비스를 활성화하려면 일시적으로 비활성화해야 합니다. 예를 들면 다음과 같습니다.

[heat-admin@overcloud-controller-3 ~]$ sudo pcs property set maintenance-mode=false --wait

Galera 서비스가 모든 노드에서 시작될 때까지 기다립니다.

[heat-admin@overcloud-controller-3 ~]$ sudo pcs status | grep galera -A1
Master/Slave Set: galera-master [galera]
Masters: [ overcloud-controller-0 overcloud-controller-2 overcloud-controller-3 ]

필요한 경우 새 노드에서 cleanup을 수행합니다.

[heat-admin@overcloud-controller-3 ~]$ sudo pcs resource cleanup galera --node overcloud-controller-3

클러스터를 다시 유지보수 모드로 전환합니다.

[heat-admin@overcloud-controller-3 ~]$ sudo pcs property set maintenance-mode=true --wait