第4章 環境全体のバックアップの作成

1. マスターホストの設定ファイルのバックアップを作成します。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo mkdir -p ${MYBACKUPDIR}/etc/sysconfig
   $ sudo cp -aR /etc/origin ${MYBACKUPDIR}/etc
   $ sudo cp -aR /etc/sysconfig/atomic-* ${MYBACKUPDIR}/etc/sysconfig/

   注記

   単一マスタークラスターのインストールでは、設定ファイルは /etc/sysconfig/atomic-openshift-master に保存されます。複数マスター環境では、設定ファイルは /etc/sysconfig/atomic-openshift-master-api および /etc/sysconfig/atomic-openshift-master-controllers ディレクトリーに保存されます。

   警告

   /etc/origin/master/ca.serial.txt ファイルは Ansible ホストインベントリーに一覧表示される最初のマスターでのみ生成されます。最初のマスターホストの使用を終了する場合は、このプロセスの実行前に /etc/origin/master/ca.serial.txt ファイルを残りのマスターホストにコピーします。

2. バックアップの計画時に考慮する必要のある他の重要なファイルには以下が含まれます。

   ファイル	説明
   /etc/cni/*	コンテナーネットワークインターフェースの設定 (使用される場合)
   /etc/sysconfig/iptables	iptables ルールが保存される場所
   /etc/sysconfig/docker-storage-setup	container-storage-setup コマンドの入力ファイル
   /etc/sysconfig/docker	docker 設定ファイル
   /etc/sysconfig/docker-network	docker ネットワーク設定 (例: MTU)
   /etc/sysconfig/docker-storage	docker ストレージ設定 (container-storage-setup で生成される)
   /etc/dnsmasq.conf	dnsmasq の主要な設定ファイル
   /etc/dnsmasq.d/*	異なる dnsmasq 設定ファイル
   /etc/sysconfig/flanneld	flannel 設定ファイル (使用される場合)
   /etc/pki/ca-trust/source/anchors/	システムに追加される証明書 (例: 外部レジストリー用)

   上記のファイルのバックアップを作成します。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo mkdir -p ${MYBACKUPDIR}/etc/sysconfig
   $ sudo mkdir -p ${MYBACKUPDIR}/etc/pki/ca-trust/source/anchors
   $ sudo cp -aR /etc/sysconfig/{iptables,docker-*,flanneld} \
       ${MYBACKUPDIR}/etc/sysconfig/
   $ sudo cp -aR /etc/dnsmasq* /etc/cni ${MYBACKUPDIR}/etc/
   $ sudo cp -aR /etc/pki/ca-trust/source/anchors/* \
       ${MYBACKUPDIR}/etc/pki/ca-trust/source/anchors/

3. パッケージが間違って削除されたり、rpm パッケージに含まれるファイルを復元する必要がある場合、システムにインストールされている rhel パッケージの一覧の使用が役に立ちます。

   注記

   コンテンツビューやファクトストアなどの Red Hat Satellite 機能を使用する場合は、見つからないパッケージやシステムにインストールされているパッケージの履歴データを再インストールする適切なメカニズムを指定します。

   システムにインストールされている現在の rhel パッケージの一覧を作成するには、以下を実行します。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo mkdir -p ${MYBACKUPDIR}
   $ rpm -qa | sort | sudo tee $MYBACKUPDIR/packages.txt

4. 直前の手順を実行している場合、以下のファイルがバックアップディレクトリーに置かれます。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo find ${MYBACKUPDIR} -mindepth 1 -type f -printf '%P\n'
   etc/sysconfig/atomic-openshift-master
   etc/sysconfig/atomic-openshift-master-api
   etc/sysconfig/atomic-openshift-master-controllers
   etc/sysconfig/atomic-openshift-node
   etc/sysconfig/flanneld
   etc/sysconfig/iptables
   etc/sysconfig/docker-network
   etc/sysconfig/docker-storage
   etc/sysconfig/docker-storage-setup
   etc/sysconfig/docker-storage-setup.rpmnew
   etc/origin/master/ca.crt
   etc/origin/master/ca.key
   etc/origin/master/ca.serial.txt
   etc/origin/master/ca-bundle.crt
   etc/origin/master/master.proxy-client.crt
   etc/origin/master/master.proxy-client.key
   etc/origin/master/service-signer.crt
   etc/origin/master/service-signer.key
   etc/origin/master/serviceaccounts.private.key
   etc/origin/master/serviceaccounts.public.key
   etc/origin/master/openshift-master.crt
   etc/origin/master/openshift-master.key
   etc/origin/master/openshift-master.kubeconfig
   etc/origin/master/master.server.crt
   etc/origin/master/master.server.key
   etc/origin/master/master.kubelet-client.crt
   etc/origin/master/master.kubelet-client.key
   etc/origin/master/admin.crt
   etc/origin/master/admin.key
   etc/origin/master/admin.kubeconfig
   etc/origin/master/etcd.server.crt
   etc/origin/master/etcd.server.key
   etc/origin/master/master.etcd-client.key
   etc/origin/master/master.etcd-client.csr
   etc/origin/master/master.etcd-client.crt
   etc/origin/master/master.etcd-ca.crt
   etc/origin/master/policy.json
   etc/origin/master/scheduler.json
   etc/origin/master/htpasswd
   etc/origin/master/session-secrets.yaml
   etc/origin/master/openshift-router.crt
   etc/origin/master/openshift-router.key
   etc/origin/master/registry.crt
   etc/origin/master/registry.key
   etc/origin/master/master-config.yaml
   etc/origin/generated-configs/master-master-1.example.com/master.server.crt
   ...[OUTPUT OMITTED]...
   etc/origin/cloudprovider/openstack.conf
   etc/origin/node/system:node:master-0.example.com.crt
   etc/origin/node/system:node:master-0.example.com.key
   etc/origin/node/ca.crt
   etc/origin/node/system:node:master-0.example.com.kubeconfig
   etc/origin/node/server.crt
   etc/origin/node/server.key
   etc/origin/node/node-dnsmasq.conf
   etc/origin/node/resolv.conf
   etc/origin/node/node-config.yaml
   etc/origin/node/flannel.etcd-client.key
   etc/origin/node/flannel.etcd-client.csr
   etc/origin/node/flannel.etcd-client.crt
   etc/origin/node/flannel.etcd-ca.crt
   etc/pki/ca-trust/source/anchors/openshift-ca.crt
   etc/pki/ca-trust/source/anchors/registry-ca.crt
   etc/dnsmasq.conf
   etc/dnsmasq.d/origin-dns.conf
   etc/dnsmasq.d/origin-upstream-dns.conf
   etc/dnsmasq.d/node-dnsmasq.conf
   packages.txt

   必要な場合は、ファイルを圧縮してスペースを節約することができます。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo tar -zcvf /backup/$(hostname)-$(date +%Y%m%d).tar.gz $MYBACKUPDIR
   $ sudo rm -Rf ${MYBACKUPDIR}

1. ノード設定ファイルのバックアップを作成します。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo mkdir -p ${MYBACKUPDIR}/etc/sysconfig
   $ sudo cp -aR /etc/origin ${MYBACKUPDIR}/etc
   $ sudo cp -aR /etc/sysconfig/atomic-openshift-node ${MYBACKUPDIR}/etc/sysconfig/

2. OpenShift Container Platform は、バックアップポリシーの計画時に考慮する必要のある特定のファイルを使用します。これには以下が含まれます。

   ファイル	説明
   /etc/cni/*	コンテナーネットワークインターフェースの設定 (使用される場合)
   /etc/sysconfig/iptables	iptables ルールが保存される場所
   /etc/sysconfig/docker-storage-setup	container-storage-setup コマンドの入力ファイル
   /etc/sysconfig/docker	docker 設定ファイル
   /etc/sysconfig/docker-network	docker ネットワーク設定 (例: MTU)
   /etc/sysconfig/docker-storage	docker ストレージ設定 (container-storage-setup で生成される)
   /etc/dnsmasq.conf	dnsmasq の主要な設定ファイル
   /etc/dnsmasq.d/*	異なる dnsmasq 設定ファイル
   /etc/sysconfig/flanneld	flannel 設定ファイル (使用される場合)
   /etc/pki/ca-trust/source/anchors/	システムに追加される証明書 (例: 外部レジストリー用)

   これらのファイルを作成するには、以下を実行します。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo mkdir -p ${MYBACKUPDIR}/etc/sysconfig
   $ sudo mkdir -p ${MYBACKUPDIR}/etc/pki/ca-trust/source/anchors
   $ sudo cp -aR /etc/sysconfig/{iptables,docker-*,flanneld} \
       ${MYBACKUPDIR}/etc/sysconfig/
   $ sudo cp -aR /etc/dnsmasq* /etc/cni ${MYBACKUPDIR}/etc/
   $ sudo cp -aR /etc/pki/ca-trust/source/anchors/* \
       ${MYBACKUPDIR}/etc/pki/ca-trust/source/anchors/

3. パッケージが間違って削除されたり、rpm パッケージに含まれるファイルを復元する必要がある場合、システムにインストールされている rhel パッケージの一覧の使用が役に立ちます。

   注記

   コンテンツビューやファクトストアなどの Red Hat Satellite 機能を使用する場合は、見つからないパッケージやシステムにインストールされているパッケージの履歴データを再インストールする適切なメカニズムを指定します。

   システムにインストールされている現在の rhel パッケージの一覧を作成するには、以下を実行します。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo mkdir -p ${MYBACKUPDIR}
   $ rpm -qa | sort | sudo tee $MYBACKUPDIR/packages.txt

4. 以下のファイルがバックアップディレクトリーに置かれます。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo find ${MYBACKUPDIR} -mindepth 1 -type f -printf '%P\n'
   etc/sysconfig/atomic-openshift-node
   etc/sysconfig/flanneld
   etc/sysconfig/iptables
   etc/sysconfig/docker-network
   etc/sysconfig/docker-storage
   etc/sysconfig/docker-storage-setup
   etc/sysconfig/docker-storage-setup.rpmnew
   etc/origin/node/system:node:app-node-0.example.com.crt
   etc/origin/node/system:node:app-node-0.example.com.key
   etc/origin/node/ca.crt
   etc/origin/node/system:node:app-node-0.example.com.kubeconfig
   etc/origin/node/server.crt
   etc/origin/node/server.key
   etc/origin/node/node-dnsmasq.conf
   etc/origin/node/resolv.conf
   etc/origin/node/node-config.yaml
   etc/origin/node/flannel.etcd-client.key
   etc/origin/node/flannel.etcd-client.csr
   etc/origin/node/flannel.etcd-client.crt
   etc/origin/node/flannel.etcd-ca.crt
   etc/origin/cloudprovider/openstack.conf
   etc/pki/ca-trust/source/anchors/openshift-ca.crt
   etc/pki/ca-trust/source/anchors/registry-ca.crt
   etc/dnsmasq.conf
   etc/dnsmasq.d/origin-dns.conf
   etc/dnsmasq.d/origin-upstream-dns.conf
   etc/dnsmasq.d/node-dnsmasq.conf
   packages.txt

   必要な場合は、ファイルを圧縮してスペースを節約することができます。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo tar -zcvf /backup/$(hostname)-$(date +%Y%m%d).tar.gz $MYBACKUPDIR
   $ sudo rm -Rf ${MYBACKUPDIR}

1. レジストリー証明書をバックアップします。

   # cd /etc/docker/certs.d/
   # tar cf /tmp/docker-registry-certs-$(hostname).tar *

2. バックアップを外部の場所に移動します。

1. 復元手順には完全な再インストールが必要になるため、初期インストールで使用されたすべてのファイルを保存します。これらのファイルには、以下が含まれる場合があります。

   • Ansible Playbook およびインベントリーファイル (クラスターインストールの場合)
   • /etc/yum.repos.d/ose.repo (非接続インストール方法の場合)
2. インストール後のステップの手順をバックアップします。一部のインストールには、インストーラーに含まれないステップが必要になる場合があります。これには、OpenShift Container Platform の制御範囲外のサービスの変更やモニターエージェントなどの追加サービスのインストールが含まれる場合があります。複数の認証プロバイダーの使用など、通常インストーラー (Advanced Installer) でサポートされていない追加の設定も必要になる場合があります。

Jenkins デプロイメントのアプリケーションデータのバックアップ例

1. アプリケーションデータ mountPath を deploymentconfig から取得します。

   $ oc get dc/jenkins -o jsonpath='{ .spec.template.spec.containers[?(@.name=="jenkins")].volumeMounts[?(@.name=="jenkins-data")].mountPath }'
   /var/lib/jenkins

2. 現在実行中の Pod の名前を取得します。

   $ oc get pod --selector=deploymentconfig=jenkins -o jsonpath='{ .metadata.name }'
   jenkins-1-37nux

3. oc rsync コマンドを使用してアプリケーションデータをコピーします。

   $ oc rsync jenkins-1-37nux:/var/lib/jenkins /tmp/

1. バックアップするすべての関連データを一覧表示します。

   $ oc get all
   NAME         TYPE      FROM      LATEST
   bc/ruby-ex   Source    Git       1
   
   NAME               TYPE      FROM          STATUS     STARTED         DURATION
   builds/ruby-ex-1   Source    Git@c457001   Complete   2 minutes ago   35s
   
   NAME                 DOCKER REPO                                     TAGS      UPDATED
   is/guestbook         10.111.255.221:5000/myproject/guestbook         latest    2 minutes ago
   is/hello-openshift   10.111.255.221:5000/myproject/hello-openshift   latest    2 minutes ago
   is/ruby-22-centos7   10.111.255.221:5000/myproject/ruby-22-centos7   latest    2 minutes ago
   is/ruby-ex           10.111.255.221:5000/myproject/ruby-ex           latest    2 minutes ago
   
   NAME                 REVISION   DESIRED   CURRENT   TRIGGERED BY
   dc/guestbook         1          1         1         config,image(guestbook:latest)
   dc/hello-openshift   1          1         1         config,image(hello-openshift:latest)
   dc/ruby-ex           1          1         1         config,image(ruby-ex:latest)
   
   NAME                   DESIRED   CURRENT   READY     AGE
   rc/guestbook-1         1         1         1         2m
   rc/hello-openshift-1   1         1         1         2m
   rc/ruby-ex-1           1         1         1         2m
   
   NAME                  CLUSTER-IP       EXTERNAL-IP   PORT(S)             AGE
   svc/guestbook         10.111.105.84    <none>        3000/TCP            2m
   svc/hello-openshift   10.111.230.24    <none>        8080/TCP,8888/TCP   2m
   svc/ruby-ex           10.111.232.117   <none>        8080/TCP            2m
   
   NAME                         READY     STATUS      RESTARTS   AGE
   po/guestbook-1-c010g         1/1       Running     0          2m
   po/hello-openshift-1-4zw2q   1/1       Running     0          2m
   po/ruby-ex-1-build           0/1       Completed   0          2m
   po/ruby-ex-1-rxc74           1/1       Running     0          2m

2. プロジェクトオブジェクトを .yaml または .json ファイルにエクスポートします。

   • プロジェクトオブジェクトを project.yaml ファイルにエクスポートするには、以下を実行します。

     $ oc export all -o yaml > project.yaml

   • プロジェクトオブジェクトを project.json ファイルにエクスポートするには、以下を実行します。

     $ oc export all -o json > project.json

3. プロジェクトの role bindings、secrets、service accounts、および persistent volume claims をエクスポートします。

   $ for object in rolebindings serviceaccounts secrets imagestreamtags podpreset cms egressnetworkpolicies rolebindingrestrictions limitranges resourcequotas pvcs templates cronjobs statefulsets hpas deployments replicasets poddisruptionbudget endpoints
   do
     oc export $object -o yaml > $object.yaml
   done

4. 一部のエクスポートされたオブジェクトはプロジェクト内の特定のメタデータまたは固有の ID への参照に依存する場合があります。これは、再作成されるオブジェクトのユーザビリティーにおける制限になります。

   imagestreams の使用時に、deploymentconfig の image パラメーターは、復元される環境に存在しない内部レジストリー内のイメージの特定の sha チェックサムをポイントする場合があります。たとえば、サンプル "ruby-ex" を oc new-app centos/ruby-22-centos7~https://github.com/openshift/ruby-ex.git として実行すると、イメージをホストするための内部レジストリーを使用する imagestream ruby-ex が作成されます。

   $ oc get dc ruby-ex -o jsonpath="{.spec.template.spec.containers[].image}"
   10.111.255.221:5000/myproject/ruby-ex@sha256:880c720b23c8d15a53b01db52f7abdcbb2280e03f686a5c8edfef1a2a7b21cee

   oc export によるエクスポートと同様の方法での deploymentconfig のインポートは、イメージが存在しない場合には失敗します。

   それらのエクスポートを作成するには、openshift-ansible-contrib リポジトリーの project_export.sh を使用します。これにより、すべてのプロジェクトオブジェクトが複数の異なるファイルに作成されます。スクリプトは、プロジェクト名やプロジェクト内のすべてのオブジェクトタイプの json ファイルを使用してスクリプトを実行するディレクトリーをホスト上に作成します。

   注記

   以下で参照される openshift-ansible-contrib リポジトリーのコードは Red Hat で明示的にサポートされている訳ではありませんが、リファレンスアーキテクチャーチームはコードが定義通りに動作し、安全であることを確認するためにテストを実行しています。

   スクリプトは Linux で実行されますが、これには jq および oc コマンドがインストールされている必要があり、システムはプロジェクトのすべてのオブジェクトを読み取り可能なユーザーによって OpenShift Container Platform 環境にログインされている必要があります。

   $ mkdir ~/git
   $ cd ~/git
   $ git clone https://github.com/openshift/openshift-ansible-contrib.git
   $ cd openshift-ansible-contrib/reference-architecture/day2ops/scripts
   $ ./project_export.sh <projectname>

   例:

   $ ./project_export.sh myproject
   Exporting namespace to project-demo/ns.json
   Exporting rolebindings to project-demo/rolebindings.json
   Exporting serviceaccounts to project-demo/serviceaccounts.json
   Exporting secrets to project-demo/secrets.json
   Exporting deploymentconfigs to project-demo/dc_*.json
   Patching DC...
   Exporting buildconfigs to project-demo/bcs.json
   Exporting builds to project-demo/builds.json
   Exporting imagestreams to project-demo/iss.json
   Exporting imagestreamtags to project-demo/imagestreamtags.json
   Exporting replicationcontrollers to project-demo/rcs.json
   Exporting services to project-demo/svc_*.json
   Exporting pods to project-demo/pods.json
   Exporting podpreset to project-demo/podpreset.json
   Exporting configmaps to project-demo/cms.json
   Exporting egressnetworkpolicies to project-demo/egressnetworkpolicies.json
   Exporting rolebindingrestrictions to project-demo/rolebindingrestrictions.json
   Exporting limitranges to project-demo/limitranges.json
   Exporting resourcequotas to project-demo/resourcequotas.json
   Exporting pvcs to project-demo/pvcs.json
   Exporting routes to project-demo/routes.json
   Exporting templates to project-demo/templates.json
   Exporting cronjobs to project-demo/cronjobs.json
   Exporting statefulsets to project-demo/statefulsets.json
   Exporting hpas to project-demo/hpas.json
   Exporting deployments to project-demo/deployments.json
   Exporting replicasets to project-demo/replicasets.json
   Exporting poddisruptionbudget to project-demo/poddisruptionbudget.json

5. これが実行されたら、ファイルを確認し、コンテンツが適切にエクスポートされていることを確認します。

   $ cd <projectname>
   $ ls -1
   bcs.json
   builds.json
   cms.json
   cronjobs.json
   dc_ruby-ex.json
   dc_ruby-ex_patched.json
   deployments.json
   egressnetworkpolicies.json
   endpoint_external-mysql-service.json
   hpas.json
   imagestreamtags.json
   iss.json
   limitranges.json
   ns.json
   poddisruptionbudget.json
   podpreset.json
   pods.json
   pvcs.json
   rcs.json
   replicasets.json
   resourcequotas.json
   rolebindingrestrictions.json
   rolebindings.json
   routes.json
   secrets.json
   serviceaccounts.json
   statefulsets.json
   svc_external-mysql-service.json
   svc_ruby-ex.json
   templates.json
   $ less bcs.json
   ...

   注記

   元のオブジェクトが存在しない場合、エクスポート時に空のファイルが作成されます。

6. imagestreams を使用している場合、スクリプトは deploymentconfig をイメージ sha の代わりにイメージ参照を使用するように変更し、_patched の追加情報を使用してエクスポートされたもの以外の json ファイルを作成します。

   $ diff dc_hello-openshift.json dc_hello-openshift_patched.json
   45c45
   <             "image": "docker.io/openshift/hello-openshift@sha256:42b59c869471a1b5fdacadf778667cecbaa79e002b7235f8091540ae612f0e14",
   ---
   >             "image": "hello-openshift:latest",

1. プロジェクトおよび Pod を表示します。

   $ oc get pods
   NAME           READY     STATUS      RESTARTS   AGE
   demo-1-build   0/1       Completed   0          2h
   demo-2-fxx6d   1/1       Running     0          1h

2. 永続ボリュームで使用されているボリュームを検索できるように必要な Pod を記述します。

   $ oc describe pod demo-2-fxx6d
   Name:			demo-2-fxx6d
   Namespace:		test
   Security Policy:	restricted
   Node:			ip-10-20-6-20.ec2.internal/10.20.6.20
   Start Time:		Tue, 05 Dec 2017 12:54:34 -0500
   Labels:			app=demo
   			deployment=demo-2
   			deploymentconfig=demo
   Status:			Running
   IP:			172.16.12.5
   Controllers:		ReplicationController/demo-2
   Containers:
     demo:
       Container ID:	docker://201f3e55b373641eb36945d723e1e212ecab847311109b5cee1fd0109424217a
       Image:		docker-registry.default.svc:5000/test/demo@sha256:0a9f2487a0d95d51511e49d20dc9ff6f350436f935968b0c83fcb98a7a8c381a
       Image ID:		docker-pullable://docker-registry.default.svc:5000/test/demo@sha256:0a9f2487a0d95d51511e49d20dc9ff6f350436f935968b0c83fcb98a7a8c381a
       Port:		8080/TCP
       State:		Running
         Started:		Tue, 05 Dec 2017 12:54:52 -0500
       Ready:		True
       Restart Count:	0
       Volume Mounts:
         */opt/app-root/src/uploaded from persistent-volume (rw)*
         /var/run/secrets/kubernetes.io/serviceaccount from default-token-8mmrk (ro)
       Environment Variables:	<none>
   ...omitted...

   この出力は永続データが /opt/app-root/src/uploaded ディレクトリーにあることを示しています。

3. データをローカルにコピーします。

   $ oc rsync demo-2-fxx6d:/opt/app-root/src/uploaded ./demo-app
   receiving incremental file list
   uploaded/
   uploaded/ocp_sop.txt
   uploaded/lost+found/
   
   sent 38 bytes  received 190 bytes  152.00 bytes/sec
   total size is 32  speedup is 0.14

   ocp_sop.txt ファイルはローカルシステムにダウンロードされ、バックアップソフトウェアまたは別のバックアップメカニズムでバックアップされます。

   注記

   また、Pod が起動する場合に pvc を使用せずに直前の手順を実行できますが、後に pvc が必要かどうかを確認する必要があります。データを保持してから復元プロセスを使用し、新規ストレージを設定することができます。