1. RHOSP CLI の管理者として、swiftoperator ロールを Swift にアクセスするアカウントに追加します。

   $ openstack role add --user <user> --project <project> swiftoperator

手順

1. RHOSP CLI を使用して、'External' ネットワークの名前と ID を確認します。

   $ openstack network list --long -c ID -c Name -c "Router Type"
   
   +--------------------------------------+----------------+-------------+
   | ID                                   | Name           | Router Type |
   +--------------------------------------+----------------+-------------+
   | 148a8023-62a7-4672-b018-003462f8d7dc | public_network | External    |
   +--------------------------------------+----------------+-------------+

手順

1. clouds.yaml ファイルを作成します。

   • RHOSP ディストリビューションに Horizon Web UI が含まれる場合には、そこに clouds.yaml ファイルを生成します。

     重要

     パスワードを必ず auth フィールドに追加してください。シークレットは、clouds.yaml の 別のファイル に保持できます。

   • RHOSP ディストリビューションに Horizon Web UI が含まれない場合や Horizon を使用する必要がない場合には、このファイルを独自に作成します。clouds.yaml についての詳細は、RHOSP ドキュメントの Config files を参照してください。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: shiftstack_user
           password: XXX
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: 'devuser'
           password: XXX
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. RHOSP インストールでエンドポイント認証用に自己署名認証局 (CA) を使用する場合、以下を実行します。

   1. 認証局ファイルをマシンにコピーします。

   2. コマンドラインで以下のコマンドを実行し、マシンを認証局の信頼バンドルに追加します。

      $ sudo cp ca.crt.pem /etc/pki/ca-trust/source/anchors/
      $ sudo update-ca-trust extract

   3. cacerts キーを clouds.yaml ファイルに追加します。この値は、CA 証明書への絶対的な root 以外によるアクセスが可能なパスである必要があります。

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      ヒント

      カスタム CA 証明書を使用してインストーラーを実行した後に、cloud-provider-config キーマップの ca-cert.pem キーの値を編集して証明書を更新できます。コマンドラインで、以下を実行します。

      $ oc edit configmap -n openshift-config cloud-provider-config

3. clouds.yaml ファイルを以下の場所のいずれかに置きます。

   1. OS_CLIENT_CONFIG_FILE 環境変数の値
   2. 現行ディレクトリー
   3. Unix 固有のユーザー設定ディレクトリー (例: ~/.config/openstack/clouds.yaml)

   4. Unix 固有のサイト設定ディレクトリー (例: /etc/openstack/clouds.yaml)

      インストールプログラムはこの順序で clouds.yaml を検索します。

手順

1. Red Hat OpenShift Cluster Manager サイトの Infrastructure Provider ページにアクセスします。Red Hat アカウントがある場合は、認証情報を使ってログインします。アカウントがない場合はこれを作成します。

2. 選択するインストールタイプのページに移動し、オペレーティングシステムのインストールプログラムをダウンロードし、ファイルをインストール設定ファイルを保存するディレクトリーに配置します。

   重要

   インストールプログラムは、クラスターのインストールに使用するコンピューターにいくつかのファイルを作成します。クラスターインストールの完了後は、インストールプログラムおよびインストールプログラムが作成するファイルの両方を保持する必要があります。

   重要

   インストールプログラムで作成されたファイルを削除しても、クラスターがインストール時に失敗した場合でもクラスターは削除されません。特定のクラウドプロバイダー用に記載された OpenShift Container Platform のアンインストール手順を完了して、クラスターを完全に削除する必要があります。

3. インストールプログラムを展開します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ tar xvf <installation_program>.tar.gz

4. Red Hat OpenShift Cluster Manager サイトの Pull Secret ページから、インストールプルシークレットを .txt ファイルとしてダウンロードします。このプルシークレットを使用し、OpenShift Container Platform コンポーネントのコンテナーイメージを提供する Quay.io など、組み込まれた各種の認証局によって提供されるサービスで認証できます。

手順

1. install-config.yaml ファイルを作成します。

   1. 以下のコマンドを実行します。

      $ ./openshift-install create install-config --dir=<installation_directory> 1

      1

      <installation_directory> の場合、インストールプログラムが作成するファイルを保存するためにディレクトリー名を指定します。

      重要

      空のディレクトリーを指定します。ブートストラップ X.509 証明書などの一部のインストールアセットの有効期限は短く設定されているため、インストールディレクトリーを再利用することができません。別のクラスターインストールの個別のファイルを再利用する必要がある場合は、それらをディレクトリーにコピーすることができます。ただし、インストールアセットのファイル名はリリース間で変更される可能性があります。インストールファイルを以前のバージョンの OpenShift Container Platform からコピーする場合は注意してコピーを行ってください。

   2. プロンプト時に、クラウドの設定の詳細情報を指定します。

      1. オプション: クラスターマシンにアクセスするために使用する SSH キーを選択します。

         注記

         インストールのデバッグまたは障害復旧を実行する必要のある実稼働用の OpenShift Container Platform クラスターでは、ssh-agent プロセスが使用する SSH キーを指定します。

      2. ターゲットに設定するプラットフォームとして openstack を選択します。
      3. クラスターのインストールに使用する Red Hat OpenStack Platform (RHOSP) の外部ネットワーク名を指定します。
      4. OpenShift API への外部アクセスに使用する floating IP アドレスを指定します。
      5. コントロールプレーンおよびコンピュートノードに使用する 16 GB 以上の RAM で RHOSP フレーバーを指定します。
      6. クラスターをデプロイするベースドメインを選択します。すべての DNS レコードはこのベースのサブドメインとなり、クラスター名も含まれます。
      7. クラスターの名前を入力します。名前は 14 文字以下でなければなりません。
      8. Red Hat OpenShift Cluster Manager サイトの Pull Secret ページから取得したプルシークレットを貼り付けます。
2. install-config.yaml ファイルを変更します。利用可能なパラメーターの詳細については、インストール設定パラメーターセクションを参照してください。

3. install-config.yaml ファイルをバックアップし、複数のクラスターをインストールするのに使用できるようにします。

   重要

   install-config.yaml ファイルはインストールプロセス時に使用されます。このファイルを再利用する必要がある場合は、この段階でこれをバックアップしてください。

手順

1. パスワードなしの認証に設定されている SSH キーがコンピューター上にない場合は、これを作成します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ ssh-keygen -t ed25519 -N '' \
       -f <path>/<file_name> 1

   1

   ~/.ssh/id_rsa などの、SSH キーのパスおよびファイル名を指定します。既存の SSH キーは上書きされるため、指定しないでください。

   このコマンドを実行すると、指定した場所にパスワードを必要としない SSH キーが生成されます。

2. ssh-agent プロセスをバックグラウンドタスクとして開始します。

   $ eval "$(ssh-agent -s)"
   
   Agent pid 31874

3. SSH プライベートキーを ssh-agent に追加します。

   $ ssh-add <path>/<file_name> 1
   
   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

   1

   ~/.ssh/id_rsa などの、SSH プライベートキーのパスおよびファイル名を指定します。

手順

1. インストールプログラムを実行します。

   $ ./openshift-install create cluster --dir=<installation_directory> \ 1
       --log-level=info 2

   1

   <installation_directory> については、カスタマイズした ./install-config.yaml ファイルの場所を指定します。

   2

   異なるインストールの詳細情報を表示するには、info ではなく、warn、debug、または error を指定します。

   注記

   ホストに設定した AWS アカウントにクラスターをデプロイするための十分なパーミッションがない場合、インストールプログラムは停止し、不足しているパーミッションが表示されます。

   クラスターのデプロイメントが完了すると、Web コンソールへのリンクや kubeadmin ユーザーの認証情報を含む、クラスターにアクセスするための指示がターミナルに表示されます。

   重要

   インストールプログラムが生成する Ignition 設定ファイルには、24 時間が経過すると期限切れになり、その後に更新される証明書が含まれます。証明書を更新する前にクラスターが停止し、24 時間経過した後にクラスターを再起動すると、クラスターは期限切れの証明書を自動的に復元します。例外として、kubelet 証明書を回復するために保留状態の node-bootstrapper 証明書署名要求 (CSR) を手動で承認する必要があります。詳細は、コントロールプレーン証明書の期限切れの状態からのリカバリー についてのドキュメントを参照してください。

   重要

   インストールプログラム、またはインストールプログラムが作成するファイルを削除することはできません。これらはいずれもクラスターを削除するために必要になります。

手順

1. クラスター環境で、管理者の kubeconfig ファイルをエクスポートします。

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory> には、インストールファイルを保存したディレクトリーへのパスを指定します。

   kubeconfig ファイルには、クライアントを正しいクラスターおよび API サーバーに接続するために CLI で使用されるクラスターについての情報が含まれます。

2. デプロイメント後に作成されたコントロールプレーンおよびコンピュートマシンを表示します。

   $ oc get nodes

3. クラスターのバージョンを表示します。

   $ oc get clusterversion

4. Operator のステータスを表示します。

   $ oc get clusteroperator

5. クラスター内のすべての実行中の Pod を表示します。

   $ oc get pods -A

手順

1. kubeadmin 認証情報をエクスポートします。

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory> には、インストールファイルを保存したディレクトリーへのパスを指定します。

2. エクスポートされた設定を使用して、oc コマンドを正常に実行できることを確認します。

   $ oc whoami
   system:admin

1. ポートを表示します。

   $ openstack port show <cluster name>-<clusterID>-ingress-port

2. ポートを IP アドレスに接続します。

   $ openstack floating ip set --port <ingress port ID> <apps FIP>

3. *apps. のワイルドカード A レコードを DNS ファイルに追加します。

   *.apps.<cluster name>.<base domain>  IN  A  <apps FIP>

1. RHOSP CLI の管理者として、swiftoperator ロールを Swift にアクセスするアカウントに追加します。

   $ openstack role add --user <user> --project <project> swiftoperator

手順

1. RHOSP CLI を使用して、'External' ネットワークの名前と ID を確認します。

   $ openstack network list --long -c ID -c Name -c "Router Type"
   
   +--------------------------------------+----------------+-------------+
   | ID                                   | Name           | Router Type |
   +--------------------------------------+----------------+-------------+
   | 148a8023-62a7-4672-b018-003462f8d7dc | public_network | External    |
   +--------------------------------------+----------------+-------------+

手順

1. clouds.yaml ファイルを作成します。

   • RHOSP ディストリビューションに Horizon Web UI が含まれる場合には、そこに clouds.yaml ファイルを生成します。

     重要

     パスワードを必ず auth フィールドに追加してください。シークレットは、clouds.yaml の 別のファイル に保持できます。

   • RHOSP ディストリビューションに Horizon Web UI が含まれない場合や Horizon を使用する必要がない場合には、このファイルを独自に作成します。clouds.yaml についての詳細は、RHOSP ドキュメントの Config files を参照してください。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: shiftstack_user
           password: XXX
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: 'devuser'
           password: XXX
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. RHOSP インストールでエンドポイント認証用に自己署名認証局 (CA) を使用する場合、以下を実行します。

   1. 認証局ファイルをマシンにコピーします。

   2. コマンドラインで以下のコマンドを実行し、マシンを認証局の信頼バンドルに追加します。

      $ sudo cp ca.crt.pem /etc/pki/ca-trust/source/anchors/
      $ sudo update-ca-trust extract

   3. cacerts キーを clouds.yaml ファイルに追加します。この値は、CA 証明書への絶対的な root 以外によるアクセスが可能なパスである必要があります。

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      ヒント

      カスタム CA 証明書を使用してインストーラーを実行した後に、cloud-provider-config キーマップの ca-cert.pem キーの値を編集して証明書を更新できます。コマンドラインで、以下を実行します。

      $ oc edit configmap -n openshift-config cloud-provider-config

3. clouds.yaml ファイルを以下の場所のいずれかに置きます。

   1. OS_CLIENT_CONFIG_FILE 環境変数の値
   2. 現行ディレクトリー
   3. Unix 固有のユーザー設定ディレクトリー (例: ~/.config/openstack/clouds.yaml)

   4. Unix 固有のサイト設定ディレクトリー (例: /etc/openstack/clouds.yaml)

      インストールプログラムはこの順序で clouds.yaml を検索します。

手順

1. Red Hat OpenShift Cluster Manager サイトの Infrastructure Provider ページにアクセスします。Red Hat アカウントがある場合は、認証情報を使ってログインします。アカウントがない場合はこれを作成します。

2. 選択するインストールタイプのページに移動し、オペレーティングシステムのインストールプログラムをダウンロードし、ファイルをインストール設定ファイルを保存するディレクトリーに配置します。

   重要

   インストールプログラムは、クラスターのインストールに使用するコンピューターにいくつかのファイルを作成します。クラスターインストールの完了後は、インストールプログラムおよびインストールプログラムが作成するファイルの両方を保持する必要があります。

   重要

   インストールプログラムで作成されたファイルを削除しても、クラスターがインストール時に失敗した場合でもクラスターは削除されません。特定のクラウドプロバイダー用に記載された OpenShift Container Platform のアンインストール手順を完了して、クラスターを完全に削除する必要があります。

3. インストールプログラムを展開します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ tar xvf <installation_program>.tar.gz

4. Red Hat OpenShift Cluster Manager サイトの Pull Secret ページから、インストールプルシークレットを .txt ファイルとしてダウンロードします。このプルシークレットを使用し、OpenShift Container Platform コンポーネントのコンテナーイメージを提供する Quay.io など、組み込まれた各種の認証局によって提供されるサービスで認証できます。

手順

1. install-config.yaml ファイルを作成します。

   1. 以下のコマンドを実行します。

      $ ./openshift-install create install-config --dir=<installation_directory> 1

      1

      <installation_directory> の場合、インストールプログラムが作成するファイルを保存するためにディレクトリー名を指定します。

      重要

      空のディレクトリーを指定します。ブートストラップ X.509 証明書などの一部のインストールアセットの有効期限は短く設定されているため、インストールディレクトリーを再利用することができません。別のクラスターインストールの個別のファイルを再利用する必要がある場合は、それらをディレクトリーにコピーすることができます。ただし、インストールアセットのファイル名はリリース間で変更される可能性があります。インストールファイルを以前のバージョンの OpenShift Container Platform からコピーする場合は注意してコピーを行ってください。

   2. プロンプト時に、クラウドの設定の詳細情報を指定します。

      1. オプション: クラスターマシンにアクセスするために使用する SSH キーを選択します。

         注記

         インストールのデバッグまたは障害復旧を実行する必要のある実稼働用の OpenShift Container Platform クラスターでは、ssh-agent プロセスが使用する SSH キーを指定します。

      2. ターゲットに設定するプラットフォームとして openstack を選択します。
      3. クラスターのインストールに使用する Red Hat OpenStack Platform (RHOSP) の外部ネットワーク名を指定します。
      4. OpenShift API への外部アクセスに使用する floating IP アドレスを指定します。
      5. コントロールプレーンおよびコンピュートノードに使用する 16 GB 以上の RAM で RHOSP フレーバーを指定します。
      6. クラスターをデプロイするベースドメインを選択します。すべての DNS レコードはこのベースのサブドメインとなり、クラスター名も含まれます。
      7. クラスターの名前を入力します。名前は 14 文字以下でなければなりません。
      8. Red Hat OpenShift Cluster Manager サイトの Pull Secret ページから取得したプルシークレットを貼り付けます。
2. install-config.yaml ファイルを変更します。利用可能なパラメーターの詳細については、インストール設定パラメーターセクションを参照してください。

3. install-config.yaml ファイルをバックアップし、複数のクラスターをインストールするのに使用できるようにします。

   重要

   install-config.yaml ファイルはインストールプロセス時に使用されます。このファイルを再利用する必要がある場合は、この段階でこれをバックアップしてください。

手順

1. パスワードなしの認証に設定されている SSH キーがコンピューター上にない場合は、これを作成します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ ssh-keygen -t ed25519 -N '' \
       -f <path>/<file_name> 1

   1

   ~/.ssh/id_rsa などの、SSH キーのパスおよびファイル名を指定します。既存の SSH キーは上書きされるため、指定しないでください。

   このコマンドを実行すると、指定した場所にパスワードを必要としない SSH キーが生成されます。

2. ssh-agent プロセスをバックグラウンドタスクとして開始します。

   $ eval "$(ssh-agent -s)"
   
   Agent pid 31874

3. SSH プライベートキーを ssh-agent に追加します。

   $ ssh-add <path>/<file_name> 1
   
   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

   1

   ~/.ssh/id_rsa などの、SSH プライベートキーのパスおよびファイル名を指定します。

手順

1. インストールプログラムを実行します。

   $ ./openshift-install create cluster --dir=<installation_directory> \ 1
       --log-level=info 2

   1

   <installation_directory> については、カスタマイズした ./install-config.yaml ファイルの場所を指定します。

   2

   異なるインストールの詳細情報を表示するには、info ではなく、warn、debug、または error を指定します。

   注記

   ホストに設定した AWS アカウントにクラスターをデプロイするための十分なパーミッションがない場合、インストールプログラムは停止し、不足しているパーミッションが表示されます。

   クラスターのデプロイメントが完了すると、Web コンソールへのリンクや kubeadmin ユーザーの認証情報を含む、クラスターにアクセスするための指示がターミナルに表示されます。

   重要

   インストールプログラムが生成する Ignition 設定ファイルには、24 時間が経過すると期限切れになり、その後に更新される証明書が含まれます。証明書を更新する前にクラスターが停止し、24 時間経過した後にクラスターを再起動すると、クラスターは期限切れの証明書を自動的に復元します。例外として、kubelet 証明書を回復するために保留状態の node-bootstrapper 証明書署名要求 (CSR) を手動で承認する必要があります。詳細は、コントロールプレーン証明書の期限切れの状態からのリカバリー についてのドキュメントを参照してください。

   重要

   インストールプログラム、またはインストールプログラムが作成するファイルを削除することはできません。これらはいずれもクラスターを削除するために必要になります。

手順

1. クラスター環境で、管理者の kubeconfig ファイルをエクスポートします。

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory> には、インストールファイルを保存したディレクトリーへのパスを指定します。

   kubeconfig ファイルには、クライアントを正しいクラスターおよび API サーバーに接続するために CLI で使用されるクラスターについての情報が含まれます。

2. デプロイメント後に作成されたコントロールプレーンおよびコンピュートマシンを表示します。

   $ oc get nodes

3. クラスターのバージョンを表示します。

   $ oc get clusterversion

4. Operator のステータスを表示します。

   $ oc get clusteroperator

5. クラスター内のすべての実行中の Pod を表示します。

   $ oc get pods -A

手順

1. kubeadmin 認証情報をエクスポートします。

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory> には、インストールファイルを保存したディレクトリーへのパスを指定します。

2. エクスポートされた設定を使用して、oc コマンドを正常に実行できることを確認します。

   $ oc whoami
   system:admin

1. ポートを表示します。

   $ openstack port show <cluster name>-<clusterID>-ingress-port

2. ポートを IP アドレスに接続します。

   $ openstack floating ip set --port <ingress port ID> <apps FIP>

3. *apps. のワイルドカード A レコードを DNS ファイルに追加します。

   *.apps.<cluster name>.<base domain>  IN  A  <apps FIP>

手順

1. コマンドラインで、リポジトリーを追加します。

   $ sudo subscription-manager register # If not done already
   $ sudo subscription-manager attach --pool=$YOUR_POOLID # If not done already
   $ sudo subscription-manager repos --disable=* # If not done already
   
   $ sudo subscription-manager repos \
     --enable=rhel-8-for-x86_64-baseos-rpms \
     --enable=openstack-16-tools-for-rhel-8-x86_64-rpms \
     --enable=ansible-2.9-for-rhel-8-x86_64-rpms \
     --enable=rhel-8-for-x86_64-appstream-rpms

2. モジュールをインストールします。

   $ sudo yum install python3-openstackclient ansible python3-openstacksdk python3-netaddr

3. python コマンドが python3 を参照していることを確認します。

   $ sudo alternatives --set python /usr/bin/python3

手順

1. Red Hat OpenShift Cluster Manager サイトの Infrastructure Provider ページにアクセスします。Red Hat アカウントがある場合は、認証情報を使ってログインします。アカウントがない場合はこれを作成します。

2. 選択するインストールタイプのページに移動し、オペレーティングシステムのインストールプログラムをダウンロードし、ファイルをインストール設定ファイルを保存するディレクトリーに配置します。

   重要

   インストールプログラムは、クラスターのインストールに使用するコンピューターにいくつかのファイルを作成します。クラスターインストールの完了後は、インストールプログラムおよびインストールプログラムが作成するファイルの両方を保持する必要があります。

   重要

   インストールプログラムで作成されたファイルを削除しても、クラスターがインストール時に失敗した場合でもクラスターは削除されません。特定のクラウドプロバイダー用に記載された OpenShift Container Platform のアンインストール手順を完了して、クラスターを完全に削除する必要があります。

3. インストールプログラムを展開します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ tar xvf <installation_program>.tar.gz

4. Red Hat OpenShift Cluster Manager サイトの Pull Secret ページから、インストールプルシークレットを .txt ファイルとしてダウンロードします。このプルシークレットを使用し、OpenShift Container Platform コンポーネントのコンテナーイメージを提供する Quay.io など、組み込まれた各種の認証局によって提供されるサービスで認証できます。

手順

1. パスワードなしの認証に設定されている SSH キーがコンピューター上にない場合は、これを作成します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ ssh-keygen -t ed25519 -N '' \
       -f <path>/<file_name> 1

   1

   ~/.ssh/id_rsa などの、SSH キーのパスおよびファイル名を指定します。既存の SSH キーは上書きされるため、指定しないでください。

   このコマンドを実行すると、指定した場所にパスワードを必要としない SSH キーが生成されます。

2. ssh-agent プロセスをバックグラウンドタスクとして開始します。

   $ eval "$(ssh-agent -s)"
   
   Agent pid 31874

3. SSH プライベートキーを ssh-agent に追加します。

   $ ssh-add <path>/<file_name> 1
   
   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

   1

   ~/.ssh/id_rsa などの、SSH プライベートキーのパスおよびファイル名を指定します。

手順

1. Red Hat カスタマーポータルの 製品ダウンロードページ にログインします。

2. Version で、Red Hat Enterprise Linux (RHEL) 8 用の OpenShift Container Platform 4.4 の最新リリースを選択します。

   重要

   RHCOS イメージは OpenShift Container Platform の各リリースごとに変更されない可能性があります。インストールする OpenShift Container Platform バージョンと等しいか、それ以下のバージョンの内で最も新しいバージョンのイメージをダウンロードする必要があります。利用可能な場合は、OpenShift Container Platform バージョンに一致するイメージのバージョンを使用します。

3. Red Hat Enterprise Linux CoreOS - OpenStack Image (QCOW) をダウンロードします。

4. イメージを展開します。

   注記

   クラスターが使用する前に RHOSP イメージを圧縮解除する必要があります。ダウンロードしたファイルの名前に、.gz または .tgz などの圧縮拡張子が含まれていない場合があります。ファイルを圧縮するか、またはどのように圧縮するかを確認するには、コマンドラインで以下を入力します。

   $ file <name_of_downloaded_file>

5. ダウンロードしたイメージから、RHOSP CLI を使用して rhcos という名前のイメージをクラスターに作成します。

   $ openstack image create --container-format=bare --disk-format=qcow2 --file rhcos-${RHCOS_VERSION}-openstack.qcow2 rhcos

   重要

   RHOSP 環境によっては、.raw または .qcow2 形式 のいずれかでイメージをアップロードできる場合があります。Ceph を使用する場合は、.raw 形式を使用する必要があります。

   警告

   インストールプログラムが同じ名前を持つ複数のイメージを見つける場合、それらのイメージのいずれかがランダムに選択されます。この動作を回避するには、RHOSP でリソースの一意の名前を作成します。

手順

1. RHOSP CLI を使用して、'External' ネットワークの名前と ID を確認します。

   $ openstack network list --long -c ID -c Name -c "Router Type"
   
   +--------------------------------------+----------------+-------------+
   | ID                                   | Name           | Router Type |
   +--------------------------------------+----------------+-------------+
   | 148a8023-62a7-4672-b018-003462f8d7dc | public_network | External    |
   +--------------------------------------+----------------+-------------+

手順

1. clouds.yaml ファイルを作成します。

   • RHOSP ディストリビューションに Horizon Web UI が含まれる場合には、そこに clouds.yaml ファイルを生成します。

     重要

     パスワードを必ず auth フィールドに追加してください。シークレットは、clouds.yaml の 別のファイル に保持できます。

   • RHOSP ディストリビューションに Horizon Web UI が含まれない場合や Horizon を使用する必要がない場合には、このファイルを独自に作成します。clouds.yaml についての詳細は、RHOSP ドキュメントの Config files を参照してください。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: shiftstack_user
           password: XXX
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: 'devuser'
           password: XXX
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. RHOSP インストールでエンドポイント認証用に自己署名認証局 (CA) を使用する場合、以下を実行します。

   1. 認証局ファイルをマシンにコピーします。

   2. コマンドラインで以下のコマンドを実行し、マシンを認証局の信頼バンドルに追加します。

      $ sudo cp ca.crt.pem /etc/pki/ca-trust/source/anchors/
      $ sudo update-ca-trust extract

   3. cacerts キーを clouds.yaml ファイルに追加します。この値は、CA 証明書への絶対的な root 以外によるアクセスが可能なパスである必要があります。

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      ヒント

      カスタム CA 証明書を使用してインストーラーを実行した後に、cloud-provider-config キーマップの ca-cert.pem キーの値を編集して証明書を更新できます。コマンドラインで、以下を実行します。

      $ oc edit configmap -n openshift-config cloud-provider-config

3. clouds.yaml ファイルを以下の場所のいずれかに置きます。

   1. OS_CLIENT_CONFIG_FILE 環境変数の値
   2. 現行ディレクトリー
   3. Unix 固有のユーザー設定ディレクトリー (例: ~/.config/openstack/clouds.yaml)

   4. Unix 固有のサイト設定ディレクトリー (例: /etc/openstack/clouds.yaml)

      インストールプログラムはこの順序で clouds.yaml を検索します。

手順

1. install-config.yaml ファイルを作成します。

   1. 以下のコマンドを実行します。

      $ ./openshift-install create install-config --dir=<installation_directory> 1

      1

      <installation_directory> の場合、インストールプログラムが作成するファイルを保存するためにディレクトリー名を指定します。

      重要

      空のディレクトリーを指定します。ブートストラップ X.509 証明書などの一部のインストールアセットの有効期限は短く設定されているため、インストールディレクトリーを再利用することができません。別のクラスターインストールの個別のファイルを再利用する必要がある場合は、それらをディレクトリーにコピーすることができます。ただし、インストールアセットのファイル名はリリース間で変更される可能性があります。インストールファイルを以前のバージョンの OpenShift Container Platform からコピーする場合は注意してコピーを行ってください。

   2. プロンプト時に、クラウドの設定の詳細情報を指定します。

      1. オプション: クラスターマシンにアクセスするために使用する SSH キーを選択します。

         注記

         インストールのデバッグまたは障害復旧を実行する必要のある実稼働用の OpenShift Container Platform クラスターでは、ssh-agent プロセスが使用する SSH キーを指定します。

      2. ターゲットに設定するプラットフォームとして openstack を選択します。
      3. クラスターのインストールに使用する Red Hat OpenStack Platform (RHOSP) の外部ネットワーク名を指定します。
      4. OpenShift API への外部アクセスに使用する floating IP アドレスを指定します。
      5. コントロールプレーンおよびコンピュートノードに使用する 16 GB 以上の RAM で RHOSP フレーバーを指定します。
      6. クラスターをデプロイするベースドメインを選択します。すべての DNS レコードはこのベースのサブドメインとなり、クラスター名も含まれます。
      7. クラスターの名前を入力します。名前は 14 文字以下でなければなりません。
      8. Red Hat OpenShift Cluster Manager サイトの Pull Secret ページから取得したプルシークレットを貼り付けます。
2. install-config.yaml ファイルを変更します。利用可能なパラメーターの詳細については、インストール設定パラメーターセクションを参照してください。

3. install-config.yaml ファイルをバックアップし、複数のクラスターをインストールするのに使用できるようにします。

   重要

   install-config.yaml ファイルはインストールプロセス時に使用されます。このファイルを再利用する必要がある場合は、この段階でこれをバックアップしてください。

手順

1. クラスターの Kubernetes マニフェストを生成します。

   $ ./openshift-install create manifests --dir=<installation_directory> 1
   
   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings

   1

   <installation_directory> については、作成した install-config.yaml ファイルが含まれるインストールディレクトリーを指定します。

   インストールプロセスの後の部分で独自のコンピュートマシンを作成するため、この警告を無視しても問題がありません。

2. コントロールプレーンマシンおよびコンピュートマシンセットを定義する Kubernetes マニフェストファイルを削除します。

   $ rm -f openshift/99_openshift-cluster-api_master-machines-*.yaml openshift/99_openshift-cluster-api_worker-machineset-*.yaml

   これらのリソースを独自に作成および管理するため、それらを初期化する必要はありません。

   • マシンセットファイルを保存して、マシン API を使用してコンピュートマシンを作成することができますが、環境に合わせてそれらへの参照を更新する必要があります。

3. <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes マニフェストファイルを変更し、Pod がコントロールプレーンマシンにスケジュールされないようにします。

   1. <installation_directory>/manifests/cluster-scheduler-02-config.yml ファイルを開きます。
   2. mastersSchedulable パラメーターを見つけ、その値を False に設定します。
   3. ファイルを保存し、終了します。
   注記

   現時点では、Kubernetes の制限 により、コントロールプレーンマシンで実行されるルーター Pod に Ingress ロードバランサーがアクセスすることができません。この手順は、OpenShift Container Platform の今後のマイナーバージョンで不要になる可能性があります。

4. Ignition 設定ファイルを取得します。

   $ ./openshift-install create ignition-configs --dir=<installation_directory> 1

   1

   <installation_directory> については、同じインストールディレクトリーを指定します。

   以下のファイルはディレクトリーに生成されます。

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

5. メタデータファイルの infraID キーを環境変数としてエクスポートします。

   $ export INFRA_ID=$(jq -r .infraID metadata.json)

手順

1. 以下の Python スクリプトを実行します。スクリプトはブートストラップ Ignition ファイルを変更して、ホスト名および利用可能な場合は、実行時の CA 証明書ファイルを設定します。

   import base64
   import json
   import os
   
   with open('bootstrap.ign', 'r') as f:
       ignition = json.load(f)
   
   files = ignition['storage'].get('files', [])
   
   infra_id = os.environ.get('INFRA_ID', 'openshift').encode()
   hostname_b64 = base64.standard_b64encode(infra_id + b'-bootstrap\n').decode().strip()
   files.append(
   {
       'path': '/etc/hostname',
       'mode': 420,
       'contents': {
           'source': 'data:text/plain;charset=utf-8;base64,' + hostname_b64,
           'verification': {}
       },
       'filesystem': 'root',
   })
   
   ca_cert_path = os.environ.get('OS_CACERT', '')
   if ca_cert_path:
       with open(ca_cert_path, 'r') as f:
           ca_cert = f.read().encode()
           ca_cert_b64 = base64.standard_b64encode(ca_cert).decode().strip()
   
       files.append(
       {
           'path': '/opt/openshift/tls/cloud-ca-cert.pem',
           'mode': 420,
           'contents': {
               'source': 'data:text/plain;charset=utf-8;base64,' + ca_cert_b64,
               'verification': {}
           },
           'filesystem': 'root',
       })
   
   ignition['storage']['files'] = files;
   
   with open('bootstrap.ign', 'w') as f:
       json.dump(ignition, f)

2. RHOSP CLI を使用して、ブートストラップ Ignition ファイルを使用するイメージを作成します。

   $ openstack image create --disk-format=raw --container-format=bare --file bootstrap.ign <image_name>

3. イメージの詳細を取得します。

   $ openstack image show <image_name>

   file 値をメモします。これは v2/images/<image_ID>/file パターンをベースとしています。

   注記

   作成したイメージがアクティブであることを確認します。

4. イメージサービスのパブリックアドレスを取得します。

   $ openstack catalog show image

5. パブリックアドレスとイメージ file 値を組み合わせ、結果を保存場所として保存します。この場所は、<image_service_public_URL>/v2/images/<image_ID>/file パターンをベースとしています。

6. 認証トークンを生成し、トークン ID を保存します。

   $ openstack token issue -c id -f value

7. $INFRA_ID-bootstrap-ignition.json というファイルに以下のコンテンツを挿入し、独自の値に一致するようにプレースホルダーを編集します。

   {
     "ignition": {
       "config": {
         "append": [{
           "source": "<storage_url>", 1
           "verification": {},
           "httpHeaders": [{
             "name": "X-Auth-Token", 2
             "value": "<token_ID>" 3
           }]
         }]
       },
       "security": {
         "tls": {
           "certificateAuthorities": [{
             "source": "data:text/plain;charset=utf-8;base64,<base64_encoded_certificate>", 4
             "verification": {}
           }]
         }
       },
       "timeouts": {},
       "version": "2.4.0"
     },
     "networkd": {},
     "passwd": {},
     "storage": {},
     "systemd": {}
   }

   1

   ignition.config.append.source の値をブートストラップ Ignition ファイルのストレージ URL に置き換えます。

   2

   httpHeaders の name を "X-Auth-Token" に設定します。

   3

   httpHeaders の value をトークンの ID に設定します。

   4

   ブートストラップ Ignition ファイルサーバーが自己署名証明書を使用する場合は、base64 でエンコードされた証明書を含めます。

8. セカンダリー Ignition 設定ファイルを保存します。

手順

1. common.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.1 common.yaml Ansible Playbook

   - hosts: localhost
     gather_facts: no
   
     vars_files:
     - metadata.json
   
     tasks:
     - name: 'Compute resource names'
       set_fact:
         cluster_id_tag: "openshiftClusterID={{ infraID }}"
         os_network: "{{ infraID }}-network"
         os_subnet: "{{ infraID }}-nodes"
         os_router: "{{ infraID }}-external-router"
         # Port names
         os_port_api: "{{ infraID }}-api-port"
         os_port_ingress: "{{ infraID }}-ingress-port"
         os_port_bootstrap: "{{ infraID }}-bootstrap-port"
         os_port_master: "{{ infraID }}-master-port"
         os_port_worker: "{{ infraID }}-worker-port"
         # Security groups names
         os_sg_master: "{{ infraID }}-master"
         os_sg_worker: "{{ infraID }}-worker"
         # Server names
         os_bootstrap_server_name: "{{ infraID }}-bootstrap"
         os_cp_server_name: "{{ infraID }}-master"
         os_compute_server_name: "{{ infraID }}-worker"
         # Trunk names
         os_cp_trunk_name: "{{ infraID }}-master-trunk"
         os_compute_trunk_name: "{{ infraID }}-worker-trunk"
         # Subnet pool name
         subnet_pool: "{{ infraID }}-kuryr-pod-subnetpool"
         # Service network name
         os_svc_network: "{{ infraID }}-kuryr-service-network"
         # Service subnet name
         os_svc_subnet: "{{ infraID }}-kuryr-service-subnet"
         # Ignition files
         os_bootstrap_ignition: "{{ infraID }}-bootstrap-ignition.json"

2. inventory.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.2 inventory.yaml Ansible Playbook

   all:
     hosts:
       localhost:
         ansible_connection: local
         ansible_python_interpreter: "{{ansible_playbook_python}}"
   
         # User-provided values
         os_subnet_range: '10.0.0.0/16'
         os_flavor_master: 'm1.xlarge'
         os_flavor_worker: 'm1.large'
         os_image_rhcos: 'rhcos'
         os_external_network: 'external'
         # OpenShift API floating IP address
         os_api_fip: '203.0.113.23'
         # OpenShift Ingress floating IP address
         os_ingress_fip: '203.0.113.19'
         # Service subnet cidr
         svc_subnet_range: '172.30.0.0/16'
         os_svc_network_range: '172.30.0.0/15'
         # Subnet pool prefixes
         cluster_network_cidrs: '10.128.0.0/14'
         # Subnet pool prefix length
         host_prefix: '23'
         # Name of the SDN.
         # Possible values are OpenshiftSDN or Kuryr.
         os_networking_type: 'OpenshiftSDN'
   
         # Number of provisioned Control Plane nodes
         # 3 is the minimum number for a fully-functional cluster.
         os_cp_nodes_number: 3
   
         # Number of provisioned Compute nodes.
         # 3 is the minimum number for a fully-functional cluster.
         os_compute_nodes_number: 3

3. 01_security-groups.yaml というローカルファイルに以下の内容を挿入します。

   例1.3 01_security-groups.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the master security group'
       os_security_group:
         name: "{{ os_sg_master }}"
   
     - name: 'Set master security group tag'
       command:
         cmd: "openstack security group set --tag {{ cluster_id_tag }} {{ os_sg_master }} "
   
     - name: 'Create the worker security group'
       os_security_group:
         name: "{{ os_sg_worker }}"
   
     - name: 'Set worker security group tag'
       command:
         cmd: "openstack security group set --tag {{ cluster_id_tag }} {{ os_sg_worker }} "
   
     - name: 'Create master-sg rule "ICMP"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: icmp
   
     - name: 'Create master-sg rule "machine config server"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 22623
         port_range_max: 22623
   
     - name: 'Create master-sg rule "SSH"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         port_range_min: 22
         port_range_max: 22
   
     - name: 'Create master-sg rule "DNS (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         remote_ip_prefix: "{{ os_subnet_range }}"
         protocol: tcp
         port_range_min: 53
         port_range_max: 53
   
     - name: 'Create master-sg rule "DNS (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         remote_ip_prefix: "{{ os_subnet_range }}"
         protocol: udp
         port_range_min: 53
         port_range_max: 53
   
     - name: 'Create master-sg rule "mDNS"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         remote_ip_prefix: "{{ os_subnet_range }}"
         protocol: udp
         port_range_min: 5353
         port_range_max: 5353
   
     - name: 'Create master-sg rule "OpenShift API"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         port_range_min: 6443
         port_range_max: 6443
   
     - name: 'Create master-sg rule "VXLAN"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 4789
         port_range_max: 4789
   
     - name: 'Create master-sg rule "Geneve"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 6081
         port_range_max: 6081
   
     - name: 'Create master-sg rule "ovndb"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 6641
         port_range_max: 6642
   
     - name: 'Create master-sg rule "master ingress internal (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 9000
         port_range_max: 9999
   
     - name: 'Create master-sg rule "master ingress internal (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 9000
         port_range_max: 9999
   
     - name: 'Create master-sg rule "kube scheduler"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 10259
         port_range_max: 10259
   
     - name: 'Create master-sg rule "kube controller manager"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 10257
         port_range_max: 10257
   
     - name: 'Create master-sg rule "master ingress kubelet secure"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 10250
         port_range_max: 10250
   
     - name: 'Create master-sg rule "etcd"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 2379
         port_range_max: 2380
   
     - name: 'Create master-sg rule "master ingress services (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 30000
         port_range_max: 32767
   
     - name: 'Create master-sg rule "master ingress services (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 30000
         port_range_max: 32767
   
     - name: 'Create master-sg rule "VRRP"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: '112'
         remote_ip_prefix: "{{ os_subnet_range }}"
   
   
     - name: 'Create worker-sg rule "ICMP"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: icmp
   
     - name: 'Create worker-sg rule "SSH"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         port_range_min: 22
         port_range_max: 22
   
     - name: 'Create worker-sg rule "mDNS"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 5353
         port_range_max: 5353
   
     - name: 'Create worker-sg rule "Ingress HTTP"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         port_range_min: 80
         port_range_max: 80
   
     - name: 'Create worker-sg rule "Ingress HTTPS"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         port_range_min: 443
         port_range_max: 443
   
     - name: 'Create worker-sg rule "router"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 1936
         port_range_max: 1936
   
     - name: 'Create worker-sg rule "VXLAN"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 4789
         port_range_max: 4789
   
     - name: 'Create worker-sg rule "Geneve"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 6081
         port_range_max: 6081
   
     - name: 'Create worker-sg rule "worker ingress internal (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 9000
         port_range_max: 9999
   
     - name: 'Create worker-sg rule "worker ingress internal (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 9000
         port_range_max: 9999
   
     - name: 'Create worker-sg rule "worker ingress kubelet insecure"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 10250
         port_range_max: 10250
   
     - name: 'Create worker-sg rule "worker ingress services (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 30000
         port_range_max: 32767
   
     - name: 'Create worker-sg rule "worker ingress services (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 30000
         port_range_max: 32767
   
     - name: 'Create worker-sg rule "VRRP"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: '112'
         remote_ip_prefix: "{{ os_subnet_range }}"

4. 02_network.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.4 02_network.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   # netaddr
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the cluster network'
       os_network:
         name: "{{ os_network }}"
   
     - name: 'Set the cluster network tag'
       command:
         cmd: "openstack network set --tag {{ cluster_id_tag }} {{ os_network }}"
   
     - name: 'Create a subnet'
       os_subnet:
         name: "{{ os_subnet }}"
         network_name: "{{ os_network }}"
         cidr: "{{ os_subnet_range }}"
         allocation_pool_start: "{{ os_subnet_range | next_nth_usable(10) }}"
         allocation_pool_end: "{{ os_subnet_range | ipaddr('last_usable') }}"
   
     - name: 'Set the cluster subnet tag'
       command:
         cmd: "openstack subnet set --tag {{ cluster_id_tag }} {{ os_subnet }}"
   
     - name: 'Create the service network'
       os_network:
         name: "{{ os_svc_network }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'Set the service network tag'
       command:
         cmd: "openstack network set --tag {{ cluster_id_tag }} {{ os_svc_network }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'Computing facts for service subnet'
       set_fact:
         first_ip_svc_subnet_range: "{{ svc_subnet_range | ipv4('network') }}"
         last_ip_svc_subnet_range: "{{ svc_subnet_range | ipaddr('last_usable') |ipmath(1) }}"
         first_ip_os_svc_network_range: "{{ os_svc_network_range | ipv4('network') }}"
         last_ip_os_svc_network_range: "{{ os_svc_network_range | ipaddr('last_usable') |ipmath(1) }}"
         allocation_pool: ""
       when: os_networking_type == "Kuryr"
   
     - name: 'Get first part of OpenStack network'
       set_fact:
         allocation_pool: "{{ allocation_pool + '--allocation-pool start={{ first_ip_os_svc_network_range | ipmath(1) }},end={{ first_ip_svc_subnet_range |ipmath(-1) }}' }}"
       when:
       - os_networking_type == "Kuryr"
       - first_ip_svc_subnet_range != first_ip_os_svc_network_range
   
     - name: 'Get last part of OpenStack network'
       set_fact:
         allocation_pool: "{{ allocation_pool + ' --allocation-pool start={{ last_ip_svc_subnet_range | ipmath(1) }},end={{ last_ip_os_svc_network_range |ipmath(-1) }}' }}"
       when:
       - os_networking_type == "Kuryr"
       - last_ip_svc_subnet_range != last_ip_os_svc_network_range
   
     - name: 'Get end of allocation'
       set_fact:
         gateway_ip: "{{ allocation_pool.split('=')[-1] }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'replace last IP'
       set_fact:
         allocation_pool: "{{ allocation_pool | replace(gateway_ip, gateway_ip | ipmath(-1))}}"
       when: os_networking_type == "Kuryr"
   
     - name: 'list service subnet'
       command:
         cmd: "openstack subnet list --name {{ os_svc_subnet }} --tag {{ cluster_id_tag }}"
       when: os_networking_type == "Kuryr"
       register: svc_subnet
   
     - name: 'Create the service subnet'
       command:
         cmd: "openstack subnet create --ip-version 4 --gateway {{ gateway_ip }} --subnet-range {{ os_svc_network_range }} {{ allocation_pool }} --no-dhcp --network {{ os_svc_network }} --tag {{ cluster_id_tag }} {{ os_svc_subnet }}"
       when:
       - os_networking_type == "Kuryr"
       - svc_subnet.stdout == ""
   
     - name: 'list subnet pool'
       command:
         cmd: "openstack subnet pool list --name {{ subnet_pool }} --tags {{ cluster_id_tag }}"
       when: os_networking_type == "Kuryr"
       register: pods_subnet_pool
   
     - name: 'Create pods subnet pool'
       command:
         cmd: "openstack subnet pool create --default-prefix-length {{ host_prefix }} --pool-prefix {{ cluster_network_cidrs }} --tag {{ cluster_id_tag }} {{ subnet_pool }}"
       when:
       - os_networking_type == "Kuryr"
       - pods_subnet_pool.stdout == ""
   
     - name: 'Create external router'
       os_router:
         name: "{{ os_router }}"
         network: "{{ os_external_network }}"
         interfaces:
         - "{{ os_subnet }}"
   
     - name: 'Set external router tag'
       command:
         cmd: "openstack router set --tag {{ cluster_id_tag }} {{ os_router }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'Create the API port'
       os_port:
         name: "{{ os_port_api }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_master }}"
         fixed_ips:
         - subnet: "{{ os_subnet }}"
           ip_address: "{{ os_subnet_range | next_nth_usable(5) }}"
   
     - name: 'Set API port tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ os_port_api }}"
   
     - name: 'Create the Ingress port'
       os_port:
         name: "{{ os_port_ingress }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_worker }}"
         fixed_ips:
         - subnet: "{{ os_subnet }}"
           ip_address: "{{ os_subnet_range | next_nth_usable(7) }}"
   
     - name: 'Set the Ingress port tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ os_port_ingress }}"
   
     # NOTE: openstack ansible module doesn't allow attaching Floating IPs to
     # ports, let's use the CLI instead
     - name: 'Attach the API floating IP to API port'
       command:
         cmd: "openstack floating ip set --port {{ os_port_api }} {{ os_api_fip }}"
   
     # NOTE: openstack ansible module doesn't allow attaching Floating IPs to
     # ports, let's use the CLI instead
     - name: 'Attach the Ingress floating IP to Ingress port'
       command:
         cmd: "openstack floating ip set --port {{ os_port_ingress }} {{ os_ingress_fip }}"

5. コマンドラインで、最初の番号の Playbook を実行してセキュリティーグループを作成します。

   $ ansible-playbook -i inventory.yaml 01_security-groups.yaml

6. コマンドラインで、2 番目の Playbook を実行して、ネットワーク、サブネット、およびルーターを作成します。

   $ ansible-playbook -i inventory.yaml 02_network.yaml

7. オプション: Nova サーバーが使用するデフォルトのリゾルバーを制御する必要がある場合は、RHOSP CLI コマンドを実行します。

   $ openstack subnet set --dns-nameserver <server_1> --dns-nameserver <server_2> "$INFRA_ID-nodes"

手順

1. コマンドラインで、作業ディレクトリーを inventory.yaml および common.yaml ファイルの場所に変更します。

2. 03_bootstrap.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.5 03_bootstrap.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   # netaddr
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the bootstrap server port'
       os_port:
         name: "{{ os_port_bootstrap }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_master }}"
         allowed_address_pairs:
         - ip_address: "{{ os_subnet_range | next_nth_usable(5) }}"
         - ip_address: "{{ os_subnet_range | next_nth_usable(6) }}"
   
     - name: 'Set bootstrap port tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ os_port_bootstrap }}"
   
     - name: 'Create the bootstrap server'
       os_server:
         name: "{{ os_bootstrap_server_name }}"
         image: "{{ os_image_rhcos }}"
         flavor: "{{ os_flavor_master }}"
         userdata: "{{ lookup('file', os_bootstrap_ignition) | string }}"
         auto_ip: no
         nics:
         - port-name: "{{ os_port_bootstrap }}"
   
     - name: 'Create the bootstrap floating IP'
       os_floating_ip:
         state: present
         network: "{{ os_external_network }}"
         server: "{{ os_bootstrap_server_name }}"

3. コマンドラインで Playbook を実行します。

   $ ansible-playbook -i inventory.yaml 03_bootstrap.yaml

4. ブートストラップサーバーがアクティブになった後に、ログを表示し、Ignition ファイルが受信されたことを確認します。

   $ openstack console log show "$INFRA_ID-bootstrap"

手順

1. コマンドラインで、作業ディレクトリーを inventory.yaml および common.yaml ファイルの場所に変更します。
2. コントロールプレーン Ignition 設定ファイルが作業ディレクトリーにない場合、それらをここにコピーします。

3. 04_control-plane.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.6 04_control-plane.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   # netaddr
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the Control Plane ports'
       os_port:
         name: "{{ item.1 }}-{{ item.0 }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_master }}"
         allowed_address_pairs:
         - ip_address: "{{ os_subnet_range | next_nth_usable(5) }}"
         - ip_address: "{{ os_subnet_range | next_nth_usable(6) }}"
         - ip_address: "{{ os_subnet_range | next_nth_usable(7) }}"
       with_indexed_items: "{{ [os_port_master] * os_cp_nodes_number }}"
       register: ports
   
     - name: 'Set Control Plane ports tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ item.1 }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_port_master] * os_cp_nodes_number }}"
   
     - name: 'List the Control Plane Trunks'
       command:
         cmd: "openstack network trunk list"
       when: os_networking_type == "Kuryr"
       register: control_plane_trunks
   
     - name: 'Create the Control Plane trunks'
       command:
         cmd: "openstack network trunk create --parent-port {{ item.1.id }} {{ os_cp_trunk_name }}-{{ item.0 }}"
       with_indexed_items: "{{ ports.results }}"
       when:
       - os_networking_type == "Kuryr"
       - "os_cp_trunk_name|string not in control_plane_trunks.stdout"
   
     - name: 'Create the Control Plane servers'
       os_server:
         name: "{{ item.1 }}-{{ item.0 }}"
         image: "{{ os_image_rhcos }}"
         flavor: "{{ os_flavor_master }}"
         auto_ip: no
         # The ignition filename will be concatenated with the Control Plane node
         # name and its 0-indexed serial number.
         # In this case, the first node will look for this filename:
         #    "{{ infraID }}-master-0-ignition.json"
         userdata: "{{ lookup('file', [item.1, item.0, 'ignition.json'] | join('-')) | string }}"
         nics:
         - port-name: "{{ os_port_master }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_cp_server_name] * os_cp_nodes_number }}"

4. コマンドラインで Playbook を実行します。

   $ ansible-playbook -i inventory.yaml 04_control-plane.yaml

5. 以下のコマンドを実行してブートストラッププロセスをモニターします。

   $ openshift-install wait-for bootstrap-complete

   コントロールプレーンマシンが実行され、クラスターに参加していることを確認できるメッセージが表示されます。

   INFO API v1.14.6+f9b5405 up
   INFO Waiting up to 30m0s for bootstrapping to complete...
   ...
   INFO It is now safe to remove the bootstrap resources

手順

1. kubeadmin 認証情報をエクスポートします。

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory> には、インストールファイルを保存したディレクトリーへのパスを指定します。

2. エクスポートされた設定を使用して、oc コマンドを正常に実行できることを確認します。

   $ oc whoami
   system:admin

手順

1. down-03_bootstrap.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.7 down-03_bootstrap.yaml

   # Required Python packages:
   #
   # ansible
   # openstacksdk
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Remove the bootstrap server'
       os_server:
         name: "{{ os_bootstrap_server_name }}"
         state: absent
         delete_fip: yes
   
     - name: 'Remove the bootstrap server port'
       os_port:
         name: "{{ os_port_bootstrap }}"
         state: absent

2. コマンドラインで Playbook を実行します。

   $ ansible-playbook -i inventory.yaml down-03_bootstrap.yaml

手順

1. コマンドラインで、作業ディレクトリーを inventory.yaml および common.yaml ファイルの場所に変更します。

2. 05_compute-nodes.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.8 05_compute-nodes.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   # netaddr
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the Compute ports'
       os_port:
         name: "{{ item.1 }}-{{ item.0 }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_worker }}"
         allowed_address_pairs:
         - ip_address: "{{ os_subnet_range | next_nth_usable(7) }}"
       with_indexed_items: "{{ [os_port_worker] * os_compute_nodes_number }}"
       register: ports
   
     - name: 'Set Compute ports tag'
       command:
         cmd: "openstack port set --tag {{ [cluster_id_tag] }} {{ item.1 }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_port_worker] * os_compute_nodes_number }}"
   
     - name: 'List the Compute Trunks'
       command:
         cmd: "openstack network trunk list"
       when: os_networking_type == "Kuryr"
       register: compute_trunks
   
     - name: 'Create the Compute trunks'
       command:
         cmd: "openstack network trunk create --parent-port {{ item.1.id }} {{ os_compute_trunk_name }}-{{ item.0 }}"
       with_indexed_items: "{{ ports.results }}"
       when:
       - os_networking_type == "Kuryr"
       - "os_compute_trunk_name|string not in compute_trunks.stdout"
   
     - name: 'Create the Compute servers'
       os_server:
         name: "{{ item.1 }}-{{ item.0 }}"
         image: "{{ os_image_rhcos }}"
         flavor: "{{ os_flavor_worker }}"
         auto_ip: no
         userdata: "{{ lookup('file', 'worker.ign') | string }}"
         nics:
         - port-name: "{{ os_port_worker }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_compute_server_name] * os_compute_nodes_number }}"

3. コマンドラインで Playbook を実行します。

   $ ansible-playbook -i inventory.yaml 05_compute-nodes.yaml

手順

1. クラスターがマシンを認識していることを確認します。

   # oc get nodes
   
   NAME                    STATUS   ROLES    AGE   VERSION
   master-01.example.com   Ready    master   40d   v1.17.1
   master-02.example.com   Ready    master   40d   v1.17.1
   master-03.example.com   Ready    master   40d   v1.17.1
   worker-01.example.com   Ready    worker   40d   v1.17.1
   worker-02.example.com   Ready    worker   40d   v1.17.1

   出力には作成したすべてのマシンが一覧表示されます。

2. 保留中の証明書署名要求 (CSR) を確認し、クラスターに追加したそれぞれのマシンのクライアントおよびサーバー要求に Pending または Approved ステータスが表示されていることを確認します。

   $ oc get csr
   
   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   ...

   この例では、2 つのマシンがクラスターに参加しています。この一覧にはさらに多くの承認された CSR が表示される可能性があります。

3. 追加したマシンの保留中の CSR すべてが Pending ステータスになった後に CSR が承認されない場合には、クラスターマシンの CSR を承認します。

   注記

   CSR のローテーションは自動的に実行されるため、クラスターにマシンを追加後 1 時間以内に CSR を承認してください。1 時間以内に承認しない場合には、証明書のローテーションが行われ、各ノードに 3 つ以上の証明書が存在するようになります。これらの証明書すべてを承認する必要があります。最初の CSR の承認後、後続のノードクライアント CSR はクラスターの kube-controller-manger によって自動的に承認されます。kubelet 提供証明書の要求を自動的に承認する方法を実装する必要があります。

   • それらを個別に承認するには、それぞれの有効な CSR について以下のコマンドを実行します。

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> は、現行の CSR の一覧からの CSR の名前です。

   • すべての保留中の CSR を承認するには、以下のコマンドを実行します。

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

4. クライアント要求が承認されたら、クラスターに追加した各マシンのサーバー要求を確認する必要があります。

   $ oc get csr

   出力例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 残りの CSR が承認されず、それらが Pending ステータスにある場合、クラスターマシンの CSR を承認します。

   • それらを個別に承認するには、それぞれの有効な CSR について以下のコマンドを実行します。

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> は、現行の CSR の一覧からの CSR の名前です。

   • すべての保留中の CSR を承認するには、以下のコマンドを実行します。

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. すべてのクライアントおよびサーバーの CSR が承認された後に、マシンのステータスが Ready になります。以下のコマンドを実行して、これを確認します。

   $ oc get nodes

   出力例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.20.0
   master-1  Ready     master  73m  v1.20.0
   master-2  Ready     master  74m  v1.20.0
   worker-0  Ready     worker  11m  v1.20.0
   worker-1  Ready     worker  11m  v1.20.0

   注記

   サーバー CSR の承認後にマシンが Ready ステータスに移行するまでに数分の時間がかかる場合があります。

1. ポートを表示します。

   $ openstack port show <cluster name>-<clusterID>-ingress-port

2. ポートを IP アドレスに接続します。

   $ openstack floating ip set --port <ingress port ID> <apps FIP>

3. *apps. のワイルドカード A レコードを DNS ファイルに追加します。

   *.apps.<cluster name>.<base domain>  IN  A  <apps FIP>

手順

1. コマンドラインで、リポジトリーを追加します。

   $ sudo subscription-manager register # If not done already
   $ sudo subscription-manager attach --pool=$YOUR_POOLID # If not done already
   $ sudo subscription-manager repos --disable=* # If not done already
   
   $ sudo subscription-manager repos \
     --enable=rhel-8-for-x86_64-baseos-rpms \
     --enable=openstack-16-tools-for-rhel-8-x86_64-rpms \
     --enable=ansible-2.9-for-rhel-8-x86_64-rpms \
     --enable=rhel-8-for-x86_64-appstream-rpms

2. モジュールをインストールします。

   $ sudo yum install python3-openstackclient ansible python3-openstacksdk python3-netaddr

3. python コマンドが python3 を参照していることを確認します。

   $ sudo alternatives --set python /usr/bin/python3

手順

1. Red Hat OpenShift Cluster Manager サイトの Infrastructure Provider ページにアクセスします。Red Hat アカウントがある場合は、認証情報を使ってログインします。アカウントがない場合はこれを作成します。

2. 選択するインストールタイプのページに移動し、オペレーティングシステムのインストールプログラムをダウンロードし、ファイルをインストール設定ファイルを保存するディレクトリーに配置します。

   重要

   インストールプログラムは、クラスターのインストールに使用するコンピューターにいくつかのファイルを作成します。クラスターインストールの完了後は、インストールプログラムおよびインストールプログラムが作成するファイルの両方を保持する必要があります。

   重要

   インストールプログラムで作成されたファイルを削除しても、クラスターがインストール時に失敗した場合でもクラスターは削除されません。特定のクラウドプロバイダー用に記載された OpenShift Container Platform のアンインストール手順を完了して、クラスターを完全に削除する必要があります。

3. インストールプログラムを展開します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ tar xvf <installation_program>.tar.gz

4. Red Hat OpenShift Cluster Manager サイトの Pull Secret ページから、インストールプルシークレットを .txt ファイルとしてダウンロードします。このプルシークレットを使用し、OpenShift Container Platform コンポーネントのコンテナーイメージを提供する Quay.io など、組み込まれた各種の認証局によって提供されるサービスで認証できます。

手順

1. パスワードなしの認証に設定されている SSH キーがコンピューター上にない場合は、これを作成します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ ssh-keygen -t ed25519 -N '' \
       -f <path>/<file_name> 1

   1

   ~/.ssh/id_rsa などの、SSH キーのパスおよびファイル名を指定します。既存の SSH キーは上書きされるため、指定しないでください。

   このコマンドを実行すると、指定した場所にパスワードを必要としない SSH キーが生成されます。

2. ssh-agent プロセスをバックグラウンドタスクとして開始します。

   $ eval "$(ssh-agent -s)"
   
   Agent pid 31874

3. SSH プライベートキーを ssh-agent に追加します。

   $ ssh-add <path>/<file_name> 1
   
   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

   1

   ~/.ssh/id_rsa などの、SSH プライベートキーのパスおよびファイル名を指定します。

手順

1. Red Hat カスタマーポータルの 製品ダウンロードページ にログインします。

2. Version で、Red Hat Enterprise Linux (RHEL) 8 用の OpenShift Container Platform 4.4 の最新リリースを選択します。

   重要

   RHCOS イメージは OpenShift Container Platform の各リリースごとに変更されない可能性があります。インストールする OpenShift Container Platform バージョンと等しいか、それ以下のバージョンの内で最も新しいバージョンのイメージをダウンロードする必要があります。利用可能な場合は、OpenShift Container Platform バージョンに一致するイメージのバージョンを使用します。

3. Red Hat Enterprise Linux CoreOS - OpenStack Image (QCOW) をダウンロードします。

4. イメージを展開します。

   注記

   クラスターが使用する前に RHOSP イメージを圧縮解除する必要があります。ダウンロードしたファイルの名前に、.gz または .tgz などの圧縮拡張子が含まれていない場合があります。ファイルを圧縮するか、またはどのように圧縮するかを確認するには、コマンドラインで以下を入力します。

   $ file <name_of_downloaded_file>

5. ダウンロードしたイメージから、RHOSP CLI を使用して rhcos という名前のイメージをクラスターに作成します。

   $ openstack image create --container-format=bare --disk-format=qcow2 --file rhcos-${RHCOS_VERSION}-openstack.qcow2 rhcos

   重要

   RHOSP 環境によっては、.raw または .qcow2 形式 のいずれかでイメージをアップロードできる場合があります。Ceph を使用する場合は、.raw 形式を使用する必要があります。

   警告

   インストールプログラムが同じ名前を持つ複数のイメージを見つける場合、それらのイメージのいずれかがランダムに選択されます。この動作を回避するには、RHOSP でリソースの一意の名前を作成します。

手順

1. RHOSP CLI を使用して、'External' ネットワークの名前と ID を確認します。

   $ openstack network list --long -c ID -c Name -c "Router Type"
   
   +--------------------------------------+----------------+-------------+
   | ID                                   | Name           | Router Type |
   +--------------------------------------+----------------+-------------+
   | 148a8023-62a7-4672-b018-003462f8d7dc | public_network | External    |
   +--------------------------------------+----------------+-------------+

手順

1. clouds.yaml ファイルを作成します。

   • RHOSP ディストリビューションに Horizon Web UI が含まれる場合には、そこに clouds.yaml ファイルを生成します。

     重要

     パスワードを必ず auth フィールドに追加してください。シークレットは、clouds.yaml の 別のファイル に保持できます。

   • RHOSP ディストリビューションに Horizon Web UI が含まれない場合や Horizon を使用する必要がない場合には、このファイルを独自に作成します。clouds.yaml についての詳細は、RHOSP ドキュメントの Config files を参照してください。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: shiftstack_user
           password: XXX
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: 'devuser'
           password: XXX
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. RHOSP インストールでエンドポイント認証用に自己署名認証局 (CA) を使用する場合、以下を実行します。

   1. 認証局ファイルをマシンにコピーします。

   2. コマンドラインで以下のコマンドを実行し、マシンを認証局の信頼バンドルに追加します。

      $ sudo cp ca.crt.pem /etc/pki/ca-trust/source/anchors/
      $ sudo update-ca-trust extract

   3. cacerts キーを clouds.yaml ファイルに追加します。この値は、CA 証明書への絶対的な root 以外によるアクセスが可能なパスである必要があります。

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      ヒント

      カスタム CA 証明書を使用してインストーラーを実行した後に、cloud-provider-config キーマップの ca-cert.pem キーの値を編集して証明書を更新できます。コマンドラインで、以下を実行します。

      $ oc edit configmap -n openshift-config cloud-provider-config

3. clouds.yaml ファイルを以下の場所のいずれかに置きます。

   1. OS_CLIENT_CONFIG_FILE 環境変数の値
   2. 現行ディレクトリー
   3. Unix 固有のユーザー設定ディレクトリー (例: ~/.config/openstack/clouds.yaml)

   4. Unix 固有のサイト設定ディレクトリー (例: /etc/openstack/clouds.yaml)

      インストールプログラムはこの順序で clouds.yaml を検索します。

手順

1. install-config.yaml ファイルを作成します。

   1. 以下のコマンドを実行します。

      $ ./openshift-install create install-config --dir=<installation_directory> 1

      1

      <installation_directory> の場合、インストールプログラムが作成するファイルを保存するためにディレクトリー名を指定します。

      重要

      空のディレクトリーを指定します。ブートストラップ X.509 証明書などの一部のインストールアセットの有効期限は短く設定されているため、インストールディレクトリーを再利用することができません。別のクラスターインストールの個別のファイルを再利用する必要がある場合は、それらをディレクトリーにコピーすることができます。ただし、インストールアセットのファイル名はリリース間で変更される可能性があります。インストールファイルを以前のバージョンの OpenShift Container Platform からコピーする場合は注意してコピーを行ってください。

   2. プロンプト時に、クラウドの設定の詳細情報を指定します。

      1. オプション: クラスターマシンにアクセスするために使用する SSH キーを選択します。

         注記

         インストールのデバッグまたは障害復旧を実行する必要のある実稼働用の OpenShift Container Platform クラスターでは、ssh-agent プロセスが使用する SSH キーを指定します。

      2. ターゲットに設定するプラットフォームとして openstack を選択します。
      3. クラスターのインストールに使用する Red Hat OpenStack Platform (RHOSP) の外部ネットワーク名を指定します。
      4. OpenShift API への外部アクセスに使用する floating IP アドレスを指定します。
      5. コントロールプレーンおよびコンピュートノードに使用する 16 GB 以上の RAM で RHOSP フレーバーを指定します。
      6. クラスターをデプロイするベースドメインを選択します。すべての DNS レコードはこのベースのサブドメインとなり、クラスター名も含まれます。
      7. クラスターの名前を入力します。名前は 14 文字以下でなければなりません。
      8. Red Hat OpenShift Cluster Manager サイトの Pull Secret ページから取得したプルシークレットを貼り付けます。
2. install-config.yaml ファイルを変更します。利用可能なパラメーターの詳細については、インストール設定パラメーターセクションを参照してください。

3. install-config.yaml ファイルをバックアップし、複数のクラスターをインストールするのに使用できるようにします。

   重要

   install-config.yaml ファイルはインストールプロセス時に使用されます。このファイルを再利用する必要がある場合は、この段階でこれをバックアップしてください。

手順

1. クラスターの Kubernetes マニフェストを生成します。

   $ ./openshift-install create manifests --dir=<installation_directory> 1
   
   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings

   1

   <installation_directory> については、作成した install-config.yaml ファイルが含まれるインストールディレクトリーを指定します。

   インストールプロセスの後の部分で独自のコンピュートマシンを作成するため、この警告を無視しても問題がありません。

2. コントロールプレーンマシンおよびコンピュートマシンセットを定義する Kubernetes マニフェストファイルを削除します。

   $ rm -f openshift/99_openshift-cluster-api_master-machines-*.yaml openshift/99_openshift-cluster-api_worker-machineset-*.yaml

   これらのリソースを独自に作成および管理するため、それらを初期化する必要はありません。

   • マシンセットファイルを保存して、マシン API を使用してコンピュートマシンを作成することができますが、環境に合わせてそれらへの参照を更新する必要があります。

3. <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes マニフェストファイルを変更し、Pod がコントロールプレーンマシンにスケジュールされないようにします。

   1. <installation_directory>/manifests/cluster-scheduler-02-config.yml ファイルを開きます。
   2. mastersSchedulable パラメーターを見つけ、その値を False に設定します。
   3. ファイルを保存し、終了します。
   注記

   現時点では、Kubernetes の制限 により、コントロールプレーンマシンで実行されるルーター Pod に Ingress ロードバランサーがアクセスすることができません。この手順は、OpenShift Container Platform の今後のマイナーバージョンで不要になる可能性があります。

4. Ignition 設定ファイルを取得します。

   $ ./openshift-install create ignition-configs --dir=<installation_directory> 1

   1

   <installation_directory> については、同じインストールディレクトリーを指定します。

   以下のファイルはディレクトリーに生成されます。

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

5. メタデータファイルの infraID キーを環境変数としてエクスポートします。

   $ export INFRA_ID=$(jq -r .infraID metadata.json)

手順

1. 以下の Python スクリプトを実行します。スクリプトはブートストラップ Ignition ファイルを変更して、ホスト名および利用可能な場合は、実行時の CA 証明書ファイルを設定します。

   import base64
   import json
   import os
   
   with open('bootstrap.ign', 'r') as f:
       ignition = json.load(f)
   
   files = ignition['storage'].get('files', [])
   
   infra_id = os.environ.get('INFRA_ID', 'openshift').encode()
   hostname_b64 = base64.standard_b64encode(infra_id + b'-bootstrap\n').decode().strip()
   files.append(
   {
       'path': '/etc/hostname',
       'mode': 420,
       'contents': {
           'source': 'data:text/plain;charset=utf-8;base64,' + hostname_b64,
           'verification': {}
       },
       'filesystem': 'root',
   })
   
   ca_cert_path = os.environ.get('OS_CACERT', '')
   if ca_cert_path:
       with open(ca_cert_path, 'r') as f:
           ca_cert = f.read().encode()
           ca_cert_b64 = base64.standard_b64encode(ca_cert).decode().strip()
   
       files.append(
       {
           'path': '/opt/openshift/tls/cloud-ca-cert.pem',
           'mode': 420,
           'contents': {
               'source': 'data:text/plain;charset=utf-8;base64,' + ca_cert_b64,
               'verification': {}
           },
           'filesystem': 'root',
       })
   
   ignition['storage']['files'] = files;
   
   with open('bootstrap.ign', 'w') as f:
       json.dump(ignition, f)

2. RHOSP CLI を使用して、ブートストラップ Ignition ファイルを使用するイメージを作成します。

   $ openstack image create --disk-format=raw --container-format=bare --file bootstrap.ign <image_name>

3. イメージの詳細を取得します。

   $ openstack image show <image_name>

   file 値をメモします。これは v2/images/<image_ID>/file パターンをベースとしています。

   注記

   作成したイメージがアクティブであることを確認します。

4. イメージサービスのパブリックアドレスを取得します。

   $ openstack catalog show image

5. パブリックアドレスとイメージ file 値を組み合わせ、結果を保存場所として保存します。この場所は、<image_service_public_URL>/v2/images/<image_ID>/file パターンをベースとしています。

6. 認証トークンを生成し、トークン ID を保存します。

   $ openstack token issue -c id -f value

7. $INFRA_ID-bootstrap-ignition.json というファイルに以下のコンテンツを挿入し、独自の値に一致するようにプレースホルダーを編集します。

   {
     "ignition": {
       "config": {
         "append": [{
           "source": "<storage_url>", 1
           "verification": {},
           "httpHeaders": [{
             "name": "X-Auth-Token", 2
             "value": "<token_ID>" 3
           }]
         }]
       },
       "security": {
         "tls": {
           "certificateAuthorities": [{
             "source": "data:text/plain;charset=utf-8;base64,<base64_encoded_certificate>", 4
             "verification": {}
           }]
         }
       },
       "timeouts": {},
       "version": "2.4.0"
     },
     "networkd": {},
     "passwd": {},
     "storage": {},
     "systemd": {}
   }

   1

   ignition.config.append.source の値をブートストラップ Ignition ファイルのストレージ URL に置き換えます。

   2

   httpHeaders の name を "X-Auth-Token" に設定します。

   3

   httpHeaders の value をトークンの ID に設定します。

   4

   ブートストラップ Ignition ファイルサーバーが自己署名証明書を使用する場合は、base64 でエンコードされた証明書を含めます。

8. セカンダリー Ignition 設定ファイルを保存します。

手順

1. common.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.9 common.yaml Ansible Playbook

   - hosts: localhost
     gather_facts: no
   
     vars_files:
     - metadata.json
   
     tasks:
     - name: 'Compute resource names'
       set_fact:
         cluster_id_tag: "openshiftClusterID={{ infraID }}"
         os_network: "{{ infraID }}-network"
         os_subnet: "{{ infraID }}-nodes"
         os_router: "{{ infraID }}-external-router"
         # Port names
         os_port_api: "{{ infraID }}-api-port"
         os_port_ingress: "{{ infraID }}-ingress-port"
         os_port_bootstrap: "{{ infraID }}-bootstrap-port"
         os_port_master: "{{ infraID }}-master-port"
         os_port_worker: "{{ infraID }}-worker-port"
         # Security groups names
         os_sg_master: "{{ infraID }}-master"
         os_sg_worker: "{{ infraID }}-worker"
         # Server names
         os_bootstrap_server_name: "{{ infraID }}-bootstrap"
         os_cp_server_name: "{{ infraID }}-master"
         os_compute_server_name: "{{ infraID }}-worker"
         # Trunk names
         os_cp_trunk_name: "{{ infraID }}-master-trunk"
         os_compute_trunk_name: "{{ infraID }}-worker-trunk"
         # Subnet pool name
         subnet_pool: "{{ infraID }}-kuryr-pod-subnetpool"
         # Service network name
         os_svc_network: "{{ infraID }}-kuryr-service-network"
         # Service subnet name
         os_svc_subnet: "{{ infraID }}-kuryr-service-subnet"
         # Ignition files
         os_bootstrap_ignition: "{{ infraID }}-bootstrap-ignition.json"

2. inventory.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.10 inventory.yaml Ansible Playbook

   all:
     hosts:
       localhost:
         ansible_connection: local
         ansible_python_interpreter: "{{ansible_playbook_python}}"
   
         # User-provided values
         os_subnet_range: '10.0.0.0/16'
         os_flavor_master: 'm1.xlarge'
         os_flavor_worker: 'm1.large'
         os_image_rhcos: 'rhcos'
         os_external_network: 'external'
         # OpenShift API floating IP address
         os_api_fip: '203.0.113.23'
         # OpenShift Ingress floating IP address
         os_ingress_fip: '203.0.113.19'
         # Service subnet cidr
         svc_subnet_range: '172.30.0.0/16'
         os_svc_network_range: '172.30.0.0/15'
         # Subnet pool prefixes
         cluster_network_cidrs: '10.128.0.0/14'
         # Subnet pool prefix length
         host_prefix: '23'
         # Name of the SDN.
         # Possible values are OpenshiftSDN or Kuryr.
         os_networking_type: 'OpenshiftSDN'
   
         # Number of provisioned Control Plane nodes
         # 3 is the minimum number for a fully-functional cluster.
         os_cp_nodes_number: 3
   
         # Number of provisioned Compute nodes.
         # 3 is the minimum number for a fully-functional cluster.
         os_compute_nodes_number: 3

3. 01_security-groups.yaml というローカルファイルに以下の内容を挿入します。

   例1.11 01_security-groups.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the master security group'
       os_security_group:
         name: "{{ os_sg_master }}"
   
     - name: 'Set master security group tag'
       command:
         cmd: "openstack security group set --tag {{ cluster_id_tag }} {{ os_sg_master }} "
   
     - name: 'Create the worker security group'
       os_security_group:
         name: "{{ os_sg_worker }}"
   
     - name: 'Set worker security group tag'
       command:
         cmd: "openstack security group set --tag {{ cluster_id_tag }} {{ os_sg_worker }} "
   
     - name: 'Create master-sg rule "ICMP"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: icmp
   
     - name: 'Create master-sg rule "machine config server"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 22623
         port_range_max: 22623
   
     - name: 'Create master-sg rule "SSH"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         port_range_min: 22
         port_range_max: 22
   
     - name: 'Create master-sg rule "DNS (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         remote_ip_prefix: "{{ os_subnet_range }}"
         protocol: tcp
         port_range_min: 53
         port_range_max: 53
   
     - name: 'Create master-sg rule "DNS (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         remote_ip_prefix: "{{ os_subnet_range }}"
         protocol: udp
         port_range_min: 53
         port_range_max: 53
   
     - name: 'Create master-sg rule "mDNS"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         remote_ip_prefix: "{{ os_subnet_range }}"
         protocol: udp
         port_range_min: 5353
         port_range_max: 5353
   
     - name: 'Create master-sg rule "OpenShift API"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         port_range_min: 6443
         port_range_max: 6443
   
     - name: 'Create master-sg rule "VXLAN"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 4789
         port_range_max: 4789
   
     - name: 'Create master-sg rule "Geneve"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 6081
         port_range_max: 6081
   
     - name: 'Create master-sg rule "ovndb"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 6641
         port_range_max: 6642
   
     - name: 'Create master-sg rule "master ingress internal (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 9000
         port_range_max: 9999
   
     - name: 'Create master-sg rule "master ingress internal (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 9000
         port_range_max: 9999
   
     - name: 'Create master-sg rule "kube scheduler"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 10259
         port_range_max: 10259
   
     - name: 'Create master-sg rule "kube controller manager"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 10257
         port_range_max: 10257
   
     - name: 'Create master-sg rule "master ingress kubelet secure"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 10250
         port_range_max: 10250
   
     - name: 'Create master-sg rule "etcd"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 2379
         port_range_max: 2380
   
     - name: 'Create master-sg rule "master ingress services (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 30000
         port_range_max: 32767
   
     - name: 'Create master-sg rule "master ingress services (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 30000
         port_range_max: 32767
   
     - name: 'Create master-sg rule "VRRP"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: '112'
         remote_ip_prefix: "{{ os_subnet_range }}"
   
   
     - name: 'Create worker-sg rule "ICMP"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: icmp
   
     - name: 'Create worker-sg rule "SSH"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         port_range_min: 22
         port_range_max: 22
   
     - name: 'Create worker-sg rule "mDNS"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 5353
         port_range_max: 5353
   
     - name: 'Create worker-sg rule "Ingress HTTP"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         port_range_min: 80
         port_range_max: 80
   
     - name: 'Create worker-sg rule "Ingress HTTPS"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         port_range_min: 443
         port_range_max: 443
   
     - name: 'Create worker-sg rule "router"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 1936
         port_range_max: 1936
   
     - name: 'Create worker-sg rule "VXLAN"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 4789
         port_range_max: 4789
   
     - name: 'Create worker-sg rule "Geneve"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 6081
         port_range_max: 6081
   
     - name: 'Create worker-sg rule "worker ingress internal (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 9000
         port_range_max: 9999
   
     - name: 'Create worker-sg rule "worker ingress internal (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 9000
         port_range_max: 9999
   
     - name: 'Create worker-sg rule "worker ingress kubelet insecure"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 10250
         port_range_max: 10250
   
     - name: 'Create worker-sg rule "worker ingress services (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 30000
         port_range_max: 32767
   
     - name: 'Create worker-sg rule "worker ingress services (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 30000
         port_range_max: 32767
   
     - name: 'Create worker-sg rule "VRRP"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: '112'
         remote_ip_prefix: "{{ os_subnet_range }}"

4. 02_network.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.12 02_network.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   # netaddr
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the cluster network'
       os_network:
         name: "{{ os_network }}"
   
     - name: 'Set the cluster network tag'
       command:
         cmd: "openstack network set --tag {{ cluster_id_tag }} {{ os_network }}"
   
     - name: 'Create a subnet'
       os_subnet:
         name: "{{ os_subnet }}"
         network_name: "{{ os_network }}"
         cidr: "{{ os_subnet_range }}"
         allocation_pool_start: "{{ os_subnet_range | next_nth_usable(10) }}"
         allocation_pool_end: "{{ os_subnet_range | ipaddr('last_usable') }}"
   
     - name: 'Set the cluster subnet tag'
       command:
         cmd: "openstack subnet set --tag {{ cluster_id_tag }} {{ os_subnet }}"
   
     - name: 'Create the service network'
       os_network:
         name: "{{ os_svc_network }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'Set the service network tag'
       command:
         cmd: "openstack network set --tag {{ cluster_id_tag }} {{ os_svc_network }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'Computing facts for service subnet'
       set_fact:
         first_ip_svc_subnet_range: "{{ svc_subnet_range | ipv4('network') }}"
         last_ip_svc_subnet_range: "{{ svc_subnet_range | ipaddr('last_usable') |ipmath(1) }}"
         first_ip_os_svc_network_range: "{{ os_svc_network_range | ipv4('network') }}"
         last_ip_os_svc_network_range: "{{ os_svc_network_range | ipaddr('last_usable') |ipmath(1) }}"
         allocation_pool: ""
       when: os_networking_type == "Kuryr"
   
     - name: 'Get first part of OpenStack network'
       set_fact:
         allocation_pool: "{{ allocation_pool + '--allocation-pool start={{ first_ip_os_svc_network_range | ipmath(1) }},end={{ first_ip_svc_subnet_range |ipmath(-1) }}' }}"
       when:
       - os_networking_type == "Kuryr"
       - first_ip_svc_subnet_range != first_ip_os_svc_network_range
   
     - name: 'Get last part of OpenStack network'
       set_fact:
         allocation_pool: "{{ allocation_pool + ' --allocation-pool start={{ last_ip_svc_subnet_range | ipmath(1) }},end={{ last_ip_os_svc_network_range |ipmath(-1) }}' }}"
       when:
       - os_networking_type == "Kuryr"
       - last_ip_svc_subnet_range != last_ip_os_svc_network_range
   
     - name: 'Get end of allocation'
       set_fact:
         gateway_ip: "{{ allocation_pool.split('=')[-1] }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'replace last IP'
       set_fact:
         allocation_pool: "{{ allocation_pool | replace(gateway_ip, gateway_ip | ipmath(-1))}}"
       when: os_networking_type == "Kuryr"
   
     - name: 'list service subnet'
       command:
         cmd: "openstack subnet list --name {{ os_svc_subnet }} --tag {{ cluster_id_tag }}"
       when: os_networking_type == "Kuryr"
       register: svc_subnet
   
     - name: 'Create the service subnet'
       command:
         cmd: "openstack subnet create --ip-version 4 --gateway {{ gateway_ip }} --subnet-range {{ os_svc_network_range }} {{ allocation_pool }} --no-dhcp --network {{ os_svc_network }} --tag {{ cluster_id_tag }} {{ os_svc_subnet }}"
       when:
       - os_networking_type == "Kuryr"
       - svc_subnet.stdout == ""
   
     - name: 'list subnet pool'
       command:
         cmd: "openstack subnet pool list --name {{ subnet_pool }} --tags {{ cluster_id_tag }}"
       when: os_networking_type == "Kuryr"
       register: pods_subnet_pool
   
     - name: 'Create pods subnet pool'
       command:
         cmd: "openstack subnet pool create --default-prefix-length {{ host_prefix }} --pool-prefix {{ cluster_network_cidrs }} --tag {{ cluster_id_tag }} {{ subnet_pool }}"
       when:
       - os_networking_type == "Kuryr"
       - pods_subnet_pool.stdout == ""
   
     - name: 'Create external router'
       os_router:
         name: "{{ os_router }}"
         network: "{{ os_external_network }}"
         interfaces:
         - "{{ os_subnet }}"
   
     - name: 'Set external router tag'
       command:
         cmd: "openstack router set --tag {{ cluster_id_tag }} {{ os_router }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'Create the API port'
       os_port:
         name: "{{ os_port_api }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_master }}"
         fixed_ips:
         - subnet: "{{ os_subnet }}"
           ip_address: "{{ os_subnet_range | next_nth_usable(5) }}"
   
     - name: 'Set API port tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ os_port_api }}"
   
     - name: 'Create the Ingress port'
       os_port:
         name: "{{ os_port_ingress }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_worker }}"
         fixed_ips:
         - subnet: "{{ os_subnet }}"
           ip_address: "{{ os_subnet_range | next_nth_usable(7) }}"
   
     - name: 'Set the Ingress port tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ os_port_ingress }}"
   
     # NOTE: openstack ansible module doesn't allow attaching Floating IPs to
     # ports, let's use the CLI instead
     - name: 'Attach the API floating IP to API port'
       command:
         cmd: "openstack floating ip set --port {{ os_port_api }} {{ os_api_fip }}"
   
     # NOTE: openstack ansible module doesn't allow attaching Floating IPs to
     # ports, let's use the CLI instead
     - name: 'Attach the Ingress floating IP to Ingress port'
       command:
         cmd: "openstack floating ip set --port {{ os_port_ingress }} {{ os_ingress_fip }}"

5. コマンドラインで、最初の番号の Playbook を実行してセキュリティーグループを作成します。

   $ ansible-playbook -i inventory.yaml 01_security-groups.yaml

6. コマンドラインで、2 番目の Playbook を実行して、ネットワーク、サブネット、およびルーターを作成します。

   $ ansible-playbook -i inventory.yaml 02_network.yaml

7. オプション: Nova サーバーが使用するデフォルトのリゾルバーを制御する必要がある場合は、RHOSP CLI コマンドを実行します。

   $ openstack subnet set --dns-nameserver <server_1> --dns-nameserver <server_2> "$INFRA_ID-nodes"

手順

1. コマンドラインで、作業ディレクトリーを inventory.yaml および common.yaml ファイルの場所に変更します。

2. 03_bootstrap.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.13 03_bootstrap.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   # netaddr
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the bootstrap server port'
       os_port:
         name: "{{ os_port_bootstrap }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_master }}"
         allowed_address_pairs:
         - ip_address: "{{ os_subnet_range | next_nth_usable(5) }}"
         - ip_address: "{{ os_subnet_range | next_nth_usable(6) }}"
   
     - name: 'Set bootstrap port tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ os_port_bootstrap }}"
   
     - name: 'Create the bootstrap server'
       os_server:
         name: "{{ os_bootstrap_server_name }}"
         image: "{{ os_image_rhcos }}"
         flavor: "{{ os_flavor_master }}"
         userdata: "{{ lookup('file', os_bootstrap_ignition) | string }}"
         auto_ip: no
         nics:
         - port-name: "{{ os_port_bootstrap }}"
   
     - name: 'Create the bootstrap floating IP'
       os_floating_ip:
         state: present
         network: "{{ os_external_network }}"
         server: "{{ os_bootstrap_server_name }}"

3. コマンドラインで Playbook を実行します。

   $ ansible-playbook -i inventory.yaml 03_bootstrap.yaml

4. ブートストラップサーバーがアクティブになった後に、ログを表示し、Ignition ファイルが受信されたことを確認します。

   $ openstack console log show "$INFRA_ID-bootstrap"

手順

1. コマンドラインで、作業ディレクトリーを inventory.yaml および common.yaml ファイルの場所に変更します。
2. コントロールプレーン Ignition 設定ファイルが作業ディレクトリーにない場合、それらをここにコピーします。

3. 04_control-plane.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.14 04_control-plane.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   # netaddr
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the Control Plane ports'
       os_port:
         name: "{{ item.1 }}-{{ item.0 }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_master }}"
         allowed_address_pairs:
         - ip_address: "{{ os_subnet_range | next_nth_usable(5) }}"
         - ip_address: "{{ os_subnet_range | next_nth_usable(6) }}"
         - ip_address: "{{ os_subnet_range | next_nth_usable(7) }}"
       with_indexed_items: "{{ [os_port_master] * os_cp_nodes_number }}"
       register: ports
   
     - name: 'Set Control Plane ports tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ item.1 }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_port_master] * os_cp_nodes_number }}"
   
     - name: 'List the Control Plane Trunks'
       command:
         cmd: "openstack network trunk list"
       when: os_networking_type == "Kuryr"
       register: control_plane_trunks
   
     - name: 'Create the Control Plane trunks'
       command:
         cmd: "openstack network trunk create --parent-port {{ item.1.id }} {{ os_cp_trunk_name }}-{{ item.0 }}"
       with_indexed_items: "{{ ports.results }}"
       when:
       - os_networking_type == "Kuryr"
       - "os_cp_trunk_name|string not in control_plane_trunks.stdout"
   
     - name: 'Create the Control Plane servers'
       os_server:
         name: "{{ item.1 }}-{{ item.0 }}"
         image: "{{ os_image_rhcos }}"
         flavor: "{{ os_flavor_master }}"
         auto_ip: no
         # The ignition filename will be concatenated with the Control Plane node
         # name and its 0-indexed serial number.
         # In this case, the first node will look for this filename:
         #    "{{ infraID }}-master-0-ignition.json"
         userdata: "{{ lookup('file', [item.1, item.0, 'ignition.json'] | join('-')) | string }}"
         nics:
         - port-name: "{{ os_port_master }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_cp_server_name] * os_cp_nodes_number }}"

4. コマンドラインで Playbook を実行します。

   $ ansible-playbook -i inventory.yaml 04_control-plane.yaml

5. 以下のコマンドを実行してブートストラッププロセスをモニターします。

   $ openshift-install wait-for bootstrap-complete

   コントロールプレーンマシンが実行され、クラスターに参加していることを確認できるメッセージが表示されます。

   INFO API v1.14.6+f9b5405 up
   INFO Waiting up to 30m0s for bootstrapping to complete...
   ...
   INFO It is now safe to remove the bootstrap resources

手順

1. kubeadmin 認証情報をエクスポートします。

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory> には、インストールファイルを保存したディレクトリーへのパスを指定します。

2. エクスポートされた設定を使用して、oc コマンドを正常に実行できることを確認します。

   $ oc whoami
   system:admin

手順

1. down-03_bootstrap.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.15 down-03_bootstrap.yaml

   # Required Python packages:
   #
   # ansible
   # openstacksdk
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Remove the bootstrap server'
       os_server:
         name: "{{ os_bootstrap_server_name }}"
         state: absent
         delete_fip: yes
   
     - name: 'Remove the bootstrap server port'
       os_port:
         name: "{{ os_port_bootstrap }}"
         state: absent

2. コマンドラインで Playbook を実行します。

   $ ansible-playbook -i inventory.yaml down-03_bootstrap.yaml

手順

1. コマンドラインで、作業ディレクトリーを inventory.yaml および common.yaml ファイルの場所に変更します。

2. 05_compute-nodes.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.16 05_compute-nodes.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   # netaddr
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the Compute ports'
       os_port:
         name: "{{ item.1 }}-{{ item.0 }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_worker }}"
         allowed_address_pairs:
         - ip_address: "{{ os_subnet_range | next_nth_usable(7) }}"
       with_indexed_items: "{{ [os_port_worker] * os_compute_nodes_number }}"
       register: ports
   
     - name: 'Set Compute ports tag'
       command:
         cmd: "openstack port set --tag {{ [cluster_id_tag] }} {{ item.1 }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_port_worker] * os_compute_nodes_number }}"
   
     - name: 'List the Compute Trunks'
       command:
         cmd: "openstack network trunk list"
       when: os_networking_type == "Kuryr"
       register: compute_trunks
   
     - name: 'Create the Compute trunks'
       command:
         cmd: "openstack network trunk create --parent-port {{ item.1.id }} {{ os_compute_trunk_name }}-{{ item.0 }}"
       with_indexed_items: "{{ ports.results }}"
       when:
       - os_networking_type == "Kuryr"
       - "os_compute_trunk_name|string not in compute_trunks.stdout"
   
     - name: 'Create the Compute servers'
       os_server:
         name: "{{ item.1 }}-{{ item.0 }}"
         image: "{{ os_image_rhcos }}"
         flavor: "{{ os_flavor_worker }}"
         auto_ip: no
         userdata: "{{ lookup('file', 'worker.ign') | string }}"
         nics:
         - port-name: "{{ os_port_worker }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_compute_server_name] * os_compute_nodes_number }}"

3. コマンドラインで Playbook を実行します。

   $ ansible-playbook -i inventory.yaml 05_compute-nodes.yaml

手順

1. クラスターがマシンを認識していることを確認します。

   # oc get nodes
   
   NAME                    STATUS   ROLES    AGE   VERSION
   master-01.example.com   Ready    master   40d   v1.17.1
   master-02.example.com   Ready    master   40d   v1.17.1
   master-03.example.com   Ready    master   40d   v1.17.1
   worker-01.example.com   Ready    worker   40d   v1.17.1
   worker-02.example.com   Ready    worker   40d   v1.17.1

   出力には作成したすべてのマシンが一覧表示されます。

2. 保留中の証明書署名要求 (CSR) を確認し、クラスターに追加したそれぞれのマシンのクライアントおよびサーバー要求に Pending または Approved ステータスが表示されていることを確認します。

   $ oc get csr
   
   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   ...

   この例では、2 つのマシンがクラスターに参加しています。この一覧にはさらに多くの承認された CSR が表示される可能性があります。

3. 追加したマシンの保留中の CSR すべてが Pending ステータスになった後に CSR が承認されない場合には、クラスターマシンの CSR を承認します。

   注記

   CSR のローテーションは自動的に実行されるため、クラスターにマシンを追加後 1 時間以内に CSR を承認してください。1 時間以内に承認しない場合には、証明書のローテーションが行われ、各ノードに 3 つ以上の証明書が存在するようになります。これらの証明書すべてを承認する必要があります。最初の CSR の承認後、後続のノードクライアント CSR はクラスターの kube-controller-manger によって自動的に承認されます。kubelet 提供証明書の要求を自動的に承認する方法を実装する必要があります。

   • それらを個別に承認するには、それぞれの有効な CSR について以下のコマンドを実行します。

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> は、現行の CSR の一覧からの CSR の名前です。

   • すべての保留中の CSR を承認するには、以下のコマンドを実行します。

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

4. クライアント要求が承認されたら、クラスターに追加した各マシンのサーバー要求を確認する必要があります。

   $ oc get csr

   出力例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 残りの CSR が承認されず、それらが Pending ステータスにある場合、クラスターマシンの CSR を承認します。

   • それらを個別に承認するには、それぞれの有効な CSR について以下のコマンドを実行します。

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> は、現行の CSR の一覧からの CSR の名前です。

   • すべての保留中の CSR を承認するには、以下のコマンドを実行します。

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. すべてのクライアントおよびサーバーの CSR が承認された後に、マシンのステータスが Ready になります。以下のコマンドを実行して、これを確認します。

   $ oc get nodes

   出力例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.20.0
   master-1  Ready     master  73m  v1.20.0
   master-2  Ready     master  74m  v1.20.0
   worker-0  Ready     worker  11m  v1.20.0
   worker-1  Ready     worker  11m  v1.20.0

   注記

   サーバー CSR の承認後にマシンが Ready ステータスに移行するまでに数分の時間がかかる場合があります。

1. ポートを表示します。

   $ openstack port show <cluster name>-<clusterID>-ingress-port

2. ポートを IP アドレスに接続します。

   $ openstack floating ip set --port <ingress port ID> <apps FIP>

3. *apps. のワイルドカード A レコードを DNS ファイルに追加します。

   *.apps.<cluster name>.<base domain>  IN  A  <apps FIP>

手順

1. クラスターをインストールするために使用したコンピューターから、以下のコマンドを実行します。

   $ ./openshift-install destroy cluster \
   --dir=<installation_directory> --log-level=info 1 2

   1

   <installation_directory> には、インストールファイルを保存したディレクトリーへのパスを指定します。

   2

   異なる詳細情報を表示するには、 info ではなく、warn、debug、または error を指定します。

   注記

   クラスターのクラスター定義ファイルが含まれるディレクトリーを指定する必要があります。クラスターを削除するには、インストールプログラムでこのディレクトリーにある metadata.json ファイルが必要になります。

2. オプション: <installation_directory> ディレクトリーおよび OpenShift Container Platform インストールプログラムを削除します。

手順

1. コマンドラインで、リポジトリーを追加します。

   $ sudo subscription-manager register # If not done already
   $ sudo subscription-manager attach --pool=$YOUR_POOLID # If not done already
   $ sudo subscription-manager repos --disable=* # If not done already
   
   $ sudo subscription-manager repos \
     --enable=rhel-8-for-x86_64-baseos-rpms \
     --enable=openstack-16-tools-for-rhel-8-x86_64-rpms \
     --enable=ansible-2.9-for-rhel-8-x86_64-rpms \
     --enable=rhel-8-for-x86_64-appstream-rpms

2. モジュールをインストールします。

   $ sudo yum install python3-openstackclient ansible python3-openstacksdk

3. python コマンドが python3 を参照していることを確認します。

   $ sudo alternatives --set python /usr/bin/python3

1. common.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.17 common.yaml Ansible Playbook

   - hosts: localhost
     gather_facts: no
   
     vars_files:
     - metadata.json
   
     tasks:
     - name: 'Compute resource names'
       set_fact:
         cluster_id_tag: "openshiftClusterID={{ infraID }}"
         os_network: "{{ infraID }}-network"
         os_subnet: "{{ infraID }}-nodes"
         os_router: "{{ infraID }}-external-router"
         # Port names
         os_port_api: "{{ infraID }}-api-port"
         os_port_ingress: "{{ infraID }}-ingress-port"
         os_port_bootstrap: "{{ infraID }}-bootstrap-port"
         os_port_master: "{{ infraID }}-master-port"
         os_port_worker: "{{ infraID }}-worker-port"
         # Security groups names
         os_sg_master: "{{ infraID }}-master"
         os_sg_worker: "{{ infraID }}-worker"
         # Server names
         os_bootstrap_server_name: "{{ infraID }}-bootstrap"
         os_cp_server_name: "{{ infraID }}-master"
         os_compute_server_name: "{{ infraID }}-worker"
         # Trunk names
         os_cp_trunk_name: "{{ infraID }}-master-trunk"
         os_compute_trunk_name: "{{ infraID }}-worker-trunk"
         # Subnet pool name
         subnet_pool: "{{ infraID }}-kuryr-pod-subnetpool"
         # Service network name
         os_svc_network: "{{ infraID }}-kuryr-service-network"
         # Service subnet name
         os_svc_subnet: "{{ infraID }}-kuryr-service-subnet"
         # Ignition files
         os_bootstrap_ignition: "{{ infraID }}-bootstrap-ignition.json"

2. inventory.yaml というローカルファイルに以下のコンテンツを挿入し、独自の値に一致するように値を編集します。

   例1.18 inventory.yaml Ansible Playbook

   all:
     hosts:
       localhost:
         ansible_connection: local
         ansible_python_interpreter: "{{ansible_playbook_python}}"
   
         # User-provided values
         os_subnet_range: '10.0.0.0/16'
         os_flavor_master: 'm1.xlarge'
         os_flavor_worker: 'm1.large'
         os_image_rhcos: 'rhcos'
         os_external_network: 'external'
         # OpenShift API floating IP address
         os_api_fip: '203.0.113.23'
         # OpenShift Ingress floating IP address
         os_ingress_fip: '203.0.113.19'
         # Service subnet cidr
         svc_subnet_range: '172.30.0.0/16'
         os_svc_network_range: '172.30.0.0/15'
         # Subnet pool prefixes
         cluster_network_cidrs: '10.128.0.0/14'
         # Subnet pool prefix length
         host_prefix: '23'
         # Name of the SDN.
         # Possible values are OpenshiftSDN or Kuryr.
         os_networking_type: 'OpenshiftSDN'
   
         # Number of provisioned Control Plane nodes
         # 3 is the minimum number for a fully-functional cluster.
         os_cp_nodes_number: 3
   
         # Number of provisioned Compute nodes.
         # 3 is the minimum number for a fully-functional cluster.
         os_compute_nodes_number: 3

3. オプション: クラスターで Kuryr を使用する場合は、down-06_load-balancers.yaml というローカルファイルに以下のコンテンツを挿入します。

   例1.19 down-06_load-balancers.yaml

   # Required Python packages:
   #
   # ansible
   # openstackcli
   # openstacksdk
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Get a token for creating the server group'
       os_auth:
       register: cloud
       when: os_networking_type == "Kuryr"
   
     - name: 'List octavia versions'
       uri:
         method: GET
         headers:
           X-Auth-Token: "{{ cloud.ansible_facts.auth_token }}"
           Content-Type: 'application/json'
         url: "{{ cloud.ansible_facts.service_catalog | selectattr('name', 'match', 'octavia') | first | json_query('endpoints') | selectattr('interface', 'match', 'public') | first | json_query('url') }}/"
       register: octavia_versions
       when: os_networking_type == "Kuryr"
   
     - set_fact:
         versions: "{{ octavia_versions.json.versions | selectattr('id', 'match', 'v2.5') | map(attribute='id') | list }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'List tagged loadbalancers'
       uri:
         method: GET
         headers:
           X-Auth-Token: "{{ cloud.ansible_facts.auth_token }}"
         url: "{{ cloud.ansible_facts.service_catalog | selectattr('name', 'match', 'octavia') | first | json_query('endpoints') | selectattr('interface', 'match', 'public') | first | json_query('url') }}/v2.0/lbaas/loadbalancers?tags={{cluster_id_tag}}"
       when:
       - os_networking_type == "Kuryr"
       - versions | length > 0
       register: lbs_tagged
   
     # NOTE: Kuryr creates an Octavia load balancer
     # for each service present on the cluster. Let's make
     # sure to remove the resources generated.
     - name: 'Remove the cluster load balancers'
       command:
         cmd: "openstack loadbalancer delete --cascade {{ item.id }}"
       with_items: "{{ lbs_tagged.json.loadbalancers }}"
       when:
       - os_networking_type == "Kuryr"
       - versions | length > 0
       - '"PENDING" not in item.provisioning_status'
   
     - name: 'List loadbalancers tagged on description'
       uri:
         method: GET
         headers:
           X-Auth-Token: "{{ cloud.ansible_facts.auth_token }}"
         url: "{{ cloud.ansible_facts.service_catalog | selectattr('name', 'match', 'octavia') | first | json_query('endpoints') | selectattr('interface', 'match', 'public') | first | json_query('url') }}/v2.0/lbaas/loadbalancers?description={{cluster_id_tag}}"
       when:
       - os_networking_type == "Kuryr"
       - versions | length == 0
       register: lbs_description
   
     # NOTE: Kuryr creates an Octavia load balancer
     # for each service present on the cluster. Let's make
     # sure to remove the resources generated.
     - name: 'Remove the cluster load balancers'
       command:
         cmd: "openstack loadbalancer delete --cascade {{ item.id }}"
       with_items: "{{ lbs_description.json.loadbalancers }}"
       when:
       - os_networking_type == "Kuryr"
       - versions | length == 0
       - '"PENDING" not in item.provisioning_status'

4. down-05_compute-nodes.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.20 down-05_compute-nodes.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Remove the Compute servers'
       os_server:
         name: "{{ item.1 }}-{{ item.0 }}"
         state: absent
       with_indexed_items: "{{ [os_compute_server_name] * os_compute_nodes_number }}"
   
     - name: 'List the Compute trunks'
       command:
         cmd: "openstack network trunk list -c Name -f value"
       when: os_networking_type == "Kuryr"
       register: trunks
   
     - name: 'Remove the Compute trunks'
       command:
         cmd: "openstack network trunk delete {{ item.1 }}-{{ item.0 }}"
       when:
       - os_networking_type == "Kuryr"
       - (item.1|string + '-' + item.0|string) in trunks.stdout_lines|list
       with_indexed_items: "{{ [os_compute_trunk_name] * os_compute_nodes_number }}"
   
     - name: 'Remove the Compute ports'
       os_port:
         name: "{{ item.1 }}-{{ item.0 }}"
         state: absent
       with_indexed_items: "{{ [os_port_worker] * os_compute_nodes_number }}"

5. down-04_control-plane.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.21 down-04_control-plane.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Remove the Control Plane servers'
       os_server:
         name: "{{ item.1 }}-{{ item.0 }}"
         state: absent
       with_indexed_items: "{{ [os_cp_server_name] * os_cp_nodes_number }}"
   
     - name: 'List the Compute trunks'
       command:
         cmd: "openstack network trunk list -c Name -f value"
       when: os_networking_type == "Kuryr"
       register: trunks
   
     - name: 'Remove the Control Plane trunks'
       command:
         cmd: "openstack network trunk delete {{ item.1 }}-{{ item.0 }}"
       when:
       - os_networking_type == "Kuryr"
       - (item.1|string + '-' + item.0|string) in trunks.stdout_lines|list
       with_indexed_items: "{{ [os_cp_trunk_name] * os_cp_nodes_number }}"
   
     - name: 'Remove the Control Plane ports'
       os_port:
         name: "{{ item.1 }}-{{ item.0 }}"
         state: absent
       with_indexed_items: "{{ [os_port_master] * os_cp_nodes_number }}"

6. down-03_bootstrap.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.22 down-03_bootstrap.yaml

   # Required Python packages:
   #
   # ansible
   # openstacksdk
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Remove the bootstrap server'
       os_server:
         name: "{{ os_bootstrap_server_name }}"
         state: absent
         delete_fip: yes
   
     - name: 'Remove the bootstrap server port'
       os_port:
         name: "{{ os_port_bootstrap }}"
         state: absent

7. down-02_network.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.23 down-02_network.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'List ports attatched to router'
       command:
         cmd: "openstack port list --device-owner=network:router_interface --tags {{ cluster_id_tag }} -f value -c id"
       register: router_ports
   
     - name: 'Remove the ports from router'
       command:
         cmd: "openstack router remove port {{ os_router }} {{ item.1}}"
       with_indexed_items: "{{ router_ports.stdout_lines }}"
   
     - name: 'List ha ports attached to router'
       command:
         cmd: "openstack port list --device-owner=network:ha_router_replicated_interface --tags {{ cluster_id_tag }} -f value -c id"
       register: ha_router_ports
   
     - name: 'Remove the ha ports from router'
       command:
         cmd: "openstack router remove port {{ os_router }} {{ item.1}}"
       with_indexed_items: "{{ ha_router_ports.stdout_lines }}"
   
     - name: 'List ports'
       command:
         cmd: "openstack port list --tags {{ cluster_id_tag }} -f value -c id "
       register: ports
   
     - name: 'Remove the cluster ports'
       command:
         cmd: "openstack port delete {{ item.1}}"
       with_indexed_items: "{{ ports.stdout_lines }}"
   
     - name: 'Remove the cluster router'
       os_router:
         name: "{{ os_router }}"
         state: absent
   
     - name: 'List cluster networks'
       command:
         cmd: "openstack network list --tags {{ cluster_id_tag }} -f value -c Name"
       register: networks
   
     - name: 'Remove the cluster networks'
       os_network:
         name: "{{ item.1}}"
         state: absent
       with_indexed_items: "{{ networks.stdout_lines }}"
   
     - name: 'List the cluster subnet pool'
       command:
         cmd: "openstack subnet pool list --name {{ subnet_pool }}"
       when: os_networking_type == "Kuryr"
       register: pods_subnet_pool
   
     - name: 'Remove the cluster subnet pool'
       command:
         cmd: "openstack subnet pool delete {{ subnet_pool }}"
       when:
       - os_networking_type == "Kuryr"
       - pods_subnet_pool.stdout != ""

8. down-01_security-groups.yaml というローカルファイルに、以下のコンテンツを挿入します。

   例1.24 down-01_security-groups.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'List security groups'
       command:
         cmd: "openstack security group list --tags {{ cluster_id_tag }} -f value -c ID"
       register: security_groups
   
     - name: 'Remove the cluster security groups'
       command:
         cmd: "openstack security group delete {{ item.1 }}"
       with_indexed_items: "{{ security_groups.stdout_lines }}"

9. コマンドラインで、作成した Playbook を実行します。

   $ ansible-playbook -i inventory.yaml  \
   	down-03_bootstrap.yaml      \
   	down-04_control-plane.yaml  \
   	down-05_compute-nodes.yaml  \
   	down-06_load-balancers.yaml \
   	down-02_network.yaml        \
   	down-01_security-groups.yaml

10. OpenShift Container Platform インストールに対して加えた DNS レコードの変更を削除します。