シナリオテストは、サービス間の統合ポイントをテストする一般的なエンドユーザーアクションワークフローをシミュレートします。テストフレームワークは、設定を実施し、サービス間の統合をテストしてから、自動的に削除されます。テストに関連するサービスでテストにタグを付け、テストが使用するクライアントライブラリーを明確にします。

シナリオは、以下のようなユースケースに基づいています。

API テストは、OpenStack API を検証します。テストは、OpenStack API の OpenStack Integration Test Suite 実装を使用します。有効な JSON と無効な JSON の両方を使用すると、エラーの応答が有効であることを確認できます。テストを個別に実行し、以前のテスト状態に依存する必要はありません。

stack ユーザーのホームディレクトリーにある undercloud.conf ファイルを編集します。enable_tempest パラメーターが true に設定されていることを確認します。

enable_tempest = true

アンダークラウドがすでにインストールされている場合は、undercloud.conf ファイルを編集してから openstack undercloud install コマンドを実行し、アンダークラウドに追加設定を含めることができます。

$ openstack undercloud upgrade

これで、「OpenStack Integration Test Suite パッケージのインストール」 に記載されている tempest パッケージおよびプラグインをインストールできるようになりました。

OpenStack Integration Test Suite を実行するには、最初に必要なパッケージをインストールし、さまざまな OpenStack サービスやその他のテスト動作スイッチの場所を Integration Test Suite に通知する設定ファイルを作成する必要があります。

OpenStack Integration Test Suite をインストールするには、以下のネットワークが Red Hat OpenStack Platform 環境内で利用可能である必要があります。

これらのネットワークはルーター経由で接続されている必要があります。

プライベートネットワークを作成します。ネットワークデプロイメントに従って、以下のオプションを指定します。

$ openstack network create <network_name> --share
$ openstack subnet create <subnet_name> --subnet-range <address/prefix> \
  --network <network_name>
$ openstack router create <router_name>
$ openstack router add subnet <router_name> <subnet_name>

パブリックネットワークを作成します。ネットワークデプロイメントに従って、以下のオプションを指定します。

$ openstack network create <network_name> --external \
  --provider-network-type flat
$ openstack subnet create <subnet_name> --subnet-range <address/prefix> \
  --gateway <default_gateway> --no-dhcp --network <network_name>
$ openstack router set <router_name> --external-gateway <public_network_name>

これで、tempest 仮想マシン内に OpenStack Integration Test Suite をインストールおよび設定する準備が整いました。詳細は、「OpenStack Integration Test Suite パッケージのインストール」 を参照してください。

アンダークラウドのリージョン名を検証するには、以下のコマンドを実行します。

$ source stackrc
$ openstack region list

オーバークラウドのリージョン名を検証するには、以下のコマンドを実行します。

$ source overcloudrc
$ openstack region list

discover-tempest-config コマンドは、tempest.conf ファイルを自動的に生成します。ただし、tempest.conf ファイルが環境の設定に対応していることを確認する必要があります。

$ openstack extension list [--network] [--compute] [--volume] [--identity]

[service_available]
heat_plugin = True

[heat_plugin]
username = demo
password = ***
project_name = demo
admin_username = admin
admin_password = ****
admin_project_name = admin
auth_url = http://10.0.0.110:5000//v3
auth_version = 3
user_domain_id = default
project_domain_id = default
user_domain_name = Default
project_domain_name = Default
region = regionOne
instance_type = m1.nano
minimal_instance_type = m1.micro
image_ref = 7faed41e-a56c-4971-bf48-24e4e23e69a5
minimal_image_ref = 7faed41e-a56c-4971-bf48-24e4e23e69a5

$ openstack role add --user demo --project demo '_member_'

現在の tempest 設定を検証します。

# tempest verify-config -o <output>

output は、Tempest が更新された設定を書き込む出力ファイルです。これは、元の設定ファイルとは異なります。

ログファイルのデフォルトの場所は、tempest ワークスペース内の logs ディレクトリーです。

このディレクトリーを変更するには、tempest.conf の [DEFAULT] セクションの下にある log_dir を目的のディレクトリーに設定します。

[DEFAULT]
log_dir = <directory>

tempest.conf に独自のロギング設定ファイルを使用している場合は、使用しているファイルの [DEFAULT] セクションの下に log_config_append を設定します。

[DEFAULT]
log_config_append = <file>

log_config_append 属性を設定すると、Tempest は log_dir 属性を含む tempest.conf の他のすべてのロギング設定を無視します。

OpenStack Integration Test Suite は、API マイクロバージョンをテストする安定したインターフェイスを提供します。このセクションは、これらのインターフェイスを使用してマイクロバージョンテストを実装する方法を説明します。

まず、tempest.conf 設定ファイルでオプションを設定し、ターゲットマイクロバージョンを指定する必要があります。サポートされているマイクロバージョンが OpenStack クラウドで使用されているマイクロバージョンに対応するように、これらのオプションを設定します。単一の Integration Test Suite 操作で複数のマイクロバージョンテストを実行するターゲットマイクロバージョンの範囲を指定できます。

たとえば、設定ファイルの [compute] セクションで、compute サービスのマイクロバージョンの範囲を制限するには、min_microversion および max_microversion パラメーターに値を割り当てます。

[compute]
min_microversion = 2.14
max_microversion = latest

--list-tests または -l オプションのいずれかを指定して tempest-run コマンドを実行し、利用可能な tempest テストの一覧を取得します。

# tempest run -l

smoke テスト は、最も重要な機能のみを対象とした予備的なテストの種類です。これらのテストは包括的ではありませんが、smoke テストの実行で問題が特定できれば時間を節約できます。

# tempest run --smoke

ホワイトリストファイルは、追加するテストを選択する正規表現が含まれるファイルです。正規表現は改行で区切られます。

--whitelist-file または -w オプションのいずれかを指定して tempest run コマンドを実行し、ホワイトリストファイルを使用します。

# tempest run -w <whitelist_file>

ブラックリストファイルは、除外するテストを選択する正規表現が含まれるファイルです。正規表現は改行で区切られます。

--blacklist-file または -b オプションのいずれかを指定して tempest run コマンドを実行し、ブラックリストファイルを使用します。

# tempest run -b <blacklist_file>

テストを順次実行します。

# tempest run --serial

テストを並行して実行します。並列テストがデフォルトです。

# tempest run --parallel

--concurrency または -c オプションを使用して、テストを並行して実行する時に使用するワーカーの数を指定します。

# tempest run --concurrency <workers>

デフォルトでは、Integration Test Suite は利用可能な CPU ごとに 1 つのワーカーを使用します。

--regex 正規表現オプションを使用して、特定のテストを実行します。正規表現は Python 正規表現である必要があります。

# tempest run --regex <regex>

たとえば、以下の例に示すコマンドを使用して、tempest.scenario で始まる名前のテストをすべて実行します。

# tempest run --regex ^tempest.scenario

tempest コンテナーをダウンロードし、設定するには、以下の手順を実行します。

コンテナーは tempest.conf ファイルを生成または取得して、テストを実行します。これらの操作は、コンテナー外部から実行できます。

最初に、保存された状態を初期化する必要があります。これにより、ファイル saved_state.json が作成されます。これにより、保持される必要があるオブジェクトをクリーンアップが削除できなくなります。通常、tempest の実行前に --init-saved-state でクリーンアップを実行します。そうでない場合は、クリーンアップでオブジェクトを削除するオブジェクトを削除するには、saved_state.json を編集する必要があります。

# tempest cleanup --init-saved-state

クリーンアップを実行します。

# tempest cleanup

tempest cleanup コマンドは tempest リソースを削除しますが、プロジェクトや tempest の管理者アカウントは削除しません。

実際のクリーンアップを実行する前にドライランを実行することが推奨されます。ドライランでは、クリーンアップによって削除されるファイルが一覧表示されますが、ファイルは削除されません。ファイルは dry_run.json ファイルに一覧表示されます。dry_run.json ファイルをチェックして、クリーンアップにより環境に必要なファイルが削除されないようにします。

# tempest cleanup --dry-run

次のコマンドを実行して、プロジェクトを含むすべての tempest リソースを削除しますが、tempest 管理者アカウントは削除しません。

# tempest cleanup --delete-tempest-conf-objects