シナリオテストは、標準的なエンドユーザーのアクションワークフローをシミュレーションして、サービス間の統合ポイントをテストします。テストフレームワークは、設定、テスト、サービス間の統合を実行した後に解体されます。テストは、関連するサービスでタグ付けして、テストが使用するクライアントライブラリーを明確化すべきです。

シナリオはユースケースに基づいています。以下に例を示します。

API テストは、OpenStack API を検証します。このテストは、OpenStack API の OpenStack Integration Test Suite 実装を使用します。有効な JSON と無効な JSON の両方を使用してエラーの応答が有効であることを確認することができます。テストは個別に実行することが可能で、前回のテストで残された状態には依存しません。

stack ユーザーのホームディレクトリーにある undercloud.conf ファイルを編集します。デフォルトでは、enable_tempest は false に設定されています。この値を true に変更します。

enable_tempest = true

これで、「OpenStack Integration Test Suite パッケージのインストール」に記載の tempest パッケージとプラグインをインストールする準備が整いました。

OpenStack Integration Test Suite を実行するには、まず必要なパッケージをインストールして、Integration Test Suite に対してさまざまな OpenStack サービスやその他の動作スイッチの場所を示す設定ファイルを作成します。

コントローラーノードで、root ユーザーとして tempest という名前の仮想マシンを作成します。このマシンは、Red Hat Enterprise Linux 7.3 以上のバージョンを実行している必要があります。また、クラウドにアクセス可能でなければなりませんが、必ずしもクラウドの一部である必要はありません。詳しい情報は、「Virt-Manager を使用したゲストの作成」を参照してください。

また、OpenStack Integration Test Suite をインストールする前には、Red Hat OpenStack Platform 環境内に次のネットワークが設定されている必要があります。

これらのネットワークは、1 つのルーターを介して接続されている必要があります。

プライベートネットワークを作成します。

$ openstack network create _<network_name>_ --share
$ openstack subnet create _<subnet_name>_ --subnet-range _<address/prefix>_
$ openstack router create _<router_name>_
$ openstack router add subnet _<router_name>_ _<subnet_name>_

パブリックネットワークを作成します。

$ openstack network create _<network_name>_ --external \
  --provider-network-type flat
$ openstack subnet create _<subnet_name>_ --subnet-range _<address/prefix>_ \
  --gateway _<default_gateway>_ --no-dhcp --network _<network_name>_
$ openstack router set _<router_name>_ --external_gateway _<public_network_name>_

これで、OpenStack Integration Test Suite を tempest 仮想マシン内にインストールおよび設定する準備が整いました。詳しい情報は、「OpenStack Integration Test Suite パッケージのインストール」を参照してください。

現在の tempest の設定を確認します。

# tempest verify-config -o _<output>_

output は、更新した設定を書き込むための出力ファイルです。これは、元の設定ファイルとは異なります。

ログファイルのデフォルトの場所は、tempest ワークプレース内の logs ディレクトリーです。

このディレクトリーを変更するには、tempest.conf の [DEFAULT] セクション下で、log_dir を必要なディレクトリーに設定します。

[DEFAULT]
log_dir = _<directory>_

独自のログ設定ファイルがある場合には、tempest.conf の [DEFAULT] セクション下で log_config_append をそのファイルに指定します。

[DEFAULT]
log_config_append = _<file>_

このパラメーターが設定されている場合には、log_dir を含む、tempest.conf 内のその他のログ設定はすべて無視されます。

OpenStack Integration Test Suite は、API マイクロバージョンをテストする安定性のあるインターフェースを提供します。以下のセクションは、これらのインターフェースを使用してマイクロバージョンテストの実装方法を説明します。

まず最初に、tempest.conf 設定ファイルのオプションを設定して、ターゲットのマイクロバージョンを指定する必要があります。これは、サポートされているマイクロバージョンが OpenStack 使用されているマイクロバージョンと必ず一致するようにするためです。ターゲットバージョンの範囲を指定すると、Integration Test Suite の 1 回の操作で複数のマイクロバージョンテストを実行することが可能です。

たとえば、 compute サービスのマイクロバージョンの範囲を限定するには、設定ファイルの [compute] セクションで min_microversion および max_microversion パラメーターの値を割り当てます。

[compute]
min_microversion = 2.14
max_microversion = latest

スモークテストとは、最も重要な機能のみを対象とする事前テストの一種です。スモークテストは包括的ではありませんが、実行して問題が検出された場合には、時間を節約できます。

スモークテストを実行するには、以下のコマンドを実行します。

# ostestr '.*smoke'

ホワイトリストファイルは、含めるテストを選択するための正規表現が記載されたファイルです。正規表現は、改行で区切ります。

# ostestr --whitelist-file _<whitelist_file>_

または

# ostestr -w _<whitelist_file>_

ブラックリストファイルは、除外するテストを選択するための正規表現が記載されたファイルです。正規表現は、改行で区切ります。

ブラックリストファイルを使用するには、以下のコマンドを実行します。

# ostestr --blacklist-file _<blacklist_file>_

または

# ostestr -b _<blacklist_file>_

テストを順次に実行するには、以下のコマンドを実行します。

# ostestr --serial

複数のテストを同時に実行するには (これがデフォルトです)、以下のコマンドを実行します。

# ostestr --parallel

テストを並行して実行する場合に使用するワーカー数を指定します。

# ostestr --concurrency _<workers>_

または

# ostestr -c _<workers>_

デフォルトでは、この値は CPU 数に設定されます。

最初に、保存されている状態を初期化する必要があります。これにより、 saved_state.json が作成され、保持する必要のあるオブジェクトが cleanup によって削除されるのを防ぎます。tempest の実行前には通常、cleanup に --init-saved-state オプションを指定して実行します。そうでない場合には、saved_state.json を編集して、cleanup で消去したいオブジェクトを削除します。

# tempest cleanup --init-saved-state

cleanup を実行します。

# tempest cleanup

ドライランは、クリーンアップによって削除されるファイルを一覧表示しますが、ファイルは一切削除しません。ファイルは、dry_run.json ファイル内に一覧表示されます。

# tempest cleanup --dry-run

tempest により作成されたユーザーとテナントを削除します。

# tempest cleanup --delete-tempest-conf-objects