OpenShift Data Foundation の監視

Red Hat OpenShift Data Foundation 4.12

クラスターの正常性、メトリクス、またはアラートの設定の表示

Red Hat Storage Documentation Team

概要

Block および File、および Object ダッシュボードを使用して Red Hat OpenShift Data Foundation を監視する方法については、本書を参照してください。

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。まずは、マスター (master)、スレーブ (slave)、ブラックリスト (blacklist)、ホワイトリスト (whitelist) の 4 つの用語の置き換えから始めます。この取り組みは膨大な作業を要するため、今後の複数のリリースで段階的に用語の置き換えを実施して参ります。詳細は、Red Hat CTO である Chris Wright のメッセージ をご覧ください。

Red Hat ドキュメントへのフィードバック (英語のみ)

Red Hat ドキュメントに対するご意見をお聞かせください。ドキュメントの改善点があれば、ぜひお知らせください。フィードバックをお寄せいただくには、以下をご確認ください。

  • 特定の部分についての簡単なコメントをお寄せいただく場合は、以下をご確認ください。

    1. ドキュメントの表示が Multi-page HTML 形式になっていていることを確認してください。ドキュメントの右上隅に Feedback ボタンがあることを確認してください。
    2. マウスカーソルを使用して、コメントを追加するテキストの部分を強調表示します。
    3. 強調表示されたテキストの下に表示される Add Feedback ポップアップをクリックします。
    4. 表示される指示に従ってください。
  • より詳細なフィードバックをお寄せいただく場合は、Bugzilla のチケットを作成してください。

    1. Bugzilla の Web サイトに移動します。
    2. Component セクションで、documentation を選択します。
    3. Description フィールドに、ドキュメントの改善に向けたご提案を記入してください。ドキュメントの該当部分へのリンクも追加してください。
    4. Submit Bug をクリックします。

第1章 クラスターの正常性

1.1. OpenShift Data Foundation の正常性の確認

ストレージの正常性は、Block および File、および Object ダッシュボードに表示されます。

手順

  1. OpenShift Web コンソールで、StorageData Foundation をクリックします。
  2. Overview タブの Status カードで Storage System をクリックし、表示されたポップアップからストレージシステムリンクをクリックします。
  3. Status カードに Block および File および Object タブに緑色のチェックマークが付いているかどうかを確認します。

    緑色のチェックマークは、クラスターが正常であることを示します。

表示される異なるヘルス状態およびアラートの詳細は、「ストレージの正常性レベルおよびクラスターの状態」 を参照してください。

1.2. ストレージの正常性レベルおよびクラスターの状態

OpenShift Data Foundation に関連するステータス情報およびアラートがストレージダッシュボードに表示されます。

1.2.1. Data Foundation ダッシュボードのインジケーター

Block and File ダッシュボードには、OpenShift Data Foundation 全体の状態が永続ボリュームの状態と共に表示されます。

各リソースタイプの状態の種類については、以下の表に一覧表示されています。

表1.1 OpenShift Data Foundation 正常性レベル

Stateアイコン説明

UNKNOWN

unknown icon

OpenShift Data Foundation はデプロイされていないか、利用できません。

緑色のチェックマーク

odf health icon green

クラスターの状態は正常です。

Warning

odf health icon yellow

OpenShift Data Foundation クラスターが警告状態にあります。内部モードでは、アラートが問題の詳細と共に表示されます。外部モードでは、アラートは表示されません。

Error

odf health icon red

OpenShift Data Foundation クラスターでエラーが発生し、一部のコンポーネントが機能しなくなります。内部モードでは、アラートが問題の詳細と共に表示されます。外部モードでは、アラートは表示されません。

1.2.2. Object ダッシュボードのインジケーター

Object ダッシュボードには、Multi-Cloud Object Gateway およびクラスター内のオブジェクト要求の状態が表示されます。

各リソースタイプの状態の種類については、以下の表に一覧表示されています。

表1.2 オブジェクトサービスの正常性レベル

状態説明

緑色のチェックマーク odf health icon green

オブジェクトストレージは正常です。

Multicloud Object Gateway is not running

NooBaa システムが見つからない場合に表示されます。

All resources are unhealthy

すべての NooBaa プールが正常でない場合に表示されます。

Many buckets have issues

バケットの 50% 以上でエラーが発生する場合に表示されます。

Some buckets have issues

バケットの 30% 以上でエラーが発生する場合に表示されます。

Unavailable

ネットワークの問題やエラーがある場合に表示されます。

1.2.3. Alert パネル

Alert パネルは、クラスターの状態が正常ではない場合に、Block and File ダッシュボードと Object ダッシュボードの両方の Status カードの下に表示されます。

特定のアラートおよびそれらに応答する方法についての情報は、OpenShift Data Foundation のトラブルシューティング を参照してください。

第2章 マルチクラスターストレージの正常性

OpenShift Data Foundation を使用してすべてのクラスターにわたる全体的なストレージの正常性ステータスを表示し、その容量を管理するには、最初にハブクラスターでマルチクラスターダッシュボードを有効にする必要があります。

2.1. ハブクラスターでのマルチクラスターダッシュボードの有効化

コンソールプラグインを使用して ODF Multicluster Orchestrator バージョン 4.12 をインストールする前または後に、インストール画面でマルチクラスターダッシュボードを有効にできます。

前提条件

  • OpenShift Container Platform バージョン 4.12 がインストールされており、管理者権限があることを確認してください。
  • Operator Hub から Red Hat Advanced Cluster Management for Kubernetes 2.6 がインストールされていることを確認してください。インストール方法は、RHACM のインストール を参照してください。
  • RHACM で可観測性が有効になっている。可観測性ガイドラインの有効化 を参照してください。

手順

  1. observability-metrics-custom-allowlist.yaml という名前の configmap ファイルを作成し、metrics_list.yaml パラメーターにカスタムメトリクスの名前を追加します。

    以下の YAML を使用して、ハブクラスター上の OpenShift Data Foundation メトリクスを一覧表示できます。詳細は、カスタムメトリックの追加 を参照してください。

    kind: ConfigMap
    apiVersion: v1
    metadata:
      name: observability-metrics-custom-allowlist
      Namespace: open-cluster-management-observability
    data:
      metrics_list.yaml: |
        names:
          - odf_system_health_status
          - odf_system_map
          - odf_system_raw_capacity_total_bytes
          - odf_system_raw_capacity_used_bytes
        matches:
          - __name__="csv_succeeded",exported_namespace="openshift-storage",name=~"odf-operator.*"
  2. open-cluster-management-observability namespace で次のコマンドを実行します。

    # oc apply -n open-cluster-management-observability -f observability-metrics-custom-allowlist.yaml

    observability-metrics-custom-allowlist yaml が作成されると、RHACM はすべてのマネージドクラスターからリストされた OpenShift Data Foundation メトリックの収集を開始します。

    可観測性データを収集しないように特定のマネージドクラスターを除外するには、クラスターに observability: disabled のクラスターラベルを追加します。

  3. マルチクラスターの正常性を表示するには、マルチクラスターストレージダッシュボードの確認 の章を参照してください。

2.2. ハブクラスターでのマルチクラスターストレージの状態の確認

前提条件

マルチクラスター監視が有効になっていることを確認してください。手順は、マルチクラスターダッシュボードの有効化 の章を参照してください。

手順

  1. ハブクラスターの OpenShift Web コンソールで、すべてのクラスター が選択されていることを確認します。
  2. Data Services に移動し、Storage System をクリックします。
  3. 概要タブで、OpenShift Data FoundationSystems の前に緑色のチェックマークがあることを確認します。これは、Operator が実行しており、すべてのストレージシステムが使用可能であることを示しています。
  4. ステータスカードで、

    1. OpenShift Data Foundation をクリックして、Operator の状況を表示します。
    2. Systems をクリックして、ストレージシステムのステータスを表示します。
  5. Storage system capacity カードには、次の詳細が表示されます。

    • ストレージシステムの名前
    • Cluster name
    • 合計容量と使用済み容量のグラフ表示 (%)
    • TiB の合計容量と使用容量の実際の値

第3章 メトリクス

3.1. Block および File ダッシュボードでのメトリクス

以下のように、OpenShift Web コンソールで Block および File ダッシュボードに移動できます。

  1. StorageData Foundation をクリックします。
  2. Overview タブの Status カードで Storage System をクリックし、表示されたポップアップからストレージシステムリンクをクリックします。
  3. Block and File タブをクリックします。

Block および File ダッシュボードの以下のカードは、デプロイメントモード (内部または外部) をベースとするメトリクスを提供します。

Details カード

Details カードには、以下が表示されます。

  • サービス名
  • Cluster name
  • システムが実行されるプロバイダーの名前 (例: AWSVSphere、ベアメタルの場合は None)
  • モード (内部または外部のいずれかのデプロイメントモード)
  • OpenShift Data Foundation Operator バージョン
Inventory カード
Inventory カードには、OpenShift Data Foundation プロビジョナーでサポートされるアクティブなノード、PVC、および PV の数が表示されます。カードの左側に、ストレージノード、PVC および PV の合計数が表示されます。カードの右側には、Not Ready 状態のストレージノードの数が表示されますが、Pending 状態の PVC と Released 状態の PV の数が表示されます。
注記

外部モードでは、OpenShift Data Foundation に専用ノードはないため、ノードの数はデフォルトで 0 になります。

Status カード

このカードは、クラスターがエラーなしで稼働しているか、何らかの問題があるかを示します。

内部モードの場合、Data Resiliency (データ回復性) は、レプリカ全体での Ceph のデータリバランスのステータスを示します。内部モードのクラスターが警告またはエラー状態にあると、Alerts セクションが関連するアラートと共に表示されます。

外部モードの場合、Data Resiliency (データ回復性) およびアラートは表示されません。

Raw Capacity カード

このカードには、クラスター上のレプリケーションを含む RAW ストレージ容量の合計が表示されます。

  • Used の凡例は、クラスター上で使用されている RAW ストレージ容量を示します。
  • Available の凡例は、クラスターで利用可能な Raw ストレージ容量を示します。
注記

このカードは、外部モードクラスターには適用されません。

Used Capacity Breakdown カード

このカードには、クラスターに保存されているレプリカ以外の実際のデータ量とそのディストリビューションが表示されます。カードの上部にあるドロップダウンメニューから、Projects、 Storage Classes および Pods のいずれかを選択できます。これらのオプションは、グラフに表示されるデータをフィルターするために使用します。グラフには、使用量に基づいて、上位 5 つのエンティティーのみの使用容量が表示されます。残りのエンティティーの合計使用量はその他として表示されます。

オプション表示

プロジェクト

Data Foundation ストレージを使用している各プロジェクトの集約された容量と現在使用されている量。

ストレージクラス

OpenShift Data Foundation ベースのストレージクラスに基づいて集約容量を表示します。

Pod

OpenShift Data Foundation プロビジョナーでサポートされる PVC の使用を試行するすべての Pod。

外部モードについては、Capacity breakdown カード を参照してください。

Capacity breakdown カード
このカードは、外部モードクラスターにのみ適用されます。このカードでは、プロジェクト、ストレージクラス、Pod ごとの容量の内訳を表示できます。カードの上部にあるドロップダウンメニューから、Projects、 Storage Classes および Pods のいずれかを選択できます。これらのオプションは、グラフに表示されるデータをフィルターするために使用します。グラフには、使用量に基づいて、上位 5 つのエンティティーのみの使用容量が表示されます。残りのエンティティーの合計使用量はその他として表示されます。
Utilization カード

このカードには、使用済みの容量、1 秒あたりの入出力操作、レイテンシー、スループット、および内部モードのクラスターのリカバリー情報が表示されます。

外部モードでは、このカードには、そのクラスターの使用済みおよび要求される容量情報のみが表示されます。

Storage Efficiency カード
このカードは、圧縮率を示しており、すべての圧縮可能なプールを含む、圧縮可能なデータの有効性メトリクスを表します。また、圧縮対応プールおよび関連付けられたレプリカすべてに含まれる実際のディスク容量を表す節約メトリクスも示しています。
Activity カード

このカードは、OpenShift Data Foundation クラスターで発生しているアクティビティーや、最近発生したアクティビティーが表示されます。カードは 2 つのセクションに分かれます。

  • Ongoing: データ回復性および OpenShift Data Foundation Operator のアップグレードに関連する継続中のアクティビティーの進捗を表示します。
  • recent Events: openshift-storage namespace で発生するイベントの一覧を表示します。

3.2. Object ダッシュボードでのメトリクス

以下のように、OpenShift Web コンソールで Object ダッシュボードに移動できます。

  1. StorageData Foundation をクリックします。
  2. Overview タブの Status カードで Storage System をクリックし、表示されたポップアップからストレージシステムリンクをクリックします。
  3. Object タブをクリックします。

以下のメトリクスは、Object ダッシュボードで利用できます。

Details カード

このカードには、以下の情報が表示されます。

  • サービス名: Multicloud Object Gateway (MCG) サービス名。
  • システム名: Multicloud Object Gateway および RADOS Object Gateway のシステム名。Multicloud Object Gateway のシステム名は MCG 管理ユーザーインターフェイスへのハイパーリンクでもあります。
  • プロバイダー: システムが実行されるプロバイダーの名前 (例: AWSVSphere、ベアメタルの場合は None)。
  • バージョン: OpenShift Data Foundation Operator バージョン。
Storage Efficiency カード
このカードでは、MCG が重複排除と圧縮を通じてストレージバックエンドリソースの消費をどのように最適化するかを表示し、ベアメタルおよびクラウドベースのストレージの容量とクラウドベースのストレージの出力に基づき、計算された効率比 (アプリケーションデータと論理データ) および推定節約量 (ストレージプロバイダーに MCG が送信しなかったバイト数) を提供します。
Buckets カード

バケットは、アプリケーションの代わりにデータを保存するために MCG および RADOS Object Gateway が管理するコンテナーです。これらのバケットは、Object Bucket Claim (オブジェクトバケット要求、OBC) を使用して作成され、アクセスされます。特定のポリシーをバケットに適用して、データの配置、データのスピルオーバー、データの回復性、容量のクォータなどをカスタマイズできます。

このカードでは、オブジェクトバケット (OB) および Object Bucket Claim (オブジェクトバケット要求、OBC) に関する情報が個別に表示されます。OB には、S3 またはユーザーインターフェイス (UI) を使用して作成されたすべてのバケットと、OBC には YAML またはコマンドラインインターフェイス (CLI) を使用して作成されたすべてのバケットが含まれます。バケットタイプの左側に表示される数は、OB または OBC の合計数です。右側に表示される数字はエラー数であり、エラー数がゼロよりも大きい場合にのみ表示されます。数字をクリックすると、警告またはエラーステータスのあるバケットの一覧を表示できます。

Resource Providers カード
このカードには、現在使用中のすべての Multicloud Object Gateway (MCG) および RADOS Object Gateway リソースの一覧が表示されます。これらのリソースは、バケットポリシーに従ってデータを保存するために使用されます。これらはクラウドベースのリソースまたはベアメタルリソースになります。
Status カード

このカードは、システムとそのサービスが問題なく実行されているかどうかを示します。システムが警告またはエラー状態にあると、Alerts セクションが表示され、関連するアラートが表示されます。問題に関する詳細情報については、各アラートの横にあるアラートリンクをクリックしてください。ヘルスチェックに関する情報は、クラスターの正常性 を参照してください。

複数のオブジェクトストレージサービスがクラスターで利用可能な場合は、サービスタイプ (Object Service または Data Resiliency など) をクリックして個々のサービスの状態を表示します。

このステータスカードの Data Resiliency (データ回復性) では、Multicloud Object Gateway および RADOS Object Gateway で保存されたデータに関して回復性の問題があるかどうかが分かります。

Capacity breakdown カード
このカードでは、アプリケーションが Multicloud Object Gateway および RADOS Object Gateway でオブジェクトストレージをどのように消費するかを視覚化できます。Service Type ドロップダウンを使用して、Multicloud Gateway および Object Gateway の容量の内訳を個別に表示できます。Multicloud Object Gateway を表示する場合、Break By ドロップダウンを使用して、グラフ内で Projects または Bucket Class 別に結果をフィルタリングできます。
Performance カード

このカードでは、Multicloud Object Gateway または RADOS Object Gateway のパフォーマンスを表示できます。Service Type ドロップダウンを使用して、表示するサービスタイプを選択します。

Multicloud Object Gateway アカウントの場合は、I/O 操作と論理的に使用される容量を表示できます。プロバイダーの場合、I/O 操作、物理的および論理的な使用量、および egress を表示できます。

以下の表は、カードの上部にあるドロップダウンメニューからの選択に応じて表示される各種のメトリクスを示しています。

表3.1 Multicloud Object Gateway のインジケーター

コンシューマータイプメトリクスチャートの表示

アカウント

I/O 操作

上位 5 コンシューマーの読み取りおよび書き込み I/O 操作を表示します。すべてのコンシューマーの読み取りおよび書き込みの合計は下部に表示されます。この情報は、アプリケーションまたはアカウントごとにスループット要求 (IOPS) をモニターするのに役立ちます。

アカウント

論理的な使用容量

上位 5 コンシューマーの各アカウントの論理的な使用量の合計を表示します。これは、アプリケーションまたはアカウントごとのスループット需要をモニターするのに役立ちます。

プロバイダー

I/O 操作

プロバイダーがホストするストレージバックエンドにアクセスする際に MCG が生成する I/O 操作の数を表示します。これはクラウド内のトラフィックを把握するのに役立ち、I/O パターンに従ってリソース割り当てを改善することができるため、コストの最適化に役立ちます。

プロバイダー

物理的な使用量 vs 論理的な使用量

プロバイダーごとに物理的な使用量と論理的な使用量を比較して、システム内のデータ消費を表示します。これにより、ストレージリソースを制御し、使用状況の特性やパフォーマンス要件に基づいて配置ストラテジーを立てることができ、これによりコストを最適化できる可能性もあります。

プロバイダー

Egress

各プロバイダーから MCG が取得するデータ量 (アプリケーションに関連する読み取りの帯域幅)。これにより、egress パターンに基づいてリソースの割り当てを改善するためにクラウド内のトラフィックを把握し、コストを最適化できます。

RADOS Object Gateway では、Metric ドロップダウンを使用して Latency または Bandwidth を表示できます。

  • レイテンシー: RADOS Object Gateway インスタンス全体の GET/PUT のレイテンシーの平均的な差異を視覚的に表示します。
  • 帯域幅: RADOS Object Gateway インスタンス間の GET/PUT 帯域幅の合計を視覚的に表示します。
Activity カード

このカードは、OpenShift Data Foundation クラスターで発生しているアクティビティーや、最近発生したアクティビティーが表示されます。カードは 2 つのセクションに分かれます。

  • Ongoing: データ回復性および OpenShift Data Foundation Operator のアップグレードに関連する継続中のアクティビティーの進捗を表示します。
  • recent Events: openshift-storage namespace で発生するイベントの一覧を表示します。

3.3. プールメトリクス

プールメトリクスダッシュボードは、データ消費を効率的に確保するための情報を提供します。また、圧縮を有効/無効にする方法を提供します。

プールメトリクスの表示

プールリストを表示するには、以下を実行します。

  1. Storage → Data Foundation をクリックします。
  2. Storage systems タブでストレージシステムを選択し、BlockPools をクリックします。

プール名をクリックすると、各プールダッシュボードの以下のカードがデプロイメントモード (内部または外部) に基づいてメトリクスと共に表示されます。

Details カード

Details カードには、以下が表示されます。

  • プール名
  • ボリュームタイプ
  • レプリカ
Status カード
このカードは、プールがエラーなしで稼働しているか、何らかの問題があるかを示します。
Mirroring カード

ミラーリングオプションを有効にすると、このカードにはミラーリングのステータス、イメージの正常性、および最後にチェックされたタイムスタンプが表示されます。ミラーリングメトリクスは、クラスターレベルのミラーリングが有効な場合に表示されます。メトリクスは、障害復旧の失敗を回避し、データがそのまま保持されるように不一致を通知するのに役立ちます。

ミラーリングカードには、以下のような高レベルの情報が表示されます。

  • 特定のプールに対して enabled または disabled のいずれかとミラーリングの状態。
  • プール下のすべてのイメージのステータスが正常に複製されるかどうか。
  • 複製されているイメージと複製されていないイメージの割合。
Inventory カード
Inventory カードには、ストレージクラスおよび 永続ボリューム要求 (PVC) の数が表示されます。
Compression カード

このカードには、ケースが使用可能であるため、圧縮ステータスが enabled または disabled と表示されます。また、以下のようにストレージ効率の詳細も表示します。

  • 書き込まれた圧縮可能データのどの部分が圧縮可能であるかを示す圧縮適格性 (ceph パラメーターごと)
  • 圧縮可能なデータの圧縮比率
  • 圧縮による節約は、圧縮可能なデータの合計節約 (レプリカを含む) を提供します。

    既存のプールの圧縮を有効または無効にする方法は、Updating an existing pool を参照してください。

Raw Capacity カード

このカードには、クラスター上のレプリケーションを含む RAW ストレージ容量の合計が表示されます。

  • Used は、プールで使用されるストレージ容量を示します。
  • Available は、クラスターで利用可能な Raw ストレージ容量を示します。
Performance カード
このカードでは、アプリケーションまたはアカウントごとの I/O 操作の使用状況とスループットの需要を確認できます。グラフは、インスタンス全体の平均遅延または帯域幅を示します。

3.4. RBD および CephFS ボリュームでのメタデータの有効化

監視目的で、RADOS ブロックデバイス (RBD) および CephFS ボリュームに永続ボリュームクレーム (PVC)、永続ボリューム (PV)、および namespace 名を設定できます。これにより、RBD および CephFS メタデータを読み取り、OpenShift Container Platform と RBD ボリュームと CephFS ボリューム間のマッピングを特定できます。

RADOS ブロックデバイス (RBD) および CephFS ボリュームメタデータ機能を有効にするには、rook-ceph-operator-config configmapCSI_ENABLE_METADATA 変数を設定する必要があります。デフォルトでは、この機能は無効にされています。以前のバージョンからアップグレードした後にこの機能を有効にすると、既存の PVC にはメタデータが含まれなくなります。また、メタデータ機能を有効にすると、有効にする前に作成された PVC にはメタデータが含まれなくなります。

前提条件

  • ocs_operator をインストールし、Operator の storagecluster を作成する。
  • storageclusterReady 状態にあることを確認する。

    $ oc get storagecluster
    NAME                 AGE   PHASE   EXTERNAL   CREATED AT             VERSION
    ocs-storagecluster   57m   Ready              2022-08-30T06:52:58Z   4.12.0

手順

  1. rook-ceph Operator の ConfigMap を編集して、CSI_ENABLE_METADATAtrue にマークします。

    $ oc patch cm rook-ceph-operator-config -n openshift-storage -p $'data:\n "CSI_ENABLE_METADATA":  "true"'
    configmap/rook-ceph-operator-config patched
  2. それぞれの CSI CephFS プラグインプロビジョナー Pod および CSI RBD プラグイン Pod が Running 状態になるまで待機します。

    注記

    メタデータ機能を有効にした後に、setmetadata 変数が自動的に設定されていることを確認します。メタデータ機能が無効になっている場合は、この変数は利用できません。

    $ oc get pods | grep csi
    
    csi-cephfsplugin-b8d6c                         2/2     Running     0          56m
    csi-cephfsplugin-bnbg9                         2/2     Running     0          56m
    csi-cephfsplugin-kqdw4                         2/2     Running     0          56m
    csi-cephfsplugin-provisioner-7dcd78bb9b-q6dxb  5/5     Running     0          56m
    csi-cephfsplugin-provisioner-7dcd78bb9b-zc4q5  5/5     Running     0          56m
    csi-rbdplugin-776dl                            3/3     Running     0          56m
    csi-rbdplugin-ffl52                            3/3     Running     0          56m
    csi-rbdplugin-jx9mz                            3/3     Running     0          56m
    csi-rbdplugin-provisioner-5f6d766b6c-694fx     6/6     Running     0          56m
    csi-rbdplugin-provisioner-5f6d766b6c-vzv45     6/6     Running     0          56m

検証手順

  • RBD PVC のメタデータを確認するには、以下を実行します。

    1. PVC を作成します。

      $ cat <<EOF | oc create -f -
      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: rbd-pvc
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 1Gi
        storageClassName: ocs-storagecluster-ceph-rbd
      EOF
    2. PVC のステータスを確認します。

      $ oc get pvc | grep rbd-pvc
      rbd-pvc                           Bound    pvc-30628fa8-2966-499c-832d-a6a3a8ebc594   1Gi        RWO            ocs-storagecluster-ceph-rbd   32s
    3. Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

      Red Hat Ceph Storage CLI にアクセスする方法については、How to access Red Hat Ceph Storage CLI in Red Hat OpenShift Data Foundation environment アーティクルを参照してください。

      [sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
      
      csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
      csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012
      
      [sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012

      このイメージには 4 つのメタデータがあります。

      Key                               Value
      csi.ceph.com/cluster/name         6cd7a18d-7363-4830-ad5c-f7b96927f026
      csi.storage.k8s.io/pv/name        pvc-30628fa8-2966-499c-832d-a6a3a8ebc594
      csi.storage.k8s.io/pvc/name       rbd-pvc
      csi.storage.k8s.io/pvc/namespace  openshift-storage
  • RBD クローンのメタデータを確認するには、以下を実行します。

    1. クローンを作成します。

      $ cat <<EOF | oc create -f -
      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: rbd-pvc-clone
      spec:
        storageClassName: ocs-storagecluster-ceph-rbd
        dataSource:
          name: rbd-pvc
          kind: PersistentVolumeClaim
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 1Gi
      EOF
    2. クローンのステータスを確認します。

      $ oc get pvc | grep rbd-pvc
      rbd-pvc                           Bound    pvc-30628fa8-2966-499c-832d-a6a3a8ebc594   1Gi        RWO            ocs-storagecluster-ceph-rbd   15m
      rbd-pvc-clone                     Bound    pvc-0d72afda-f433-4d46-a7f1-a5fcb3d766e0   1Gi        RWO            ocs-storagecluster-ceph-rbd   52s
    3. Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

      Red Hat Ceph Storage CLI にアクセスする方法については、How to access Red Hat Ceph Storage CLI in Red Hat OpenShift Data Foundation environment アーティクルを参照してください。

      [sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
      csi-vol-063b982d-2845-11ed-94bd-0a580a830012
      csi-vol-063b982d-2845-11ed-94bd-0a580a830012-temp
      csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
      csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012
      
      [sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-vol-063b982d-2845-11ed-94bd-0a580a830012
      There are 4 metadata on this image:
      
      Key                               Value
      csi.ceph.com/cluster/name         6cd7a18d-7363-4830-ad5c-f7b96927f026
      csi.storage.k8s.io/pv/name        pvc-0d72afda-f433-4d46-a7f1-a5fcb3d766e0
      csi.storage.k8s.io/pvc/name       rbd-pvc-clone
      csi.storage.k8s.io/pvc/namespace  openshift-storage
  • RBD スナップショットのメタデータを確認するには、以下を実行します。

    1. スナップショットを作成します。

      $ cat <<EOF | oc create -f -
      apiVersion: snapshot.storage.k8s.io/v1
      kind: VolumeSnapshot
      metadata:
        name: rbd-pvc-snapshot
      spec:
        volumeSnapshotClassName: ocs-storagecluster-rbdplugin-snapclass
        source:
          persistentVolumeClaimName: rbd-pvc
      EOF
      volumesnapshot.snapshot.storage.k8s.io/rbd-pvc-snapshot created
    2. スナップショットのステータスを確認します。

      $ oc get volumesnapshot
      NAME               READYTOUSE   SOURCEPVC   SOURCESNAPSHOTCONTENT   RESTORESIZE   SNAPSHOTCLASS                            SNAPSHOTCONTENT                                    CREATIONTIME   AGE
      rbd-pvc-snapshot   true         rbd-pvc                             1Gi           ocs-storagecluster-rbdplugin-snapclass   snapcontent-b992b782-7174-4101-8fe3-e6e478eb2c8f   17s            18s
    3. Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

      Red Hat Ceph Storage CLI にアクセスする方法については、How to access Red Hat Ceph Storage CLI in Red Hat OpenShift Data Foundation environment アーティクルを参照してください。

      [sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
      csi-snap-a1e24408-2848-11ed-94bd-0a580a830012
      csi-vol-063b982d-2845-11ed-94bd-0a580a830012
      csi-vol-063b982d-2845-11ed-94bd-0a580a830012-temp
      csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
      csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012
      
      [sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-snap-a1e24408-2848-11ed-94bd-0a580a830012
      There are 4 metadata on this image:
      
      Key                                            Value
      csi.ceph.com/cluster/name                      6cd7a18d-7363-4830-ad5c-f7b96927f026
      csi.storage.k8s.io/volumesnapshot/name         rbd-pvc-snapshot
      csi.storage.k8s.io/volumesnapshot/namespace    openshift-storage
      csi.storage.k8s.io/volumesnapshotcontent/name  snapcontent-b992b782-7174-4101-8fe3-e6e478eb2c8f
  • RBD Restore のメタデータを確認します。

    1. ボリュームスナップショットを復元します。

      $ cat <<EOF | oc create -f -
      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: rbd-pvc-restore
      spec:
        storageClassName: ocs-storagecluster-ceph-rbd
        dataSource:
          name: rbd-pvc-snapshot
          kind: VolumeSnapshot
          apiGroup: snapshot.storage.k8s.io
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 1Gi
      EOF
      persistentvolumeclaim/rbd-pvc-restore created
    2. 復元されたボリュームスナップショットのステータスを確認します。

      $ oc get pvc | grep rbd
      db-noobaa-db-pg-0                 Bound    pvc-615e2027-78cd-4ea2-a341-fdedd50c5208   50Gi       RWO            ocs-storagecluster-ceph-rbd   51m
      rbd-pvc                           Bound    pvc-30628fa8-2966-499c-832d-a6a3a8ebc594   1Gi        RWO            ocs-storagecluster-ceph-rbd   47m
      rbd-pvc-clone                     Bound    pvc-0d72afda-f433-4d46-a7f1-a5fcb3d766e0   1Gi        RWO            ocs-storagecluster-ceph-rbd   32m
      rbd-pvc-restore                   Bound    pvc-f900e19b-3924-485c-bb47-01b84c559034   1Gi        RWO            ocs-storagecluster-ceph-rbd   111s
    3. Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

      Red Hat Ceph Storage CLI にアクセスする方法については、How to access Red Hat Ceph Storage CLI in Red Hat OpenShift Data Foundation environment アーティクルを参照してください。

      [sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
      csi-snap-a1e24408-2848-11ed-94bd-0a580a830012
      csi-vol-063b982d-2845-11ed-94bd-0a580a830012
      csi-vol-063b982d-2845-11ed-94bd-0a580a830012-temp
      csi-vol-5f6e0737-2849-11ed-94bd-0a580a830012
      csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
      csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012
      
      [sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-vol-5f6e0737-2849-11ed-94bd-0a580a830012
      There are 4 metadata on this image:
      
      Key                               Value
      csi.ceph.com/cluster/name         6cd7a18d-7363-4830-ad5c-f7b96927f026
      csi.storage.k8s.io/pv/name        pvc-f900e19b-3924-485c-bb47-01b84c559034
      csi.storage.k8s.io/pvc/name       rbd-pvc-restore
      csi.storage.k8s.io/pvc/namespace  openshift-storage
  • CephFS PVC のメタデータを確認するには、以下を実行します。

    1. PVC を作成します。

      cat <<EOF | oc create -f -
      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: cephfs-pvc
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 1Gi
        storageClassName: ocs-storagecluster-cephfs
      EOF
    2. PVC のステータスを確認します。

      oc get pvc | grep cephfs
      cephfs-pvc                        Bound    pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9   1Gi        RWO            ocs-storagecluster-cephfs     11s
    3. Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

      Red Hat Ceph Storage CLI にアクセスする方法については、How to access Red Hat Ceph Storage CLI in Red Hat OpenShift Data Foundation environment アーティクルを参照してください。

      $ ceph fs volume ls
      [
          {
              "name": "ocs-storagecluster-cephfilesystem"
          }
      ]
      
      $ ceph fs subvolumegroup ls ocs-storagecluster-cephfilesystem
      [
          {
              "name": "csi"
          }
      ]
      
      $ ceph fs subvolume ls ocs-storagecluster-cephfilesystem --group_name csi
      [
          {
              "name": "csi-vol-25266061-284c-11ed-95e0-0a580a810215"
          }
      ]
      
      $ ceph fs subvolume metadata ls ocs-storagecluster-cephfilesystem csi-vol-25266061-284c-11ed-95e0-0a580a810215 --group_name=csi --format=json
      
      {
          "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
          "csi.storage.k8s.io/pv/name": "pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9",
          "csi.storage.k8s.io/pvc/name": "cephfs-pvc",
          "csi.storage.k8s.io/pvc/namespace": "openshift-storage"
      }
  • CephFS クローンのメタデータを確認するには、以下を実行します。

    1. クローンを作成します。

      $ cat <<EOF | oc create -f -
      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: cephfs-pvc-clone
      spec:
        storageClassName: ocs-storagecluster-cephfs
        dataSource:
          name: cephfs-pvc
          kind: PersistentVolumeClaim
        accessModes:
          - ReadWriteMany
        resources:
          requests:
            storage: 1Gi
      EOF
      persistentvolumeclaim/cephfs-pvc-clone created
    2. クローンのステータスを確認します。

      $ oc get pvc | grep cephfs
      cephfs-pvc                        Bound    pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9   1Gi        RWO            ocs-storagecluster-cephfs     9m5s
      cephfs-pvc-clone                  Bound    pvc-3d4c4e78-f7d5-456a-aa6e-4da4a05ca4ce   1Gi        RWX            ocs-storagecluster-cephfs     20s
    3. Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

      Red Hat Ceph Storage CLI にアクセスする方法については、How to access Red Hat Ceph Storage CLI in Red Hat OpenShift Data Foundation environment アーティクルを参照してください。

      [rook@rook-ceph-tools-c99fd8dfc-6sdbg /]$ ceph fs subvolume ls ocs-storagecluster-cephfilesystem --group_name csi
      [
          {
              "name": "csi-vol-5ea23eb0-284d-11ed-95e0-0a580a810215"
          },
          {
              "name": "csi-vol-25266061-284c-11ed-95e0-0a580a810215"
          }
      ]
      
      [rook@rook-ceph-tools-c99fd8dfc-6sdbg /]$ ceph fs subvolume metadata ls ocs-storagecluster-cephfilesystem csi-vol-5ea23eb0-284d-11ed-95e0-0a580a810215 --group_name=csi --format=json
      
      {
          "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
          "csi.storage.k8s.io/pv/name": "pvc-3d4c4e78-f7d5-456a-aa6e-4da4a05ca4ce",
          "csi.storage.k8s.io/pvc/name": "cephfs-pvc-clone",
          "csi.storage.k8s.io/pvc/namespace": "openshift-storage"
      }
  • CephFS ボリュームスナップショットのメタデータを確認するには、以下を実行します。

    1. ボリュームスナップショットを作成します。

      $ cat <<EOF | oc create -f -
      apiVersion: snapshot.storage.k8s.io/v1
      kind: VolumeSnapshot
      metadata:
        name: cephfs-pvc-snapshot
      spec:
        volumeSnapshotClassName: ocs-storagecluster-cephfsplugin-snapclass
        source:
          persistentVolumeClaimName: cephfs-pvc
      EOF
      volumesnapshot.snapshot.storage.k8s.io/cephfs-pvc-snapshot created
    2. ボリュームスナップショットのステータスを確認します。

      $ oc get volumesnapshot
      NAME                  READYTOUSE   SOURCEPVC    SOURCESNAPSHOTCONTENT   RESTORESIZE   SNAPSHOTCLASS                               SNAPSHOTCONTENT                                    CREATIONTIME   AGE
      cephfs-pvc-snapshot   true         cephfs-pvc                           1Gi           ocs-storagecluster-cephfsplugin-snapclass   snapcontent-f0f17463-d13b-4e13-b44e-6340bbb3bee0   9s             9s
    3. Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

      Red Hat Ceph Storage CLI にアクセスする方法については、How to access Red Hat Ceph Storage CLI in Red Hat OpenShift Data Foundation environment アーティクルを参照してください。

      $ ceph fs subvolume snapshot ls ocs-storagecluster-cephfilesystem csi-vol-25266061-284c-11ed-95e0-0a580a810215 --group_name csi
      [
          {
              "name": "csi-snap-06336f4e-284e-11ed-95e0-0a580a810215"
          }
      ]
      
      $ ceph fs subvolume snapshot metadata ls ocs-storagecluster-cephfilesystem csi-vol-25266061-284c-11ed-95e0-0a580a810215 csi-snap-06336f4e-284e-11ed-95e0-0a580a810215 --group_name=csi --format=json
      
      {
          "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
          "csi.storage.k8s.io/volumesnapshot/name": "cephfs-pvc-snapshot",
          "csi.storage.k8s.io/volumesnapshot/namespace": "openshift-storage",
          "csi.storage.k8s.io/volumesnapshotcontent/name": "snapcontent-f0f17463-d13b-4e13-b44e-6340bbb3bee0"
      }
  • CephFS Restore のメタデータを確認するには、以下を実行します。

    1. ボリュームスナップショットを復元します。

      $ cat <<EOF | oc create -f -
      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: cephfs-pvc-restore
      spec:
        storageClassName: ocs-storagecluster-cephfs
        dataSource:
          name: cephfs-pvc-snapshot
          kind: VolumeSnapshot
          apiGroup: snapshot.storage.k8s.io
        accessModes:
          - ReadWriteMany
        resources:
          requests:
            storage: 1Gi
      EOF
      persistentvolumeclaim/cephfs-pvc-restore created
    2. 復元されたボリュームスナップショットのステータスを確認します。

      $ oc get pvc | grep cephfs
      cephfs-pvc                        Bound    pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9   1Gi        RWO            ocs-storagecluster-cephfs     29m
      cephfs-pvc-clone                  Bound    pvc-3d4c4e78-f7d5-456a-aa6e-4da4a05ca4ce   1Gi        RWX            ocs-storagecluster-cephfs     20m
      cephfs-pvc-restore                Bound    pvc-43d55ea1-95c0-42c8-8616-4ee70b504445   1Gi        RWX            ocs-storagecluster-cephfs     21s
    3. Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

      Red Hat Ceph Storage CLI にアクセスする方法については、How to access Red Hat Ceph Storage CLI in Red Hat OpenShift Data Foundation environment アーティクルを参照してください。

      $ ceph fs subvolume ls ocs-storagecluster-cephfilesystem --group_name csi
      [
          {
              "name": "csi-vol-3536db13-2850-11ed-95e0-0a580a810215"
          },
          {
              "name": "csi-vol-5ea23eb0-284d-11ed-95e0-0a580a810215"
          },
          {
              "name": "csi-vol-25266061-284c-11ed-95e0-0a580a810215"
          }
      ]
      
      $ ceph fs subvolume metadata ls ocs-storagecluster-cephfilesystem csi-vol-3536db13-2850-11ed-95e0-0a580a810215 --group_name=csi --format=json
      
      {
          "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
          "csi.storage.k8s.io/pv/name": "pvc-43d55ea1-95c0-42c8-8616-4ee70b504445",
          "csi.storage.k8s.io/pvc/name": "cephfs-pvc-restore",
          "csi.storage.k8s.io/pvc/namespace": "openshift-storage"
      }

第4章 アラート

4.1. アラートの設定

内部モードのクラスターの場合、ストレージメトリクスサービス、ストレージクラスター、ディスクデバイス、クラスターの正常性、クラスター容量などに関連する各種のアラートが Block および File およびオブジェクトダッシュボードに表示されます。これらのアラートは外部モードでは使用できません。

注記

このパネルには発生するアラートのみが表示されるため、アラートがアラートパネルに表示されるまでに数分の時間がかかる場合があります。

また、追加の詳細情報と共にアラートを表示し、OpenShift Container Platform でアラートの表示をカスタマイズすることもできます。

詳細は、アラートの管理 を参照してください。

第5章 リモートヘルスモニタリング

OpenShift Data Foundation はクラスターの正常性、使用状況、およびクラスターのサイズについての匿名の集計情報を収集し、統合コンポーネントの Telemetry 経由で これを Red Hat にレポートします。Red Hat では、このような情報を OpenShift Data Foundation の改善のために、またお客様に影響を与える問題への対応を迅速化するために使用します。

Telemetry 経由でデータを Red Hat にレポートするクラスターは 接続クラスター (connected cluster) と見なされます。

5.1. Telemetry について

Telemetry は厳選されたクラスターモニタリングメトリクスのサブセットを Red Hat に送信します。これらのメトリクスは継続的に送信され、以下について記述します。

  • OpenShift Data Foundation クラスターのサイズ
  • OpenShift Data Foundation コンポーネントの正常性およびステータス
  • 実行されるアップグレードの正常性およびステータス
  • OpenShift Data Foundation のコンポーネントおよび機能についての使用情報 (一部の制限された情報)
  • クラスターモニタリングコンポーネントによってレポートされるアラートについてのサマリー情報

Red Hat では、リアルタイムでクラスターの正常性をモニターし、お客様に影響を与える問題に随時対応するためにこのデータの継続的なストリームを使用します。またこれにより、Red Hat がサービスへの影響を最小限に抑えつつつアップグレードエクスペリエンスの継続的な改善に向けた OpenShift Data Foundation のアップグレードの展開を可能にします。

このデバッグ情報は、サポートケースでレポートされるデータへのアクセスと同じ制限が適用された状態で Red Hat サポートおよびエンジニアリングチームが利用できます。接続クラスターのすべての情報は、OpenShift Data Foundationd をより使用しやすく、より直感的に使用できるようにするために Red Hat によって使用されます。この情報のいずれもサードパーティーと共有されることはありません。

5.2. Telemetry で収集される情報

Telemetry によって収集される主な情報には、以下が含まれます。

  • Ceph クラスターのバイト単位のサイズ: "ceph_cluster_total_bytes"
  • 使用される Ceph クラスターストレージの量 (バイト単位): "ceph_cluster_total_used_raw_bytes"
  • Ceph クラスターの正常性ステータス: "ceph_health_status"
  • オブジェクトストレージデバイス (OSD) の総数: "job:ceph_osd_metadata:count"
  • Red Hat OpenShift Container Platform クラスターに存在する OpenShift Data Foundation Persistent Volume (PV) の総数: "job:kube_pv:count"
  • Ceph クラスター内のすべてのプールの 1 秒あたりの入出力操作 (IOPS) (読み取り + 書き込み) の合計値: "job:ceph_pools_iops:total"
  • Ceph クラスター内のすべてのプールの合計 IOPS (読み取り + 書き込み) 値 (バイト単位): "job:ceph_pools_iops_bytes:total"
  • 実行中の Ceph クラスターバージョンの合計数: "job:ceph_versions_running:count"
  • 異常な NooBaa バケットの総数: "job:noobaa_total_unhealthy_buckets:sum"
  • NooBaa バケットの総数: "job:noobaa_bucket_count:sum"
  • NooBaa オブジェクトの総数: "job:noobaa_total_object_count:sum"
  • NooBaa アカウントの数: "noobaa_accounts_num"
  • NooBaa によるストレージの合計使用量 (バイト単位): "noobaa_total_usage"
  • 特定のストレージプロビジョナーからの永続ボリューム要求 (PVC) によって要求されたストレージの合計量 (バイト単位): "cluster:kube_persistentvolumeclaim_resource_requests_storage_bytes:provisioner:sum"
  • 特定のストレージプロビジョナーからの PVC によって使用されるストレージの合計量 (バイト単位): "cluster:kubelet_volume_stats_used_bytes:provisioner:sum"

Telemetry は、ユーザー名、パスワード、ユーザーリソースの名前またはアドレスなどの識別情報を収集しません。