1.15. メトリックス、ログ、およびトレース

OpenShift コンソールからの手順

1. cluster-admin 権限を持つユーザーとして Red Hat OpenShift Service on AWS Web コンソールにログインします。(Red Hat OpenShift Dedicated を使用する場合) dedicated-admin ロールがあるアカウント。
2. Networking → Routes に移動します。

3. Routes ページで、Namespace メニューから Service Mesh コントロールプレーンプロジェクトを選択します (例: istio-system)。

   Location 列には、各ルートのリンク先アドレスが表示されます。

4. 必要な場合は、フィルターを使用して、アクセスするルートを持つコンポーネントコンソールを検索します。ルートの Location をクリックしてコンソールを起動します。
5. Log In With OpenShift をクリックします。

CLI からの手順

1. cluster-admin ロールを持つユーザーとして Red Hat OpenShift Service on AWS CLI にログインします。(Red Hat OpenShift Dedicated を使用する場合) dedicated-admin ロールがあるアカウント。

   $ oc login --username=<NAMEOFUSER> https://<HOSTNAME>:6443

2. Service Mesh コントロールプレーンプロジェクトに切り替えます。この例では、istio-system は Service Mesh コントロールプレーンプロジェクトです。以下のコマンドを実行します。

   $ oc project istio-system

3. 各種 Red Hat OpenShift Service Mesh コンソールのルートを取得するには、以下のコマンドを実行します。

   $ oc get routes

   このコマンドは、Kiali、Jaeger、Prometheus、および Grafana Web コンソールの URL と、サービスメッシュ内の他のルートの URL を返します。以下のような出力が表示されるはずです。

   NAME                    HOST/PORT                         SERVICES              PORT    TERMINATION
   info-gateway        bookinfo-gateway-yourcompany.com  istio-ingressgateway          http2
   grafana                 grafana-yourcompany.com           grafana               <all>   reencrypt/Redirect
   istio-ingressgateway    istio-ingress-yourcompany.com     istio-ingressgateway  8080
   jaeger                  jaeger-yourcompany.com            jaeger-query          <all>   reencrypt
   kiali                   kiali-yourcompany.com             kiali                 20001   reencrypt/Redirect
   prometheus              prometheus-yourcompany.com        prometheus            <all>   reencrypt/Redirect

4. HOST/PORT コラムからアクセスするコンソールの URL をブラウザーにコピーして、コンソールを開きます。
5. Log In With OpenShift をクリックします。

管理者の手順

1. 管理者ロールで Red Hat OpenShift Service on AWS Web コンソールにログインします。
2. Home → Projects をクリックします。
3. Projects ページで、必要に応じてフィルターを使用してプロジェクトの名前を検索します。
4. プロジェクトの名前 (例: info) をクリックします。
5. Project details ページの Launcher セクションで、Kiali リンクをクリックします。

6. Red Hat OpenShift Service on AWS コンソールにアクセスするときに使用するものと同じユーザー名とパスワードを使用して Kiali コンソールにログインします。

   初回の Kiali コンソールへのログイン時に、表示するパーミッションを持つサービスメッシュ内のすべての namespace を表示する Overview ページが表示されます。

   コンソールのインストールを検証中で、namespace がまだメッシュに追加されていないと、istio-system 以外のデータは表示されない可能性があります。

開発者の手順

1. 開発者ロールで Red Hat OpenShift Service on AWS Web コンソールにログインします。
2. Project をクリックします。
3. 必要に応じて、Project Details ページで、フィルターを使用してプロジェクトの名前を検索します。
4. プロジェクトの名前 (例: info) をクリックします。
5. Project ページの Launcher セクションで、Kiali リンクをクリックします。
6. Log In With OpenShift をクリックします。

OpenShift コンソールからの手順

1. cluster-admin 権限を持つユーザーとして Red Hat OpenShift Service on AWS Web コンソールにログインします。(Red Hat OpenShift Dedicated を使用する場合) dedicated-admin ロールがあるアカウント。
2. Networking → Routes に移動します。

3. Routes ページで、Namespace メニューから Service Mesh コントロールプレーンプロジェクトを選択します (例: istio-system)。

   Location 列には、各ルートのリンク先アドレスが表示されます。

4. 必要な場合は、フィルターを使用して jaeger ルートを検索します。ルートの Location をクリックしてコンソールを起動します。
5. Log In With OpenShift をクリックします。

Kiali コンソールからの手順

1. Kiali コンソールを起動します。
2. 左側のナビゲーションペインで Distributed Tracing をクリックします。
3. Log In With OpenShift をクリックします。

CLI からの手順

1. cluster-admin ロールを持つユーザーとして Red Hat OpenShift Service on AWS CLI にログインします。(Red Hat OpenShift Dedicated を使用する場合) dedicated-admin ロールがあるアカウント。

   $ oc login --username=<NAMEOFUSER> https://<HOSTNAME>:6443

2. コマンドラインを使用してルートの詳細をクエリーするには、以下のコマンドを入力します。この例では、istio-system が Service Mesh コントロールプレーンの namespace です。

   $ export JAEGER_URL=$(oc get route -n istio-system jaeger -o jsonpath='{.spec.host}')

3. ブラウザーを起動し、https://<JAEGER_URL> に移動します。ここで、<JAEGER_URL> は直前の手順で検出されたルートです。
4. Red Hat OpenShift Service on AWS コンソールにアクセスするときに使用するものと同じユーザー名とパスワードを使用してログインします。

5. サービスメッシュにサービスを追加し、トレースを生成している場合は、フィルターと Find Traces ボタンを使用してトレースデータを検索します。

   コンソールインストールを検証すると、表示するトレースデータはありません。

手順

1. Red Hat OpenShift Service on AWS Web コンソールにログインします。
2. Project メニューをクリックし、Service Mesh コントロールプレーンをインストールしたプロジェクト (例: istio-system) を選択します。
3. Routes をクリックします。
4. Grafana 行の Location コラムのリンクをクリックします。
5. Red Hat OpenShift Service on AWS の認証情報を使用して Grafana コンソールにログインします。

手順

1. Red Hat OpenShift Service on AWS Web コンソールにログインします。
2. Project メニューをクリックし、Service Mesh コントロールプレーンをインストールしたプロジェクト (例: istio-system) を選択します。
3. Routes をクリックします。
4. Prometheus 行の Location コラムのリンクをクリックします。
5. Red Hat OpenShift Service on AWS の認証情報を使用して Prometheus コンソールにログインします。

手順

1. 次のコマンドを実行して、Kiali の Thanos にトークンを作成します。

   1. 以下のコマンドを実行して SECRET 環境変数を設定します。

      $ SECRET=`oc get secret -n openshift-user-workload-monitoring |
       grep  prometheus-user-workload-token | head -n 1 | awk '{print $1 }'`

   2. 次のコマンドを実行して、TOKEN 環境変数を設定します。

      $ TOKEN=`echo $(oc get secret $SECRET -n openshift-user-workload-monitoring -o jsonpath='{.data.token}' | base64 -d`

   3. 次のコマンドを実行して、Kiali の Thanos にトークンを作成します。

      $ oc create secret generic thanos-querier-web-token -n istio-system --from-literal=token=$TOKEN

2. ユーザーワークロードモニターリング用に Kiali を設定します。

   apiVersion: kiali.io/v1alpha1
   kind: Kiali
   metadata:
     name: kiali-user-workload-monitoring
     namespace: istio-system
   spec:
     external_services:
       istio:
         url_service_version: 'http://istiod-basic.istio-system:15014/version'
       prometheus:
         auth:
           token: secret:thanos-querier-web-token:token
           type: bearer
           use_kiali_token: false
         query_scope:
           mesh_id: "basic-istio-system"
         thanos_proxy:
           enabled: true
         url: https://thanos-querier.openshift-monitoring.svc.cluster.local:9091
     version: v1.65

3. 外部 Prometheus 用に SMCP を設定します。

   apiVersion: maistra.io/v2
   kind: ServiceMeshControlPlane
   metadata:
     name: basic
     namespace: istio-system
   spec:
     addons:
       prometheus:
         enabled: false 1
       grafana:
         enabled: false 2
       kiali:
         name: kiali-user-workload-monitoring
   spec:
     meshConfig:
       extenstionProviders:
       - name: prometheus
         prometheus: {}

   1

   OSSM によって提供されるデフォルトの Prometheus インスタンスを無効にします。

   2

   Grafana を無効にします。外部 Prometheus インスタンスではサポートされていません。

4. カスタムネットワークポリシーを適用して、モニタリング namespace からの受信トラフィックを許可します。

   apiVersion: networking.k8s.io/v1
   kind: NetworkPolicy
   metadata:
     name: user-workload-access
     namespace: info 1
   spec:
     ingress:
     - from:
       - namespaceSelector:
           matchLabels:
             network.openshift.io/policy-group: monitoring
     podSelector: {}
     policyTypes:
     - Ingress

   1

   カスタムネットワークポリシーは、すべての namespace に適用する必要があります。

5. Telemetry オブジェクトを適用して、Istio プロキシーのトラフィックメトリックを有効にします。

   apiVersion: telemetry.istio.io/v1alpha1
   kind: Telemetry
   metadata:
     name: enable-prometheus-metrics
     namespace: istio-system 1
   spec:
     selector: 2
       matchLabels:
         app: info
     metrics:
     - providers:
       - name: prometheus

   1

   コントロールプレーンの namespace で作成された Telemetry オブジェクトは、メッシュ内のすべてのワークロードに適用されます。Telemetry を 1 つの namespace のみに適用するには、ターゲット namespace にオブジェクトを作成します。

   2

   オプション: selector.matchLabels 仕様を設定すると、ターゲット名前空間内の特定のワークロードに Telemetry オブジェクトが適用されます。

6. ServiceMonitor オブジェクトを適用して Istio コントロールプレーンを監視します。

   apiVersion: monitoring.coreos.com/v1
   kind: ServiceMonitor
   metadata:
     name: istiod-monitor
     namespace: istio-system 1
   spec:
     targetLabels:
     - app
     selector:
       matchLabels:
         istio: pilot
     endpoints:
     - port: http-monitoring
       interval: 30s
       relabelings:
       - action: replace
         replacement: "basic-istio-system" 2
         targetLabel: mesh_id

   1

   Red Hat OpenShift Service on AWS モニタリングは ServiceMonitor オブジェクトと PodMonitor オブジェクトの namespaceSelector 仕様を無視するため、コントロールプレーンの namespace を含むすべてのメッシュ namespace に PodMonitor オブジェクトを適用する必要があります。

   2

   文字列 basic-istio-system は SMCP 名とその namespace の組み合わせですが、クラスター内のユーザーワークロードモニターリングを使用するすべてのメッシュについて一意である限り、任意のラベルを使用することができます。ステップ 2 で設定された Kiali リソースの spec.prometheus.query_scope は、この値と一致する必要があります。

   注記

   ユーザーワークロードモニターリングを使用するメッシュが 1 つしかない場合は、Kiali リソースの mesh_id ラベルおよび spec.prometheus.query_scope フィールドの両方はオプションです（ただし、Mesh_id ラベルが削除される場合は、ここで指定する query_scope フィールドを削除する必要があります）。

   ユーザーワークロードモニターリングを使用して複数のメッシュがある場合、Kiali リソースの mesh_id の再ラベル付けと spec.prometheus.query_scope フィールドの両方が必要になります。これにより、Kiali は関連付けられたメッシュからのメトリクスのみを確認できるようにします。Kiali がデプロイされていない場合、異なるメッシュからのメトリクスが相互に区別されるように、mesh_id のラベル変更を適用することが推奨されます。

7. PodMonitor オブジェクトを適用して、Istio プロキシーからメトリックを収集します。

   apiVersion: monitoring.coreos.com/v1
   kind: PodMonitor
   metadata:
     name: istio-proxies-monitor
     namespace: istio-system 1
   spec:
     selector:
       matchExpressions:
       - key: istio-prometheus-ignore
         operator: DoesNotExist
     podMetricsEndpoints:
     - path: /stats/prometheus
       interval: 30s
       relabelings:
       - action: keep
         sourceLabels: [__meta_kubernetes_pod_container_name]
         regex: "istio-proxy"
       - action: keep
         sourceLabels: [__meta_kubernetes_pod_annotationpresent_prometheus_io_scrape]
       - action: replace
         regex: (\d+);(([A-Fa-f0-9]{1,4}::?){1,7}[A-Fa-f0-9]{1,4})
         replacement: '[$2]:$1'
         sourceLabels: [__meta_kubernetes_pod_annotation_prometheus_io_port,
         __meta_kubernetes_pod_ip]
         targetLabel: __address__
       - action: replace
         regex: (\d+);((([0-9]+?)(\.|$)){4})
         replacement: $2:$1
         sourceLabels: [__meta_kubernetes_pod_annotation_prometheus_io_port,
         __meta_kubernetes_pod_ip]
         targetLabel: __address__
       - action: labeldrop
         regex: "__meta_kubernetes_pod_label_(.+)"
       - sourceLabels: [__meta_kubernetes_namespace]
         action: replace
         targetLabel: namespace
       - sourceLabels: [__meta_kubernetes_pod_name]
         action: replace
         targetLabel: pod_name
       - action: replace
         replacement: "basic-istio-system" 2
         targetLabel: mesh_id

   1

   Red Hat OpenShift Service on AWS モニタリングは ServiceMonitor オブジェクトと PodMonitor オブジェクトの namespaceSelector 仕様を無視するため、コントロールプレーンの namespace を含むすべてのメッシュ namespace に PodMonitor オブジェクトを適用する必要があります。

   2

   文字列 basic-istio-system は SMCP 名とその namespace の組み合わせですが、クラスター内のユーザーワークロードモニターリングを使用するすべてのメッシュについて一意である限り、任意のラベルを使用することができます。ステップ 2 で設定された Kiali リソースの spec.prometheus.query_scope は、この値と一致する必要があります。

   注記

   ユーザーワークロードモニターリングを使用するメッシュが 1 つしかない場合は、Kiali リソースの mesh_id ラベルおよび spec.prometheus.query_scope フィールドの両方はオプションです（ただし、Mesh_id ラベルが削除される場合は、ここで指定する query_scope フィールドを削除する必要があります）。

   ユーザーワークロードモニターリングを使用して複数のメッシュがある場合、Kiali リソースの mesh_id の再ラベル付けと spec.prometheus.query_scope フィールドの両方が必要になります。これにより、Kiali は関連付けられたメッシュからのメトリクスのみを確認できるようにします。Kiali がデプロイされていない場合、異なるメッシュからのメトリクスが相互に区別されるように、mesh_id のラベル変更を適用することが推奨されます。

8. Red Hat OpenShift Service on AWS Web コンソールを開き、メトリックが表示されていることを確認します。