第6章 ログのサードパーティーシステムへの転送

手順

1. 以下のように ClusterLogForwarder CR YAML ファイルを作成します。

   apiVersion: "logging.openshift.io/v1"
   kind: ClusterLogForwarder
   metadata:
     name: instance 1
     namespace: openshift-logging 2
   spec:
     outputs:
      - name: elasticsearch-insecure 3
        type: "elasticsearch" 4
        url: http://elasticsearch.insecure.com:9200 5
      - name: elasticsearch-secure
        type: "elasticsearch"
        url: https://elasticsearch.secure.com:9200
        secret:
           name: es-secret 6
     pipelines:
      - name: application-logs 7
        inputRefs: 8
        - application
        - audit
        outputRefs:
        - elasticsearch-secure 9
        - default 10
        labels:
          myLabel: "myValue" 11
      - name: infrastructure-audit-logs 12
        inputRefs:
        - infrastructure
        outputRefs:
        - elasticsearch-insecure
        labels:
          logs: "audit-infra"

   1

   ClusterLogForwarder CR の名前は instance である必要があります。

   2

   ClusterLogForwarder CR の namespace は openshift-logging である必要があります。

   3

   出力の名前を指定します。

   4

   elasticsearch タイプを指定します。

   5

   外部 Elasticsearch インスタンスの URL およびポートを有効な絶対 URL として指定します。http (セキュアでない) プロトコルまたは https (セキュアな HTTP) プロトコルを使用できます。CIDR アノテーションを使用するクラスター全体のプロキシーが有効になっている場合、出力は IP アドレスではなくサーバー名または FQDN である必要があります。

   6

   https 接頭辞を使用する場合、TLS 通信のエンドポイントに必要なシークレットの名前を指定する必要があります。シークレットは openshift-logging プロジェクトに存在し、tls.crt、tls.key、および ca-bundle.crt のキーが含まれる必要があります。これらは、それぞれが表す証明書を参照します。

   7

   オプション: パイプラインの名前を指定します。

   8

   パイプラインを使用して、転送する必要のあるログタイプを指定します (application infrastructure、または audit)。

   9

   ログを転送するためにそのパイプラインで使用する出力を指定します。

   10

   オプション: ログを内部 Elasticsearch インスタンスに送信するために default 出力を指定します。

   11

   オプション: 文字列。ログに追加する 1 つまたは複数のラベル。

   12

   オプション: サポートされるタイプの他の外部ログアグリゲーターにログを転送するように複数の出力を設定します。

   • オプション。パイプラインを説明する名前。
   • inputRefs は、そのパイプラインを使用して転送するログタイプです (application、infrastructure、または audit)。
   • outputRefs は使用する出力の名前です。
   • オプション: 文字列。ログに追加する 1 つまたは複数のラベル。

2. CR オブジェクトを作成します。

   $ oc create -f <file-name>.yaml

手順

1. 以下のように ClusterLogForwarder CR YAML ファイルを作成します。

   apiVersion: logging.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance 1
     namespace: openshift-logging 2
   spec:
     outputs:
      - name: fluentd-server-secure 3
        type: fluentdForward 4
        url: 'tls://fluentdserver.security.example.com:24224' 5
        secret: 6
           name: fluentd-secret
      - name: fluentd-server-insecure
        type: fluentdForward
        url: 'tcp://fluentdserver.home.example.com:24224'
     pipelines:
      - name: forward-to-fluentd-secure 7
        inputRefs:  8
        - application
        - audit
        outputRefs:
        - fluentd-server-secure 9
        - default 10
        labels:
          clusterId: "C1234" 11
      - name: forward-to-fluentd-insecure 12
        inputRefs:
        - infrastructure
        outputRefs:
        - fluentd-server-insecure
        labels:
          clusterId: "C1234"

   1

   ClusterLogForwarder CR の名前は instance である必要があります。

   2

   ClusterLogForwarder CR の namespace は openshift-logging である必要があります。

   3

   出力の名前を指定します。

   4

   fluentdForward タイプを指定します。

   5

   外部 Fluentd インスタンスの URL およびポートを有効な絶対 URL として指定します。tcp (セキュアでない) プロトコルまたは tls (セキュアな TCP) プロトコルを使用できます。CIDR アノテーションを使用するクラスター全体のプロキシーが有効になっている場合、出力は IP アドレスではなくサーバー名または FQDN である必要があります。

   6

   tls 接頭辞を使用する場合、TLS 通信のエンドポイントに必要なシークレットの名前を指定する必要があります。シークレットは openshift-logging プロジェクトに存在し、tls.crt、tls.key、および ca-bundle.crt のキーが含まれる必要があります。これらは、それぞれが表す証明書を参照します。

   7

   オプション。パイプラインの名前を指定します。

   8

   パイプラインを使用して、転送する必要のあるログタイプを指定します (application infrastructure、または audit)。

   9

   ログを転送するためにそのパイプラインで使用する出力を指定します。

   10

   オプション。ログを内部 Elasticsearch インスタンスに転送するために default 出力を指定します。

   11

   オプション: 文字列。ログに追加する 1 つまたは複数のラベル。

   12

   オプション: サポートされるタイプの他の外部ログアグリゲーターにログを転送するように複数の出力を設定します。

   • オプション。パイプラインを説明する名前。
   • inputRefs は、そのパイプラインを使用して転送するログタイプです (application、infrastructure、または audit)。
   • outputRefs は使用する出力の名前です。
   • オプション: 文字列。ログに追加する 1 つまたは複数のラベル。

2. CR オブジェクトを作成します。

   $ oc create -f <file-name>.yaml

手順

1. 以下のように ClusterLogForwarder CR YAML ファイルを作成します。

   apiVersion: logging.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance 1
     namespace: openshift-logging 2
   spec:
     outputs:
      - name: rsyslog-east 3
        type: syslog 4
        syslog: 5
          facility: local0
          rfc: RFC3164
          payloadKey: message
          severity: informational
        url: 'tls://rsyslogserver.east.example.com:514' 6
        secret: 7
           name: syslog-secret
      - name: rsyslog-west
        type: syslog
        syslog:
         appName: myapp
         facility: user
         msgID: mymsg
         procID: myproc
         rfc: RFC5424
         severity: debug
        url: 'udp://rsyslogserver.west.example.com:514'
     pipelines:
      - name: syslog-east 8
        inputRefs: 9
        - audit
        - application
        outputRefs: 10
        - rsyslog-east
        - default 11
        labels:
          secure: "true" 12
          syslog: "east"
      - name: syslog-west 13
        inputRefs:
        - infrastructure
        outputRefs:
        - rsyslog-west
        - default
        labels:
          syslog: "west"

   1

   ClusterLogForwarder CR の名前は instance である必要があります。

   2

   ClusterLogForwarder CR の namespace は openshift-logging である必要があります。

   3

   出力の名前を指定します。

   4

   syslog タイプを指定します。

   5

   オプション。以下に一覧表示されている syslog パラメーターを指定します。

   6

   外部 syslog インスタンスの URL およびポートを指定します。udp (セキュアでない)、tcp (セキュアでない) プロトコル、または tls (セキュアな TCP) プロトコルを使用できます。CIDR アノテーションを使用するクラスター全体のプロキシーが有効になっている場合、出力は IP アドレスではなくサーバー名または FQDN である必要があります。

   7

   tls 接頭辞を使用する場合、TLS 通信のエンドポイントに必要なシークレットの名前を指定する必要があります。シークレットは openshift-logging プロジェクトに存在し、tls.crt、tls.key、および ca-bundle.crt のキーが含まれる必要があります。これらは、それぞれが表す証明書を参照します。

   8

   オプション: パイプラインの名前を指定します。

   9

   パイプラインを使用して、転送する必要のあるログタイプを指定します (application infrastructure、または audit)。

   10

   ログを転送するためにそのパイプラインで使用する出力を指定します。

   11

   オプション: ログを内部 Elasticsearch インスタンスに転送するために default 出力を指定します。

   12

   オプション: 文字列。ログに追加する 1 つまたは複数のラベル。"true" などの引用値は、ブール値としてではなく、文字列値として認識されるようにします。

   13

   オプション: サポートされるタイプの他の外部ログアグリゲーターにログを転送するように複数の出力を設定します。

   • オプション。パイプラインを説明する名前。
   • inputRefs は、そのパイプラインを使用して転送するログタイプです (application、infrastructure、または audit)。
   • outputRefs は使用する出力の名前です。
   • オプション: 文字列。ログに追加する 1 つまたは複数のラベル。

2. CR オブジェクトを作成します。

   $ oc create -f <file-name>.yaml

手順

1. 以下のように ClusterLogForwarder CR YAML ファイルを作成します。

   apiVersion: logging.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance 1
     namespace: openshift-logging 2
   spec:
     outputs:
      - name: app-logs 3
        type: kafka 4
        url: tls://kafka.example.devlab.com:9093/app-topic 5
        secret:
          name: kafka-secret 6
      - name: infra-logs
        type: kafka
        url: tcp://kafka.devlab2.example.com:9093/infra-topic 7
      - name: audit-logs
        type: kafka
        url: tls://kafka.qelab.example.com:9093/audit-topic
        secret:
           name: kafka-secret-qe
     pipelines:
      - name: app-topic 8
        inputRefs: 9
        - application
        outputRefs: 10
        - app-logs
        labels:
          logType: "application" 11
      - name: infra-topic 12
        inputRefs:
        - infrastructure
        outputRefs:
        - infra-logs
        labels:
          logType: "infra"
      - name: audit-topic
        inputRefs:
        - audit
        outputRefs:
        - audit-logs
        - default 13
        labels:
          logType: "audit"

   1

   ClusterLogForwarder CR の名前は instance である必要があります。

   2

   ClusterLogForwarder CR の namespace は openshift-logging である必要があります。

   3

   出力の名前を指定します。

   4

   kafka タイプを指定します。

   5

   Kafka ブローカーの URL およびポートを有効な絶対 URL として指定し、オプションで特定のトピックで指定します。tcp (セキュアでない) プロトコルまたは tls (セキュアな TCP) プロトコルを使用できます。CIDR アノテーションを使用するクラスター全体のプロキシーが有効になっている場合、出力は IP アドレスではなくサーバー名または FQDN である必要があります。

   6

   tls 接頭辞を使用する場合、TLS 通信のエンドポイントに必要なシークレットの名前を指定する必要があります。シークレットは openshift-logging プロジェクトに存在し、tls.crt、tls.key、および ca-bundle.crt のキーが含まれる必要があります。これらは、それぞれが表す証明書を参照します。

   7

   オプション: 非セキュアな出力を送信するには、URL の前に tcp の接頭辞を使用します。また、この出力の secret キーとその name を省略します。

   8

   オプション: パイプラインの名前を指定します。

   9

   パイプラインを使用して、転送する必要のあるログタイプを指定します (application infrastructure、または audit)。

   10

   ログを転送するためにそのパイプラインで使用する出力を指定します。

   11

   オプション: 文字列。ログに追加する 1 つまたは複数のラベル。

   12

   オプション: サポートされるタイプの他の外部ログアグリゲーターにログを転送するように複数の出力を設定します。

   • オプション。パイプラインを説明する名前。
   • inputRefs は、そのパイプラインを使用して転送するログタイプです (application、infrastructure、または audit)。
   • outputRefs は使用する出力の名前です。
   • オプション: 文字列。ログに追加する 1 つまたは複数のラベル。

   13

   オプション: ログを内部 Elasticsearch インスタンスに転送するために default を指定します。

2. オプション: 1 つの出力を複数の kafka ブローカーに転送するには、以下の例のように kafka ブローカーの配列を指定します。

   ...
   spec:
     outputs:
     - name: app-logs
       type: kafka
       secret:
         name: kafka-secret-dev
       kafka:  1
         brokers: 2
           - tls://kafka-broker1.example.com:9093/
           - tls://kafka-broker2.example.com:9093/
         topic: app-topic 3
   ...

   1

   brokers および topic キーを持つ kafka キーを指定します。

   2

   brokers キーを指定して、1 つ以上のブローカーを指定します。

   3

   topic キーを使用して、ログを受信するターゲットトピックを指定します。

3. CR オブジェクトを作成します。

   $ oc create -f <file-name>.yaml

手順

1. 以下のように ClusterLogForwarder CR YAML ファイルを作成します。

   apiVersion: logging.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance 1
     namespace: openshift-logging 2
   spec:
     outputs:
      - name: fluentd-server-secure 3
        type: fluentdForward 4
        url: 'tls://fluentdserver.security.example.com:24224' 5
        secret: 6
           name: fluentd-secret
      - name: fluentd-server-insecure
        type: fluentdForward
        url: 'tcp://fluentdserver.home.example.com:24224'
     inputs: 7
      - name: my-app-logs
        application:
           namespaces:
           - my-project
     pipelines:
      - name: forward-to-fluentd-insecure 8
        inputRefs: 9
        - my-app-logs
        outputRefs: 10
        - fluentd-server-insecure
        labels: 11
          project: "my-project"
      - name: forward-to-fluentd-secure 12
        inputRefs:
        - application
        - audit
        - infrastructure
        outputRefs:
        - fluentd-server-secure
        - default
        labels:
          clusterId: "C1234"

   1

   ClusterLogForwarder CR の名前は instance である必要があります。

   2

   ClusterLogForwarder CR の namespace は openshift-logging である必要があります。

   3

   出力の名前を指定します。

   4

   出力タイプ elasticsearch、fluentdForward、syslog、または kafka を指定します。

   5

   外部ログアグリゲーターの URL およびポートを有効な絶対 URL として指定します。CIDR アノテーションを使用するクラスター全体のプロキシーが有効になっている場合、出力は IP アドレスではなくサーバー名または FQDN である必要があります。

   6

   tls 接頭辞を使用する場合、TLS 通信のエンドポイントに必要なシークレットの名前を指定する必要があります。シークレットは openshift-logging プロジェクトに存在し、tls.crt、tls.key、および ca-bundle.crt のキーが含まれる必要があります。これらは、それぞれが表す証明書を参照します。

   7

   指定されたプロジェクトからアプリケーションログをフィルターするための入力の設定。

   8

   入力を使用してプロジェクトアプリケーションログを外部 Fluentd インスタンスに送信するためのパイプラインの設定。

   9

   my-app-logs 入力。

   10

   使用する出力の名前。

   11

   オプション: 文字列。ログに追加する 1 つまたは複数のラベル。

   12

   ログを他のログアグリゲーターに送信するためのパイプラインの設定。

   • オプション: パイプラインの名前を指定します。
   • パイプラインを使用して、転送する必要のあるログタイプを指定します (application infrastructure、または audit)。
   • ログを転送するためにそのパイプラインで使用する出力を指定します。
   • オプション: ログを内部 Elasticsearch インスタンスに転送するために default 出力を指定します。
   • オプション: 文字列。ログに追加する 1 つまたは複数のラベル。

2. CR オブジェクトを作成します。

   $ oc create -f <file-name>.yaml

1. secure-forward という名前の設定ファイルを作成し、<store> スタンザ内に以下のようなパラメーターを指定します。

   <store>
     @type forward
     <security>
       self_hostname ${hostname}
       shared_key <key> 1
     </security>
     transport tls 2
     tls_verify_hostname <value> 3
     tls_cert_path <path_to_file> 4
     <buffer> 5
       @type file
       path '/var/lib/fluentd/secureforwardlegacy'
       queued_chunks_limit_size "#{ENV['BUFFER_QUEUE_LIMIT'] || '1024' }"
       chunk_limit_size "#{ENV['BUFFER_SIZE_LIMIT'] || '1m' }"
       flush_interval "#{ENV['FORWARD_FLUSH_INTERVAL'] || '5s'}"
       flush_at_shutdown "#{ENV['FLUSH_AT_SHUTDOWN'] || 'false'}"
       flush_thread_count "#{ENV['FLUSH_THREAD_COUNT'] || 2}"
       retry_max_interval "#{ENV['FORWARD_RETRY_WAIT'] || '300'}"
       retry_forever true
     </buffer>
     <server>
       name 6
       host 7
       hostlabel 8
       port 9
     </server>
     <server> 10
       name
       host
     </server>

   1

   ノード間で共有キーを入力します。

   2

   tls を指定して TLS 検証を有効にします。

   3

   サーバー証明書のホスト名を確認するには true に設定します。サーバー証明書のホスト名を無視するには、false に設定します。

   4

   プライベート CA 証明書ファイルへのパスを /etc/ocp-forward/ca_cert.pem として指定します。

   5

   必要に応じて Fluentd バッファーパラメーター を指定します。

   6

   オプションで、このサーバーの名前を入力します。

   7

   サーバーのホスト名または IP を指定します。

   8

   サーバーのホストラベルを指定します。

   9

   サーバーのポートを指定します。

   10

   オプションで、サーバーを追加します。2 つ以上のサーバーを指定する場合、forward はこれらのサーバーノードをラウンドロビン順で使用します。

   相互 TLS (mTLS) を使用するには、クライアント証明書およびキーパラメーターその他の設定に関する情報として Fluentd ドキュメント を参照してください。

2. 設定ファイルから openshift-logging プロジェクトに secure-forward という名前の設定マップを作成します。

   $ oc create configmap secure-forward --from-file=secure-forward.conf -n openshift-logging

1. syslog.conf という名前の設定ファイルを作成し、<store> スタンザ内に以下のようなパラメーターを指定します。

   <store>
   @type <type> 1
   remote_syslog <syslog-server> 2
   port 514 3
   hostname ${hostname}
   remove_tag_prefix <prefix> 4
   facility <value>
   severity <value>
   use_record <value>
   payload_key message
   rfc 3164 5
   </store>

   1

   使用するプロトコル (syslog または syslog_buffered のいずれか) を指定します。

   2

   syslog サーバーの FQDN または IP アドレスを指定します。

   3

   syslog サーバーのポートを指定します。

   4

   オプション: 以下のように適切な syslog パラメーターを指定します。

   • syslog 接頭辞から指定された tag フィールドを削除するためのパラメーター。
   • 指定されたフィールドを syslog キーとして設定するパラメーター。
   • syslog ログファシリティーまたはソースを指定するパラメーター。
   • syslog ログの重大度を指定するパラメーター。
   • レコードの重大度およびファシリティーを使用するためのパラメーター (ある場合)。true の場合、container_name、namespace_name、および pod_name は、出力の内容に組み込まれます。
   • syslog メッセージのペイロードを設定するためのキーの指定に使用するパラメーター。デフォルトは message に設定されます。

   5

   レガシーの syslog メソッドでは、rfc 値に 3164 を指定する必要があります。

2. 設定ファイルから openshift-logging プロジェクトに syslog という名前の設定マップを作成します。

   $ oc create configmap syslog --from-file=syslog.conf -n openshift-logging