RHOCP 4 ではストリームあたりの LokiStack 流量が制限される

Issue

• Loki 内部ログが ストリームごとに流量制御 されています。
• アラート X% of records have resulted in an error by openshift-logging/collector-xxx collector component" is active
• ログを Loki に転送するときの ストリームごとの取り込み流量制御 を、最小限の労力で継続的に調整するにはどうしたらよいですか?
• Loki の "ストリームごとの取り込み流量" を自動的に制御します。

• Loki Ingester Pod が次のようなエラーメッセージを出力します。

  level=warn ts=2024-08-07T15:38:10.37249059Z caller=grpc_logging.go:57 method=/logproto.Pusher/Push duration=749.707µs err="rpc error: code = Code(429) desc = entry with timestamp 2024-08-07 15:38:10.26457417 +0000 UTC ignored, reason: 'Per stream rate limit exceeded (limit: 5MB/sec) while attempting to ingest for stream '{kubernetes_container_name=\"<container name>\", kubernetes_host=\"<hostname>\", kubernetes_namespace_name=\"<namespace>\", kubernetes_pod_name=\"<pod name>\", log_type=\"<log type>\"}' totaling 4305B, consider splitting a stream via additional labels or contact your Loki administrator to see if the limit can be increased'