3.4. 10GB イーサネットを実稼働最小として使用

クラスターネットワークの帯域幅要件を慎重に検討し、ネットワークリンクのオーバーサブスクリプションに注意してください。また、クライアント間のトラフィックからクラスター内のトラフィックを分離します。

ドライブに障害が発生した場合、1Gbps ネットワーク全体で 1TB のデータの複製には 3 時間かかります。また、3TB（一般的なドライブ設定）は 9 時間かかります。これとは対照的に、10Gbps ネットワークでは、レプリケーション時間はそれぞれ 20 分と 1 時間になります。OSD が失敗すると、クラスターはプール内の他の OSD に含まれるデータをレプリケートしてリカバリーすることに注意してください。

  failed OSD(s)
  -------------
   total OSDs

ラックなどの大規模なドメインに障害が発生した場合は、クラスターが帯域幅を大幅に消費することを意味します。管理者は、通常、クラスターをできるだけ早く復元することを優先します。

少なくとも 10Gbps のイーサネットリンク 1 つをストレージハードウェアに使用する必要があります。Ceph ノードに各ドライブが多数ある場合は、接続およびスループット用にさらに 10Gbps のイーサネットリンクを追加します。

Ceph は、パブリック (フロントエンド) ネットワークとクラスター (バックエンド) ネットワークをサポートします。パブリックネットワークは、クライアントのトラフィックと Ceph モニターとの通信を処理します。クラスター (バックエンド) ネットワークは、OSD のハートビート、レプリケーション、バックフィル、およびリカバリーのトラフィックを処理します。Red Hat では、レプリケートされたプールの倍数の基礎として osd_pool_default_size を使用して、フロントサイドネットワークの倍数になるようにクラスター (バックサイド) ネットワークに帯域幅を割り当てることを推奨します。Red Hat では、パブリックネットワークとクラスターネットワークを別の NIC で実行することを推奨します。

複数のラックで構成されるクラスター（大規模なクラスターでは一般的）を構築する場合は、最適なパフォーマンスを得るために、「ファットツリー」設計でスイッチ間のネットワーク帯域幅を大量に使用することを検討してください。一般的な 10Gbps イーサネットスイッチには、48 個の 10Gbps ポートと 4 Gbps ポートがあります。スループットを最大化するには、スパイン上で 40Gbps ポートを使用します。または、QSFP+ および SFP+ ケーブルを使用した未使用の 10Gbps ポートを別のラックおよびスパインルーターに接続するために、さらに 40Gbps ポートに集計することを検討してください。