OpenStackを担当しているソリューションアーキテクトの輿水です。
Red Hat OpenStack Platform Distributed Computes Nodes（以下DCN）はOpenStackのコントロール部分をセントラルサイトに集約し、計算リソースやストレージをエッジサイトに分散させる仕組みです。実装自体はRHOSP 10の頃より行われており、機能改善・増強が続けられています。RHOSP 16.1で大きく変わった点は、デプロイモデルとRed Hat Ceph Storage 4との統合によるストレージ機能の強化です。
DCNのデプロイモデル
現在のRHOSPはOpenStack Directorを利用してデプロイされた環境がサポート対象となっています。DCNをOpenStack Directorを利用してデプロイする際、RHOSP 16までは単一のheatスタックを利用していましたが、16.1からはエッジサイトごとにheatスタックを利用するマルチスタックデプロイが可能になりました。デプロイモデルの違いは以下の通りです。
エッジサイトでのストレージ
これまでのバージョンでは、エッジサイトではCompute Nodeのローカルのストレージのみが利用可能でしたが、16.1よりエッジサイトごとにCephクラスターを持つ事が構成がサポートされるようになりました。エッジサイトで稼働するワークロードはそのサイトのローカルのCephクラスターを利用します。また、イメージサービス（glance）マルチストアがサポートされ、各エッジサイトにイメージプールを持ち、セントラルサイトとエッジサイト間で非同期でイメージのコピーを行えるなど、管理性や性能が向上しています。
エッジサイトでは、Ceph単体ではなく、ComputeとCephが同一ノードで稼働するHCI Nodeを利用します。HCI NodeはCephの管理機能を含むため可用性を考慮して最低３台必要です。また、HCI Node以外に、Compute機能のみを持つCompute Nodeを配置することも可能です。なお、エッジサイトにストレージをデプロイする場合は、セントラルサイトにもブロックストレージをデプロイする必要があります。
エッジサイトにブロックストレージをデプロイしない場合
- GlanceのバックエンドにはSwiftを利用します
- エッジサイトのCompute Nodeはキャッシュイメージのみを持ちます
- エッジサイトではCinderのようなボリュームサービスは不可です
エッジサイトにブロックストレージをデプロイする場合
- GlanceのバックエンドはCeph RBDです
- イメージはエッジサイトにも保存されます
- Cinderボリュームサービスは、Ceph RBD driverを介してすべてのサイトで利用可能です
- HCI Nodeには以下のCeph関連のロールも設定されます。
- Block Storage (cinder) volume service
- Ceph Mon
- Ceph Mgr
- Ceph OSD
- GlanceApiEdge
RHOSP 16.1 DCN with Ceph
RHOSP 16.1とRed Hat Ceph Storage 4を利用した場合のDCN全体のアーキテクチャーは以下になります。
考慮点
DCN利用の際にはいくつかの制限事項があります。
- セントラルサイトとエッジサイト間のネットワークのRTTが100ms以下であること
- セントラルサイトとエッジサイトの接続が切れた場合は、エッジサイトでOpenStackの操作は行えません
- overcloudのイメージはセントラルサイトにあるundercloudからダウンロードされます
- インスタンスイメージは、ブロックストレージがエッジサイトにない場合、glanceイメージは最初の使用時にWANを経由して、インスタンスが起動するノードのローカルにコピーまたはキャッシュされます。glanceイメージにサイズ制限はありませんが、転送時間がネットワーク帯域幅や遅延に依存します。 ネットワーク構成については特に考慮が必要なため、詳細は公開ドキュメントを参考にしてください。
公開ドキュメント access.redhat.com
ストレージやネットワークん関して、まだ制約も多いですが、DCNの機能はRHOSP 16.1のマイナーバージョンで更に機能向上が図られておりますので、機会があればまた記事にしてゆきたいと思います。
