Apache Kafka on K8s(Strimzi) をコントロールする Cruise Control

こんにちは小杉です。

Red Hat AMQ Streams 1.5.0 がリリースされました。様々な機能が拡張されましたが、 その中でも今回は Tech Preview になった Cruise Control をご紹介します。

LinkedIn では1800以上の Kafka ブローカーが起動し、毎日1台は故障するとのことです。 (この数は 2017 年当時の数で現在のブローカー数はもっと増えているようです) また、負荷を分散するために Kafka ブローカーを追加することも行われます。

そうするとリーダーレプリカが特定のブローカーに偏るという現象が発生します。 リーダーレプリカを分散させるために手動でリバランスを実施する必要がありますが、LinkedIn によって開発された Cruise Control を使用すると、パーティションの CPU 使用率やネットワーク使用率、ディスク使用率、ラック配置などを鑑みてパーティションを再配置するよう提案してくれるようになります。

Kafka の用語がわからない人向けに Apache Kafka の全体像を簡単に紹介し、その上で Cruise Control を試してみました。

medium.com

Tech Preview から正式リリースになるのが待ち遠しい機能となっています。

* 各記事は著者の見解によるものでありその所属組織を代表する公式なものではありません。その内容については非公式見解を含みます。