Apache Kafka が生まれた理由

こんにちは、Red Hat SSA の小杉です。

本日は LinkedIn のレポートを深く読み、 LinkedIn がなぜ Apache Kafka を作ったのかについて見てみたいと思います。

kenta-kosugi.medium.com

なお、LinkedIn で利用されているアクティビティデータは顧客が UI を操作したことに着目した"イベント"です。

Netflix でも Apache Kafka を使ったデータパイプラインを構築しており、そこでは以下の”イベント"を大量に扱っています。

  • ビデオ視聴活動
  • UI アクティビティ
  • エラー
  • パフォーマンスイベント
  • トラブルシューティングと診断イベント

netflixtechblog.com

* 各記事は著者の見解によるものでありその所属組織を代表する公式なものではありません。その内容については非公式見解を含みます。