8月24日,
大量に発生するデータをリアルタイムでハンドリングするパブサブ
Kafka誕生から10年近く経った現在,
Kafkaにおける 「コンセプチュアルインテグリティ」 を実現するために
「すばらしいアーキテクチャにはコンセプチュアルインテグリティ
- スケーラビリティ
- マルチテナンシー,
ブローカーの追加=キャパシティの増加, すべてのディメンジョンでリニアにスケール - 使いやすい運用環境
(Operationally Friendly) - 整備されたドキュメント,
監視可能, 自動化のしやすさ, メンバーどうしの共同作業のしやすさ, 効率性 (=安価であること) - 弾力性
(Elasticity) - ブローカーの追加/削除のしやすさ,
ワークロードの変更に対する適応
ではこうした要点を押さえた上で,
- KIP-405
「Kafka Tiered Storage」 …ストレージ階層化 - KIP-500
「Replace Zookeeper with a Self-Managed Metadata Quorum」 …メタデータ管理におけるZooKeeper依存の廃止
このうち,
まずはデータプレーンのアップデートであるストレージ階層化について。KIP-405ではKafkaクラスタのストレージをローカルとリモートの2階層に分け,
- ほぼ制限なしでの履歴保存
- プラガブルストレージの実現
- 容易なキャパシティプランニング
を挙げていますが,
そして,