Cloud Native Kafka - 分散データ基盤がクラウドネイティブを目指すということ

Apache Kafkaは12年前にLinkedIn内で開発され、その後オープンソース化された分散データ基盤です。当初はLinkedInを始めとした超大規模ユーザーの意向が色濃く反映された技術で、ベアメタルでの稼働が前提でした。しかしKafkaの成長と利用の広がりに伴い、Kafka自身がよりクラウドネイティブに近づく必要に迫られました。 本セッションでは、今も進化を続けるApahce Kafkaの構造的な仕組み、そしてこれまでどの様な進化を遂げて今に至るのかをインフラ的な観点からお話しします。中でもKafkaの構成上必要なZookeeperへの依存をどの様に断ち切ったのか、KIP-500と呼ばれる3年に渡る取り組みについて詳しくご紹介します。

Shinichi Hashitani