クラウドネイティブ × 持続可能なセルフサービス型データ分析ジョブプラットフォームの設計プラクティス
リクルートにおけるデータ活用の多様化とデータによる意思決定を加速させるためには、それを支える汎用的なデータプラットフォームが必要です。これらを実現するために我々のチームではセルフサービス型のジョブプラットフォームを開発・運用しています。セルフサービス型ジョブプラットフォームとは、プラットフォーム開発者を介することなく、データサイエンティストやデータプランナーが自由にデータを処理するためのジョブを開発・運用できるようにするための社内向け PaaS です。本セッションでは基盤の安定性と開発効率・データ活用のアジリティを高める設計思想と GoogleCloud/Kubernetes/ApacheAirflow2 などを利用した実装詳細、運用知見をご紹介します。
Koji Suganuma
登壇者プロフィール
Koji Suganuma
株式会社リクルート
Software Engineer / Engineering Lead
kojisuganuma
kojisuganuma
2017年に現、株式会社リクルート入社。ML Engineer, Data Engineer, Product Manager を経験し、現在は Software Engineer として SRE/DevOps など幅広い開発・運用に従事。データプラットフォーム開発チームの Engineering Lead を兼務。社内プロジェクト賞受賞・情報処理学会発表・全社表彰受賞、各種勉強会登壇など。兼業としてスタートアップの MLOps 基盤の設計・導入にも取り組んでいる。