OSSで作る機械学習のCI/CD

機械学習のモデル開発では2種類のテストがあります。プログラム自体のユニットテストと、機械学習モデルの評価としてのテストです。前者はコーディングの妥当性やカバレッジでレビューできますが、後者はコーディングのみで評価することができません。本セッションでは両方のテストをGithub Actionsで実行し、プログラムの正常性と機械学習モデル開発の妥当性を評価する仕組みを説明します。機械学習のテストのためにはモデルを評価するデータの管理が必要であり、そのツールとしてDVCというOSSを使います。評価自体にはCMLというOSSを使い、Github Actionsの中で機械学習モデルを実行し、DVCから得たデータで評価した結果をPRと連携します。機械学習のモデル開発に伴うデータ管理や評価をGitFlowとして管理し、機械学習開発の品質向上を目指します。

Yusuke Shibui

登壇者プロフィール

Yusuke Shibui

株式会社ティアフォー

MLOpsエンジニア

https://github.com/shibuiwilliam

発表資料

澁井雄介(しぶい・ゆうすけ) 株式会社ティアフォー所属。 MLOpsエンジニア、インフラエンジニア、ARエンジニア、ネコ2匹の飼い主。本業で自動運転のためのMLOps基盤をKubernetesで開発。過去にはSIer、外資ソフトウェアベンダー、スタートアップで新規プロダクトの起ち上げ、大規模システム運用、チームマネジメントに従事。『AIエンジニアのための機械学習システムデザインパターン』著者