15億を超えるオブジェクトを持つS3バケットからデータを消すためのプロセスとテクニックを、『DRIVE CHART』の運用で実際に行ったケースに沿ってご紹介します。
こんにちは、Mobility Technologiesのデータエンジニアの渡部徹太郎です。データサイエンティストの皆さん、以下のような状況になったことないでしょうか。こういったときは以下の資料を見てください。きっと解決します!スライドへのリンクこの資料は、先日社内の勉強会で説明した資料になります。
DRIVE CHARTでは、機械学習システムのデータパイプラインとしてAirflowを利用しています。 今回は、AWSで提供されているマネージドサービス「Amazon Managed Workflows for Apache Airflow(MWAA)」に移行したので、ちょっとしたtipsや導入・運用時のハマリポイントをまとめようと思います。
DRIVE CHARTのAIシステムの開発・運用では、EKS上に構築したKubeflow Pipelinesをワークフロー環境として利用しています。本投稿では、このプラットフォームの活用や構成、構築やスケールの過程で遭遇した問題とその解決についてご紹介します。
こんにちは。AI技術開発部 MLエンジニアリング第1グループの築山です。以前、社内でOptunaとKubeflow Pipelines(以下KFP)を用いて並列ハイパーパラメータチューニングを行い、とあるプロダクト(後述する『お客様探索ナビ』の経路推薦システム)のパラメータに適用する機会がありました。
はじめまして、AI技術開発部の齋藤です。現在MoTではタクシー配車アプリの「GO」と「JapanTaxi」アプリを運営していますが、今回はDataRobot Japan主催の第1回 MLOps 勉強会 Tokyoにて、「JapanTaxi」アプリに導入している機械学習モデルについてお話させていただいたのでそちらについて紹介します。