MoTLab -GO Inc. Engineering Blog-MoTLab -GO Inc. Engineering Blog-

深掘りコンピュータビジョン！研究開発から社会実装まで #mot_tech_talk

techtalkコンピュータビジョンAI
April 20, 2022

2022年4月6日に「MoT TechTalk #11 深掘りコンピュータビジョン！研究開発から社会実装まで」（connpass）を開催しました。

本記事では当日の内容を簡単に紹介します。

当日のスライド

スライドは前半と後半で2つあります。記事の最後にアーカイブ動画も掲載しているので、そちらもぜひご覧ください！

【前半】DRIVE CHARTの話

  • DRIVE CHARTにおけるコンピュータビジョン
  • 消失点ディテクターの研究開発
  • 物体検出モデルの量子化に関する検討

【後半】道路情報の自動差分抽出プロジェクトの話

  • ドラレコ動画を使った地図メンテナンスの効率化
  • データの量や質を改善するData-Centric AIな取り組み
  • CV技術のR&Dからプロダクト実装までの道のり

MoT TechTalkとは？

MoT TechTalkは、Mobility Technologiesのエンジニアたちが、タクシーアプリGOをはじめとしたサービスやプロダクトを開発する中で得た技術的ナレッジを共有するイベントです。

11回目となる今回はMoTにおけるコンピュータビジョン（CV）技術にフォーカスし、いくつかの技術トピックについてその内容を深く紹介しました。

またこちらのツイートのスレッドで当日の様子や雰囲気を感じていただけると思います。

登壇者紹介

今回はこちらのメンバーが登壇しました。

DRIVE CHARTにおけるコンピュータビジョン

ここでは前半パートの土台となる「DRIVE CHART」について紹介しました。

DRIVE CHARTは次世代AIドラレコサービスです。ドライブレコーダーのカメラやセンサーの情報からドライバーが危険な運転をしてしまっていないか判定します。

コンピュータビジョンにおいてはドライブレコーダーの外向きカメラによる「車間距離不足」の判定や内向きカメラによる「脇見運転」の判定が関連深い要素です。

An image from Notion

消失点ディテクターの研究開発

ここでは車間距離を算出するためにドライブレコーダーの画像から消失点（vanishing point, VP）を検出するための技術について、どのような研究開発を行っているか紹介しました。

  • カメラキャリブレーションの重要性
  • 消失点（VP）ディテクターの原理
  • MoTが採用した検出方式の詳細
  • 他の検出方式との精度比較

参考）End-to-End Monocular Vanishing Point Detection Exploiting Lane Annotations

An image from Notion

物体検出モデルの量子化に関する検討

DRIVE CHARTでは物体検出モデルを含むコンピュータビジョンモデルがエッジデバイス上に複数実装されており、それらのモデルでは許容できる処理負荷内で速度や精度を最大化することが求められます。

ここでは物体検出モデルに対して量子化による高速化を目指した際、量子化につきものである精度低下をいかに抑えたか、その知見を紹介しました。

  • 量子化することでなぜ精度低下が発生してしまうのか
  • YOLOv3での量子化による精度劣化への対応
  • YOLOv5での量子化による精度劣化への対応
An image from Notion

ドラレコ動画を使った地図メンテナンスの効率化

ここからは後半パートの土台となる「道路情報の自動差分抽出プロジェクト」について紹介しました。

コンピュータビジョン技術を用いてドライブレコーダーの画像から検出した物体を地図と比較し、現況が地図から変化している箇所を抽出し地図会社に提供することで、地図更新の低コスト化と高鮮度化を実現しようという取り組みです。

またプロジェクトの概要に加え、読み取りに工夫が必要なLED型標識への対応や、標識の設置位置推定に関する技術についても紹介しています。

An image from Notion

データの量や質を改善するData-Centric AIな取り組み

道路標識は数多く種類があり、よく見かける標識は学習データが十分な量があったのですが、珍しい標識は学習データが少なく、そのままモデルを構築しても満足できる検出精度を出すことができない課題がありました。

ここでは道路標識の検出精度を向上するために行ったData-Centric AIなアプローチについて紹介しました。

  • 地図とGPSを使ってデータを効率的に集めることでデータの量を改善
  • アノテーションの間違いを修正することでデータの質を改善
  • アノテーション作業用の内製ツールについて
An image from Notion

CV技術のR&Dからプロダクト実装までの道のり

今回取り上げた道路情報の自動差分抽出プロジェクトは、主に研究職のR&Dが得意なメンバーが中心となり取り組んできました。ただプレスリリースを発信した前後でよりプロダクトへの実装を意識した開発スタイルに変化していく必要がありました。

ここではR&DをメインとしてきたメンバーがPoCフェーズとプロダクト実装フェーズでどのように開発スタイルやマインドを変化させてきたか、プロダクト実装に参画する上で実施した施策を以下3つの観点で紹介しました。

  • 知識の獲得、共通認識の醸成
  • 開発体制の整備
  • 学びの蓄積
An image from Notion

アーカイブ動画

今回非常に多くの質問や感想をいただきました。ありがとうございました。アーカイブ動画の中では以下の質問にもお答えしていますのでぜひ視聴いただければと思います。

  • 消失点ディテクターについて、画角やレンズ歪みの差異について、なんらかの対処はしているのか？
  • 消失点が分かると、カーブでも前方車両との距離は求められるのか？
  • ドライブレコーダーの内蔵カメラの内部パラメータ、外部パラメータのキャリブレーションはどのようにしているのか？
  • YOLOのmAPの結果は量子化モデルを使って再学習した結果なのか？それとも、再学習なしの結果なのか？
  • LED型標識の読み取りの際、上半分や下半分などLED の一部のみが光っているフレームが存在してもうまく読み取れるのか？
  • 道路情報の自動差分抽出プロジェクトで紹介された技術をすべてエッジで実装すると高処理になることが想像できるが、ドライブレコーダーには高性能なプロセッサを使われているのか？
  • クラウドに映像を飛ばしているとのことだが、ニアリアルタイムで処理出来るようなストリーミングパイプラインを構築しているのか？
  • 雑談や知見共有を盛り上げるための、モチベーションを維持する工夫はあるか？

開催履歴・開催予定

MoT Online Tech Talk は不定期開催しています。過去の開催レポートは こちら にもありますので、ぜひご覧ください！

MoTの最新技術情報は公式Twitterアカウント @mot_techtalk で随時発信していきますので、ぜひフォローして続報をお待ちください！

We're Hiring!

最先端のCV技術を自ら創り、PoCで終わらせることなく、サービス化し社会課題の解決につなげることに共感してくれる仲間を募集中です！今回紹介したCVエンジニアのポジション以外にもMoT では多くの専門領域でエンジニアを大募集しています。興味のある方は 採用情報ページ まで！

An image from Notion