BigQuery を含む記事
AI技術開発部の老木です。今回、分析ログの増大が課題となりJSON型の導入を検討しました。分析ログをJSON化した際に問題となる配列の扱いについて紹介します。
MoTでは、クラウドインフラサービスとして主にAWSとGCPを利用しており、コストの管理・確認についてもそれぞれのクラウドインフラサービスが提供しているコストレポートやダッシュボードを利用して確認しています。 今回、AWSとGCPにまたがっているサービスや、両方のコストレポートを行き来せずに確認できる環境が欲しいという要望から、AWSとGCPのコストをGCPのBigQueryに集約させる仕組みを検討し準備しました。そちらの構成内容を紹介します。
タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。BigQuery Remote Functions (Preview) を利用することのメリットや、導入にあたり工夫した点を紹介します。※ 本記事の対象読者は BigQuery を利用してパイプラインを作成している方を対象にしています
BigQuery でさまざまな情報が JSON 形式で格納されているテーブルはありませんか？ MoT でも JSON 形式でログ情報を格納しているテーブルが存在します。そのようなテーブルの難点と、難点を克服するためのエンジニアリングについて紹介します。
AI技術開発部アルゴリズムグループの島越です。前回は、アルゴリズムグループの老木と島越がGoogle Cloud Day: Digital' 21 で登壇した内容について、BigQueryの活用例についてまで紹介しました。こちらの後半パートでは、BigQuery ML の活用例について紹介していきます。当日の動画はGoogle Cloud Dayのサイトに、スライドについてはこちらに公開されています。
AI技術開発部アルゴリズムグループの島越です。今回は、アルゴリズムグループの老木と島越がGoogle Cloud Day: Digital' 21のブレイクアウトセッションで「AI を用いたタクシー配車における BigQuery 徹底活用術」というタイトルで登壇しましたので、その内容について紹介させていただきます。なお、当日の動画はGoogle Cloud Dayのサイトで視聴することができます。また、スライドについてもこちらに公開されています。ブログについては、老木が発表した部分を前半パート、島越が発表した部分を後半パートとして紹介させていただきます。この記事は前半パートの記事となっています。
はじめまして、AI技術開発部 分析グループ の浅見です。Mobility Technologies（MoT）では、BigQuery上でログの保存やデータマート運用を行い、集計や分析をした上で、LookerやGoogleスプレッドシートで効果検証などをレポート化しています。BigQueryはとても強力なツールなのですが、統計処理を入れようとすると、PythonやRなどの別モジュールを構築する必要があり、メンテナンスコストが発生してしまいます。そんな時のため、BigQuery内で統計処理を完結させるちょっとしたTipsを紹介します。
次世代事業本部 データビジネス部 KUUグループ の田中です。今回はシステムのログを分析をしやすくするためにAWSのCloudWatch LogsのログをGCPのBigQueryに転送する仕組みを構築し、BigQuery上で分析できるようにした話です。