logo
最近の検索
eye-catch-bigqyery-book
2020.02.04

【書籍紹介】「Google Cloud Platform 実践ビッグデータ分析基盤開発 ストーリーで学ぶ Google BigQuery 」

トップゲートのエンジニアが Google BigQuery 本を発刊!!

BigQuery は、Dremel という Google の社内データ解析ツールをサービスとして公開したものです。

Google 社内ではクロールした Web のドキュメントの解析、スパム解析、日々ユーザーから送られてくる大量のアプリケーションのインストールデータの解析など、多種多様なタスクをこなすために使われています。

その処理速度は1000億行のデータセットに対してインタラクティブに数十秒で結果を返してしまう程です。

本書では、社内に蓄積されているビッグデータを、新入社員が BigQuery を駆使してその優れた機能に感動しながらも悪戦苦闘し、分析基盤として利用していくサンプルケースを通して、BigQueryの利用方法を具体的に解説しています。

まずは気楽に物語を楽しみながら、登場人物達と共に BigQuery や関連する GCP サービスについて理解を深めていただければ幸いです。

本の詳細、ご予約・ご購入はこちらから

内容紹介

【Chapter.1】人物紹介とプロジェクト概要

  • ビッグデータ活用プロジェクト始動!
  • 登場人物紹介
  • データ分析の要件を決める

 

【Chapter.2】BigQueryによるデータ分析

  • BigQuery を使ってみよう
  • BigQuery のコンソール画面
  • クエリ可能なデータ量の上限を設定
  • データの読み込み
  • データの準備
  • データセットの作成
  • テーブルの作成
  • データの加工
  • データの可視化
  • データポータルとの接続
  • Google スプレッドシートとの接続
  • その他のデータの読み込み方法
  • bqコマンド
  • Google Cloud Storage
  • 複数ファイルのデータ読み込み
  • Google スプレッドシートをクエリする/li>

【Chapter.3】BigQueryの基本と特徴

  • BigQuery の仕組み
  • BigQuery のアーキテクチャ
  • カラム指向ストレージ
  • ツリーアーキテクチャ
  • データ型
  • パーティションとクラスタ
  • パーティション分割テーブル
  • クラスタ化テーブル
  • ジョブ
  • ビュー

【Chapter.4】パフォーマンスと費用

  • BigQuery のチューニング
  • 費用・パフォーマンスチューニング共通
  • 費用チューニング
  • パフォーマンスチューニング
  • BigQuery のスロット
  • BigQuery をより深く知る
  • bq query コマンドのオプション
  • BigQuery の割り当て
  • BigQueryのセキュリティ

【Chapter.5】データ収集の自動化

  • Data Warehouse の構築
  • DWH 構築の意義
  • アーキテクチャの決定
  • データソースと GCP の連携
  • データソースから GCS への連携
  • GCSからBigQuery へ
  • BigQuery Data Transfer Service
  • BigQuery 内でデータを Transform する
  • ファイルフォーマット
  • Schema
  • クエリ
  • クレンジング
  • 履歴テーブル作成
  • 分析目的に沿ったテーブルの作成
  • ワークフローのオーケストレーション
  • Cloud Composer とは?
  • 簡単なサンプルを動かして理解する
  • 'Operation' を実現する Operator
  • DWH 構築のための DAG を作ろう
  • モニタリング
  • Composer のチューニング

【Chapter.6】ストリーミング処理でのデータ収集

  • ストリーミング要件の確認
  • アーキテクチャの検討
  • マスタとの結合を BigQuery で行うパターン
  • マスタとの結合を Dataflow で行うパターン
  • アーキテクチャの比較
  • ストリーミングパイプラインの実装
  • リアルタイムデータのデータ収集
  • Dataflow SQL の実装
  • 結果の確認

本の詳細、ご予約・ご購入はこちらから

ライター

TOPGATE 編集部

Related Article !

View all

株式会社トップゲートと株式会社G-gen 合併のお知らせ

株式会社トップゲート、同社エンジニア水野 瑠太が国際的なオープンソース貢献者を表彰する「 Google Open Source Peer Bonus 」を受賞

Google Cloud Partner All-stars 2023 と Google Cloud Partner Top Engineer 2024 で社員合計 11 名が受賞

株式会社トップゲートの社員7名が、 Google Cloud Japan の Google Cloud Partner Top Engineer 2024 を受賞

”Google Cloud Challenge 2022”の優勝チームにインタビューしてみた

トップゲートとG-genが学生向けの技術コンテスト「 Google Cloud Challenge 」を共同開催。ハイスキルな学生が「学校内での困りごと」をクラウド技術で解決

トップゲートがサイトリニューアルした話

株式会社トップゲート、コーポレートアイデンティティを一新

Google Cloud の パートナーアワードプログラム にてトップゲートの社員3名が受賞

オンライン全社会でトップゲートの社内文化をチラ見せ!Google専門クラウドインテグレーターの働き方とは!?

オンライン全社会でトップゲートの社内文化をチラ見せ!Google専門クラウドインテグレーターの働き方とは!?

トップゲートが導入している福利厚生「Unipos」のご紹介!

トップゲートが採用する人ってどんな人?採用担当がホンネで話します!

【イベントレポート】技術書典YouTube Live配信に参加いたしました!

トップゲートの働き方って?人事がホンネで話します!

【書籍紹介】Google Cloud Platform 実践機械学習開発 Google Machine Learning

【書籍紹介】「Google Cloud Platform 実践機械学習開発 Google Machine Learning 」

Google Cloud Platform 実践 Web アプリ開発ストーリーで学ぶ Google App Engine

【書籍紹介】「Google Cloud Platform 実践 Web アプリ開発ストーリーで学ぶ Google App Engine」

web-db

【書籍】WEB+DB PRESS Vol.87(6月26日発売予定)

Google Cloud を使い倒せ!

【書籍紹介】「Google Cloud を使い倒せ! ゲームチェンジ時代の企業改革」

ボードゲームの切り札は「GCP」? エンジニアボドゲ交流会@トップゲートへ潜入!

ボードゲームの切り札は「GCP」? エンジニアボドゲ交流会@トップゲートへ潜入!