2014.03.26

Google Cloud Platform Live Report

dataproc
google-cloud-dataproc
hadoop
spark

昨晩行われた GCP Live のYoutubeを徹夜で見ていて、めっちゃ眠い @sinmetal です。

会場は2つあり、全てを見ることができたわけではないですが、私がキャッチできた範囲で書いていきます！
Sessionの動画は既に公開されているので、閲覧可能です！
Google Cloud Platform Live
Google Cloud Platform Live - Stage 2

Keynote from Urs Hölzle

Industry-leading, simplified pricing

Keynoteで発表された中で、驚いたのは料金改定の話でした。料金については、AWSが値下げする中、GAEは改定が無かったため、GAEが高いというイメージがあるという話をちらほら耳にしていました。

しかし、今回の大幅値下げにより、だいぶ印象が変わるでしょう。

GCE

最大 32% off Sustained Use Discounts
更に、月の25%以上の時間、仮想マシンを利用する場合、30%割引される。

GAE

instance-hours 最大 37.5% off
dedicated memcache 最大 50% off 共有memcacheは現在も無料で、専用memcacheの改定
Datastore writes 最大 33% off

GCS

2.6 cents / 1GB に改定最大約32% off

BigQuery

最大 85% off

特にBigQueryの85%offは魅力的です。 BigQueryはStreamingや、GAEのLogをpipelineでBigQueryに入れるという話も出てきたので、気軽にBigDataを扱う強力なServiceになりそうです。

Making developers more productive in the cloud

GAEのdeploy周りのツールの強化されます。現在もgit repositoryからのpush deployがPreviewとして提供されていますが、更に強化されるようです。 Cloud Consoleからgit repositoryを連携させるとbuild,test,deployまでやってくれます。 testとdeployの履歴も閲覧可能でした。更にSourceの閲覧,編集してcommitも可能で、Logのstacktraceから該当箇所を表示することも行っていました。 "connect a GitHub Repo"ボタンも見えたので、GitHubと簡単に連携できるようになってるんじゃないかな。

GCSにjenkinsのビルドログや成果物を出力するってのもデモされてました。

この機能は以下の環境に提供されます。

Python
Java Maven
Java Gradle
PHP

残念ながら、golangはありませんでした。バイナリになっちゃうからかな？

Cloud Console単独でもいけるみたいですが、jenkinsとの連携？みたいな話も出ていました。 DemoではGCE上のjenkinsを利用していましたが、たぶんServerは何処にあっても良いと思っている。

既にCloud Consoleには、Cloud Developmentがあるので、この周りが強化される感じのようです。

Introducing Managed Virtual Machines

私が待望しているVM Based Runtime(仮)周りの話です。これは、GCE上に簡単にGAEから扱えるVMを構築する機能です。 GAEにある制限が無く、GAEから扱いやすいVMを簡単に構築できます。スライドでは、Templateと呼ばれる設定ファイルを定義し、その内容に従って、VMが作成されると説明されていました。 apt-getを指定できるので、必要なToolを定義するだけで入れることができます。

以下のような構図になっていると言っていたので、GAEのスケジューラを、GAE Appに行わせる or それを自動でやってくれるみたいな感じだと想像しました。

introducing_managed_virtual_machines

Replica PoolsにVMがpoolされるのだとすると、課金体系がちょっと気になるところ。 VMは立ち上がるのに30secほどかかると聞いているので、GAEのようにrequestが来てから、立ち上げるというより、最低1台は立ち上げておいて、足りなくなりそうだったら、増やすみたいな感じを想像しているのだけど、何処から課金されるのだろう。

VM周りは他にも2Session見ました。

1つ目はruntime:yours

node.jsをVMに入れて立ち上げ、frontendに置き、backendに音声処理を行なうgolangのinstanceを置くというもの。 VMにnode.jsを入れて動かすこと自体は何の変哲もないですが、それをapp.yamlのみで行っていたのは気になります。また、WebSocketという記述もありました。 GAEはsocket通信を行えないはずなので、どうやってfrontendでWebSocketを開いているのかが気になるところ。

memcache,datastoreを使えるような記述があったので、node.js用のRuntimeが提供されるのでは無いかと思います。 Runtimeはgcloud sdkで提供されそうな感じだった。 gcloud sdkはSessionのいたるところで、使われていて、SDKのDownloadや、Command Line Toolは全てgcloud sdkで提供されるようになっています。

node.jsを動かすためのDockerfileがスライドに写ってたみたいな話も聞いたので、Dockerも使ってた？

がっつりサンプルにgolang使ってきてたので、proppyぶれない！と思いながら、見てました。

2つ目はGoogle Computing and Open Source Technologies ...だったと思う

GAEからTQにTaskを入れて、GCEがそのjobを処理するというDemoをしてました。 Demoでは42台のGCEを利用して、数独を一瞬で処理してました。

この辺りは前からできると聞いてた範囲だったかな。

Expanded Compute Engine operating system support

GCEがSupportする範囲が増えました。

Windows Server 2008 R2
Red Hat Enterprise Linux
SUSE Linux Enterprise Server

Real-Time Big Data

BigQuery StreamingのSession。今までBigQueryはBatchによる分析がメインのToolでしたが、Ream-timeでも使えるようになったよって感じのSessionでした。 GAE LogをBigQueryにPipelineするという話も出てきたので、便利そう。

Seeing Inside Your Service

GCPの運用面でのToolに関するSessionだった。 Cloud ConsoleのLogs Viewerの機能が強化されてた。

Google Metrics Store

GAE,GCEのMonitoring DataをGoogle Metrics Storeに入れて、Monitoring APIで閲覧するみたいな話をしていた。今はGAEのLogを見るには、Admin Console,Cloud ConsoleのLogを見るか、Logs APIを叩くしか無いけど、BigQueryへのPipelineとMetrics Storeで、だいぶ楽に見れるようになりそう。