Google Cloud Platform Live Report
- dataproc
- google-cloud-dataproc
- hadoop
- spark
昨晩行われた GCP Live のYoutubeを徹夜で見ていて、めっちゃ眠い @sinmetal です。
会場は2つあり、全てを見ることができたわけではないですが、私がキャッチできた範囲で書いていきます!
Sessionの動画は既に公開されているので、閲覧可能です!
Google Cloud Platform Live
Google Cloud Platform Live - Stage 2
目次
Keynote from Urs Hölzle
Industry-leading, simplified pricing
Keynoteで発表された中で、驚いたのは料金改定の話でした。 料金については、AWSが値下げする中、GAEは改定が無かったため、GAEが高いというイメージがあるという話をちらほら耳にしていました。
しかし、今回の大幅値下げにより、だいぶ印象が変わるでしょう。
GCE
最大 32% off Sustained Use Discounts
更に、月の25%以上の時間、仮想マシンを利用する場合、30%割引される。
GAE
instance-hours 最大 37.5% off
dedicated memcache 最大 50% off 共有memcacheは現在も無料で、専用memcacheの改定
Datastore writes 最大 33% off
GCS
2.6 cents / 1GB に改定 最大 約32% off
BigQuery
最大 85% off
特にBigQueryの85%offは魅力的です。 BigQueryはStreamingや、GAEのLogをpipelineでBigQueryに入れるという話も出てきたので、気軽にBigDataを扱う強力なServiceになりそうです。
Making developers more productive in the cloud
GAEのdeploy周りのツールの強化されます。 現在もgit repositoryからのpush deployがPreviewとして提供されていますが、更に強化されるようです。 Cloud Consoleからgit repositoryを連携させるとbuild,test,deployまでやってくれます。 testとdeployの履歴も閲覧可能でした。 更にSourceの閲覧,編集してcommitも可能で、Logのstacktraceから該当箇所を表示することも行っていました。 "connect a GitHub Repo"ボタンも見えたので、GitHubと簡単に連携できるようになってるんじゃないかな。
GCSにjenkinsのビルドログや成果物を出力するってのもデモされてました。
この機能は以下の環境に提供されます。
- Python
- Java Maven
- Java Gradle
- PHP
残念ながら、golangはありませんでした。 バイナリになっちゃうからかな?
Cloud Console単独でもいけるみたいですが、jenkinsとの連携?みたいな話も出ていました。 DemoではGCE上のjenkinsを利用していましたが、たぶんServerは何処にあっても良いと思っている。
既にCloud Consoleには、Cloud Developmentがあるので、この周りが強化される感じのようです。
Introducing Managed Virtual Machines
私が待望しているVM Based Runtime(仮)周りの話です。 これは、GCE上に簡単にGAEから扱えるVMを構築する機能です。 GAEにある制限が無く、GAEから扱いやすいVMを簡単に構築できます。 スライドでは、Templateと呼ばれる設定ファイルを定義し、その内容に従って、VMが作成されると説明されていました。 apt-getを指定できるので、必要なToolを定義するだけで入れることができます。
以下のような構図になっていると言っていたので、GAEのスケジューラを、GAE Appに行わせる or それを自動でやってくれる みたいな感じだと想像しました。
Replica PoolsにVMがpoolされるのだとすると、課金体系がちょっと気になるところ。 VMは立ち上がるのに30secほどかかると聞いているので、GAEのようにrequestが来てから、立ち上げるというより、最低1台は立ち上げておいて、足りなくなりそうだったら、増やすみたいな感じを想像しているのだけど、何処から課金されるのだろう。
VM周りは他にも2Session見ました。
1つ目はruntime:yours
node.jsをVMに入れて立ち上げ、frontendに置き、backendに音声処理を行なうgolangのinstanceを置くというもの。 VMにnode.jsを入れて動かすこと自体は何の変哲もないですが、それをapp.yamlのみで行っていたのは気になります。 また、WebSocketという記述もありました。 GAEはsocket通信を行えないはずなので、どうやってfrontendでWebSocketを開いているのかが気になるところ。
memcache,datastoreを使えるような記述があったので、node.js用のRuntimeが提供されるのでは無いかと思います。 Runtimeはgcloud sdkで提供されそうな感じだった。 gcloud sdkはSessionのいたるところで、使われていて、SDKのDownloadや、Command Line Toolは全てgcloud sdkで提供されるようになっています。
node.jsを動かすためのDockerfileがスライドに写ってたみたいな話も聞いたので、Dockerも使ってた?
がっつりサンプルにgolang使ってきてたので、proppyぶれない!と思いながら、見てました。
2つ目はGoogle Computing and Open Source Technologies ...だったと思う
GAEからTQにTaskを入れて、GCEがそのjobを処理するというDemoをしてました。 Demoでは42台のGCEを利用して、数独を一瞬で処理してました。
この辺りは前からできると聞いてた範囲だったかな。
Expanded Compute Engine operating system support
GCEがSupportする範囲が増えました。
- Windows Server 2008 R2
- Red Hat Enterprise Linux
- SUSE Linux Enterprise Server
Real-Time Big Data
BigQuery StreamingのSession。 今までBigQueryはBatchによる分析がメインのToolでしたが、Ream-timeでも使えるようになったよって感じのSessionでした。 GAE LogをBigQueryにPipelineするという話も出てきたので、便利そう。
Seeing Inside Your Service
GCPの運用面でのToolに関するSessionだった。 Cloud ConsoleのLogs Viewerの機能が強化されてた。
Google Metrics Store
GAE,GCEのMonitoring DataをGoogle Metrics Storeに入れて、Monitoring APIで閲覧するみたいな話をしていた。 今はGAEのLogを見るには、Admin Console,Cloud ConsoleのLogを見るか、Logs APIを叩くしか無いけど、BigQueryへのPipelineとMetrics Storeで、だいぶ楽に見れるようになりそう。
終わり
以上、@sinmetalから見たGCE Liveでした。
VM Based Runtime使いたいので、早くPreviewにならないかなー。
事前情報だとKeyNoteのみLiveがあると書いてあったので、AM 3:00ぐらいには寝れる!と思っていた。
しかし、全部あった・・・!
嬉しいけど、眠い!特にAM 4:00に向こうはlunchか。どうしようってなるのがつらかった。