BigQueryのちょっとした話 #phpblt
- 2. ✓ 自己紹介 ✓ 高橋邦彦 ✓ kunit ✓ しがないプログラマ
- 3. ✓ 本日のお題 ✓ BigQuery ✓ みなさんがすごい発表をする でしょうが、私のはしょぼい です。
- 4. ✓ 早速質問 ✓ BigQuery をつかったこと がある方
- 5. ✓ BigQueryとは ✓ Google が提供しているビッ グデータ解析サービス ✓ AWS だと Redshift があ る
- 6. ✓ BigQueryとは ✓ Google の膨大なリソースを 使って、力技で大量データを解 析する ✓ SQLが使える ✓ とにかく安い、早い
- 10. ✓ Stream insert ✓ BigQuery にデータを入れる方法 ✓ fluentd や embulk を使って データを入れる等 ✓ API でいうと、 TableData.insertAll をつかう
- 11. ✓ Stream insert ✓ Stream insert でテーブルにデータを入れ ると、そのテーブルからのデータのコピーお よびエクスポートは90分たたないとできない ✓ これはマニュアルにしっかり書いてある 「Data can take up to 90 minutes to become available for copy and export operations. 」
- 12. ✓ Stream insert ✓ Stream insert でテーブルにデータを いれて、SQL発行して取得するプログラ ムを書いたらテストが時々コケる ✓ Stream insert でテーブルにデータを 入れた場合、すぐにデータが取得できない ✓ warm-up という言葉で表される
- 13. ✓ Stream insert ✓ ぐぐってみると、以前は2分待たないとデータが取 れなかったみたい ✓ で、今はマニュアルによると「Streamed data is available for real-time analysis within a few seconds of the first streaming insertion into a table.」と書いてある ✓ 実際にやってみた感じだと、最低2秒またないと データがとれない
- 15. ✓ テーブル関連 ✓ どうも、同じテーブル名を削除して作 りなおしたら、その後なんかおかしい ✓ 挙動がおかしいくせに、200 OK で APIはかえってくる ✓ Google のサポートにしつこく聞く
- 16. ✓ テーブル関連 ✓ Google サポート曰く ✓ どうもバグみたいだよ ✓ 同じ名前でテーブルを削除、作成をするなら 2分待ってね(もしくは違う名前で作ってね) ✓ 同じ名前でやるなら、2分待たないといけな いよってのをそのうちマニュアルに書くように するよ
- 17. ✓ 最後におまけ程度のPHP要素 ✓ Google API の PHPライブラリは現在、 2.0.0-RC4 ✓ 昨年10月に2.0.0-RCがでた ✓ ネットにある(数少ない)情報はほぼ、1系の情報 ✓ 微妙にハマったところが(多数)あったので、その うち 2系 での書き方みたいなのを Qiita に書き ます
- 18. ご清聴 ありがとう ございました