Apache tinkerpopとグラフデータベースの世界
1 like5,467 views
JJUG CCC Spring 2018 発表資料 #jjug_ccc #ccc_l4
![デモ: Gremlinサーバー
- Gremlinコンソールから接続してみる
gremlin> :remote connect tinkerpop.server conf/remote.yaml
==>Configured localhost/127.0.0.1:8182
gremlin> :remote console
==>All scripts will now be sent to Gremlin Server - [localhost/127.0.0.1:8182] - type
':remote console' to return to local mode
gremlin> g
==>graphtraversalsource[tinkergraph[vertices:3209 edges:6177], standard]](https://image.slidesharecdn.com/gl2oxysaea8laavdsvza-signature-0bf2627d486fa00391da8951676172fef6a4ed02b9819caa30f6a67359999550-poli-180527235005/85/Apache-tinkerpop-42-320.jpg)
Apache tinkerpopとグラフデータベースの世界
- 1. Apache Tinkerpop とグラフデータベースの世界 JJUG CCC 2018 Spring 森下 雄貴
- 2. スピーカー 森下 雄貴 - プリンシパルアーキテクト @ DataStax Japan合同会社 - Apache Cassandra コミッター DataStax - Apache Tinkerpop のコードベースの大部分をコミット - DataStax Enterprise - マルチモデルデータベース - Apache Tinkerpopベースのグラフアクセス
- 3. グラフ
- 5. グラフデータベースの利用例 - 不正検知 - 取引、ユーザー、端末、場所などの情報を結び付け、不正な取引との関連を調べる - レコメンデーション/パーソナライズ - ユーザーの振舞い、取引をすべて結び付け、次のアクションを相互の関連から提示 - カスタマー360 / マスターデータ管理 - 複雑な階層構造を持つデータの管理
- 6. Apache Tinkerpopプロジェクト - https://tinkerpop.apache.org/ - 2015年からApacheプロジェクト - 最新バージョン(2018年5月): v3.3.3 - Java!
- 7. Apache Tinkerpopプロジェクト - グラフデータベース(OLTP)とグラフ分析(OLAP)のためのグラフコンピューティングフ レームワーク - グラフのデータ構造 (プロパティグラフ)とAPI - TinkerGraph - インメモリのグラフデータベース実装 - Gremlin - グラフトラバーサル言語 - gremlin-console - 対話的にGremlinを実行するためのコンソール - gremlin-server - リモートからグラフデータベースへアクセス - ドライバー - Java、Python、C#、...
- 8. Apache Tinkerpopプロジェクト Azure CosmosDB Amazon Neptune
- 9. Tinkerpopのプロパティグラフ - Graph (グラフ) - バーテックスとエッジの集合 - Vertex (バーテックス/ノード/頂点) - ラベルとプロパティを持つ - Edge (エッジ/辺) - ラベルとプロパティ、方向を持つ - Property (プロパティ) - キーとバリュー - バーテックスとエッジがプロパティを持つ - メタプロパティ(プロパティのプロパティ )やマルチプロパティ(複数の値を持つプロパティ )がある
- 17. Gremlin ~ グラフトラバーサル言語 データの問合せ/操作 - リレーショナルデータベース => SQL - グラフデータベース => ???? - Cypher / openCypher (Neo4J, SAP HANA Graph …) - PGQL (Oracle) - SPARQL (RDFデータベース) - Gremlin (Apache Tinkerpop実装グラフデータベース ) - ...
- 19. Gremlin ~ グラフトラバーサル言語 // markoの友達の名前は? g.V(). has("person", "name", "marko"). out("knows"). values("name")
- 20. Gremlin ~ グラフトラバーサル言語 // markoの友達の名前は? g.V(). has("person", "name", "marko"). out("knows"). values("name")
- 21. Gremlin ~ グラフトラバーサル言語 // markoの友達の名前は? g.V(). has("person", "name", "marko"). out("knows"). values("name")
- 22. Gremlin ~ グラフトラバーサル言語 // markoの友達の名前は? g.V(). has("person", "name", "marko"). out("knows"). values("name")
- 23. Gremlin ~ グラフトラバーサル言語 // markoの友達の名前は? g.V(). has("person", "name", "marko"). out("knows"). values("name")
- 24. Gremlin ~ グラフトラバーサル言語 // markoの友達の名前は? g.V(). has("person", "name", "marko"). out("knows"). values("name")
- 25. Gremlin ~ グラフトラバーサル言語 // markoの友達の名前は? g.V(). has("person", "name", "marko"). out("knows"). values("name") => vadas => josh
- 26. Gremlin ~ グラフトラバーサル言語 // markoの友達の名前は? g.V(). has("person", "name", "marko"). out("knows"). values("name") ステップ
- 27. Gremlin ~ グラフトラバーサル言語 ステップの種類 - filter - map - flatMap - sideEffect - branch
- 28. Gremlin ~ グラフトラバーサル言語 // Gremlin g.V(). has("person", "name", "marko"). out("knows"). values("name") JavaのStream APIと同じように考えてみるとわかりやすい(かも) // Java Stream API Set vertices = ... vertices.stream(). filter(person -> person.name == "marko"). flatMap(person -> person.knows). map(person -> person.name)
- 29. Gremlin ~ グラフトラバーサル言語 // 新しいmarkoの友達を追加する g.addV(“person”). property("name", "yuki").as(“yuki”). V().has(“person”, “name”, “marko”). addE(“knows”).to(“yuki”) // そして削除する g.V(). has(“person”, “name”, “yuki”). drop()
- 30. Gremlin ~ グラフトラバーサル言語 そのほかのGremlinの機能 - 制御 - repeat() / coalesce() /choose() - パターンマッチ - match() - 集計 - count() / groupCount() / sum() / max() ... - グラフ分析エンジンとの連携 - pageRank()
- 31. Gremlinコンソール - Gremlinを対話的に実行できるコンソール - https://tinkerpop.apache.org から単体でダウンロード可能 - コンソール内でインメモリのグラフを扱える - リモートのGremlinサーバーへ接続してGremlinの実行も可能(後述)
- 32. デモ - Gremlinコンソールの起動 - サンプルグラフデータの読み込み - Gremlinクエリの実行
- 33. デモ: サンプルデータの読み込み - SQL2Gremlin - http://sql2gremlin.com - マイクロソフトのSQL Server用デモデータである Northwindデータセットを使って、 SQLとGremlinの両 方の比較
- 34. デモ: サンプルデータの読み込み
- 35. デモ: サンプルデータの読み込み Gremlin IO - GraphML (XML) - GraphSON (JSON) - Gryo (Kryo: Javaのシリアライゼーション形式の一つ) のデータの読み込み/書き込みをサポート graph.io(gryo()).readGraph("../data/northwind.kryo") graph.io(graphson()).writeGraph("../data/northwind.json")
- 36. デモ: Gremlinクエリ // どんなデータが入っているの ? g.V().groupCount().by(label)
- 37. デモ: Gremlinクエリ // イクラを誰が、いつ、いくつ買った ? g.V().has("product", "name", "Ikura"). in("is").as("item"). in("contains"). order().by("orderDate", decr).limit(10).as("order"). in("ordered").as("customer"). select("customer", "order", "item"). by("name").by("orderDate").by("quantity")
- 38. デモ: Gremlinクエリ // この商品を買った人は、ほかにこのような商品も買っています。 // (リアルタイム協調フィルタリング ) g.V().has("customer", "name", “Paul Henriot”).as("customer"). out("ordered").out("contains").out("is").aggregate("products"). in("is").in("contains").in("ordered").where(neq("customer")). out("ordered").out("contains").out("is").where(without("products")). groupCount().order(local).by(values, decr). select(keys).limit(local, 5).unfold().values("name")
- 39. Gremlinサーバー - WebSocket / REST APIを介して、グラフデータベースへリモートからアクセス可能に する - Apache Tinkerpop対応グラフデータベースへは通常 Gremlinサーバーを経由してアクセス - Gremlinクエリ / 実行結果は GraphSON もしくは Gryo (JVM言語のみ) としてやり取り - SSL、ユーザー認証にも対応 アプリケーション Gremlin コンソール Gremlin サーバー Tinke rpop API Tinkerpop対応 グラフデータベース Gremlin ドライバー GraphSON / Gryo over WebSocket / REST
- 40. Gremlinサーバー - https://tinkerpop.apache.org からGremlinサーバー単体をダウンロード可能 - インメモリのTinkerpopGraphをサーバー側で動かせる
- 41. デモ: Gremlinサーバー - 設定ファイル - シリアライゼーション形式や通信形式、認証などの各パラメータを設定 - - デモではサーバー起動時にNorthwindのデータを読み込むよう設定
- 42. デモ: Gremlinサーバー - Gremlinコンソールから接続してみる gremlin> :remote connect tinkerpop.server conf/remote.yaml ==>Configured localhost/127.0.0.1:8182 gremlin> :remote console ==>All scripts will now be sent to Gremlin Server - [localhost/127.0.0.1:8182] - type ':remote console' to return to local mode gremlin> g ==>graphtraversalsource[tinkergraph[vertices:3209 edges:6177], standard]
- 43. Javaプログラムからのアクセス - ドライバー gremlin-java をアプリケーションに組み込む <dependencies> <dependency> <groupId>org.apache.tinkerpop</groupId> <artifactId>gremlin-driver</artifactId> <version>${tinkerpop.version}</version> </dependency> </dependencies>
- 46. クエリ結果の可視化 - 商用ツール Linkurious (https://linkurio.us/) Keylines (https://cambridge-intelligence.com/keylines/ )
- 47. クエリ結果の可視化 - オープンソース - グラフ描画ができるJavaScriptライブラリを利用 - d3.js - Cytoscape.js - など - Graphexp (https://github.com/bricaud/graphexp)
- 48. まとめ - グラフデータベースはグラフデータ構造をそのまま扱える - “つながり”に注目すると、さまざまなビジネス課題に応用できる - Apache Tinkerpopはグラフコンピューティングフレームワーク - グラフデータベースに必要な APIやグラフトラバーサル言語 Gremlinを提供 - 実装データベースが増えてきた
- 49. さらに知りたい方 - https://tinkerpop.apache.org/ - オフィシャルウェブサイト - https://github.com/krlawrence/graph - Practical Gremlin: An Apache TinkerPop Tutorial - 非常に充実したGremlinチュートリアル - 英語 - https://academy.datastax.com/resources/ds330-datastax-enterprise-graph - DSE Graphのオンライントレーニング - 分散データベースを利用して Gremlinの基本が一通り学べる - 英語
- 50. Q＆A