Xây dụng và kết hợp Kafka, Druid, Superset để đua vào ứng dụng phân tích dữ liệu timeserie và OLAP
Download as PPTX, PDF3 likes1,401 views
Tài liệu trình bày về việc xây dựng hệ thống big data, sử dụng các công nghệ như Apache Kafka, Apache Druid và Apache Superset, cùng với các kỹ thuật mới và phương pháp cài đặt. Nó bao gồm giới thiệu về cấu trúc và chức năng của mỗi công nghệ, cũng như ví dụ truy vấn và ứng dụng của chúng trong việc xử lý dữ liệu lớn. Cuối cùng, tài liệu nhấn mạnh mục tiêu tích hợp với các công cụ khác và ứng dụng trong lĩnh vực forex.
Xây dụng và kết hợp Kafka, Druid, Superset để đua vào ứng dụng phân tích dữ liệu timeserie và OLAP
- 1. 1 Xây dựng hệ thống Big Data Phạm Văn Đông
- 2. 2 Airflow Scheduling MySQL Log,CSV ,Json Hive Cluster HDFS Spark Cluster Spark or Sqoop Kafka Druid Superset Tableau Internet API Nifi
- 3. Nội dung tìm hiểu • Tìm hiểu các bài phát biểu trên mạng • Xây dựng hệ thống Big Data với các kỹ thuật mới • Cài đặt thử nghiệm • Gợi ý các kỹ thuật cho mọi người • Lên kế hoạch, support, review, tạo task 3
- 4. Nội dung trình bầy • Giới thiệu về demo • Apache Kafka • Apache Druid • Apache Superset 4
- 5. 5 Giới thiệu về demo
- 6. Giới thiệu về demo 6
- 7. Giới thiệu về demo 7
- 8. Giới thiệu về demo 8 Data Kafka Druid Superset
- 10. Apache Kafka 10 stream data Data Pipeline
- 11. Apache Kafka 11
- 12. Apache Kafka 12
- 13. Apache Kafka 13
- 14. Apache Kafka 14
- 15. 15 Apache Druid
- 16. Apache Druid 16
- 17. Apache Druid • Column-oriented distributed datastore • Sub-Second query times • Realtime streaming ingestion • Arbitrary slicing and dicing of data • Automatic Data Summarization • Approximate algorithms (hyperLogLog, theta) • Scalable to petabytes of data • Highly available 17
- 18. Apache Druid 18
- 20. Apache Druid 20
- 21. Apache Druid 21
- 22. Apache Druid 22
- 23. Apache Druid 23
- 24. Apache Druid 24
- 25. Apache Druid 25
- 26. Druid Data example 26 { "time":"2015-09-12T00:47:05.474Z", "channel":"#en.wikipedia", "cityName":"Auburn", "comment":"/* Status of …", "countryIsoCode":"AU", "countryName":"Australia", "isAnonymous":true, "isMinor":false, "isNew":false, "isRobot":false, "isUnpatrolled":false, "metroCode":null, "namespace":"Main", "page":"Peremptory norm", "regionIsoCode":"NSW", "regionName":"New South Wales", "user":"60.225.66.142", "delta":0, "added":0, "deleted":0 }
- 28. Apache Druid Query • Ví dụ các truy vấn trên druid – http://localhost:9995/#/notebook/2ERKH91FR 28
- 29. Apache Druid Query 29 curl -L -H 'Content-Type: application/json' -X POST --data-binary @/tmp/sandbox/tutorial-files/900/druid/query/wiki-select.json http://localhost:8082/druid/v2/?pretty
- 31. Apache Druid Query • Query type – Making native queries – Timeseries – TopN – GroupBy – Scan – TimeBoundary – SegmentMetadata – DatasourceMetadata – Search – Select 31
- 32. Apache Druid SQL • https://druid.apache.org/docs/latest/queryin g/sql.html • From NoSQL to SQL với Apache Calcite 32
- 35. Apache Superset • BI Tool • Python backend – Flask – Authentication – SQL toolkit • Frontend – React, NVD3 • Tích hợp mạnh cho Druid 35
- 41. Tổng hợp • Apache Druid • Apache Kafka • Apache Superset • Apache Calcite • Apache Zeppelin 41
- 42. Mục tiêu tiếp theo • Tích hợp airflow và một số công cụ khác • Deploy và tích hợp với bài toán forex 42
- 43. 43 Cám ơn đã lắng nghe