2019 Modernweb 使用 Pentaho Kettle ETL 做系統資料後盾
- 1. 8/28 16:20 ~ 17:00 使⽤Pentaho Kettle ETL做系統資料後盾
- 2. 范建銘 林韵馨 團隊介紹
- 3. • 2008~2009 JAVA信⽤用卡M-FES • 2010~2016 PHP 業績計算 • 2012~ PHP ⾦金金流串串接 • 2016~ open source 內部系統使⽤用 • 2017~ AWS Serverless 推播系統 ❖ 2018 IThome Serviceless All-star • 2018~ GraphDatabase-arangoDB ❖ 2018 IThome ModernWeb About me 在這開始啦
- 5. ❖ 好久好久以前，有個系統..... ❖ 每天都要新增1.2隻排程程式，⽽且都從0開始 ❖ ⼀個⽉下來....每天都在刻排程，我的⼈⽣不是 在刻排程 ❖ 有沒有我滑鼠點⼀點就能跑的東西︖ ❖ SSIS(SQL Server Integration Services) ?
- 8. 先談談什麼是ＥＴＬ ❖ Ｅ（Extract) ：提取資料 ❖ Ｔ (Transform)：轉換資料型態 ❖ Ｌ (Load) ：載入資料 ❖ Ｅ Ｔ Ｌ 資料轉換 資料融合 各種資料源 匯入資料庫 ＨＴＴＰ
- 14. DEMO的傢私 ❖ kettle下載位置 ❖ https://sourceforge.net/projects/pentaho/ ❖ LAB環境建置及範例：docker-compose ❖ https://github.com/FreddyFan1011/modernweb-kettle ❖ COSCUP基礎教學： ❖ SlideShare：https://www.slideshare.net/FreddyFan1/2019-coscup- etlkettle ❖ GITHUB：https://github.com/FreddyFan1011/coscup-kettle
- 16. 有限狀態機的設計 FSM(Finite State Machine) ❖ 從⼀個『起始狀態』，經過⼀系列的過程處理，最終到 達『結束狀態』 出處：https://zh.wikipedia.org/wiki/有限状态机
- 17. 你砍砍～我們怎麼玩Kettle的
- 20. 檔案產出
- 21. 檔案產出
- 22. FTP設定
- 23. FTP設定
- 24. SLEEP…….
- 25. SLEEP…….
- 26. 取得檔案資訊
- 27. 取得檔案資訊
- 28. API URL GET
- 29. 變數組合成新變數
- 30. 變數組合成新變數 ${變數}
- 33. 確認ＤＢ存活
- 34. 確認ＤＢ存活
- 35. 確認ＤＢ內有無要的資料
- 36. 確認ＤＢ內有無要的資料
- 37. 成功失敗發ＭＡＩＬ通知
- 38. 案例3: 確認A APP 有無推播 確認B APP 有無推播 確認C APP 有無推播 確認D APP 有無推播 產Ａ⽂案檔 產Ｂ⽂案檔 產Ｃ⽂案檔 產Ｄ⽂案檔 上傳 雲端 開始 資料庫⽂案 shell操作 完成
- 40. 併⾏處理
- 41. 併⾏處理
- 42. 產出⽂案檔
- 43. 產出⽂案檔
- 44. SHELL執⾏動作
- 45. SHELL執⾏動作
- 46. 定期執⾏ ❖ crontab 就可以了！！ ❖ sh kitchen.sh -file=XXX.kjb ❖ sh pan.sh -file=XXX.ktr ❖ 實際證明跑排程不⽤灌桌⾯ ❖ 沒ＧＵＩ較省效能
- 47. 有雷嗎︖當然有！已進入雷區
- 48. 效能問題 ＪＶＭ的預設值設定： PENTAHO_DI_JAVA_OPTIONS= “-Xms1024m -Xmx2048m -XX:MaxPermSize=256m” ⽬前實驗最⼩的值： “-Xms50m -Xmx100m -XX:MaxPermSize=256m” JVM最⼤大允許分配 的非堆記憶體 JVM初始分配的堆記 憶體 及 最⼤大允許分配 在spoon.sh 設定
- 49. 初期沒有完整的教學資源 ❖ 極少社群討論 ❖ only English…..
- 52. ⾃⼰要做靠⾃⼰！！
- 53. –AWS SA Pahud 「Be a builder, not a coder.」
- 55. THANK YOU！！
- 56. 塞Maria DB資料 進入ＤＢ容器內 docker exec -it c7f2cd8ed93d /bin/bash mysql -u root -pmodernweb -h 127.0.0.1 -Pmodernweb CREATE DATABASE modernweb; use modernweb; CREATE TABLE customer( name VARCHAR(50), sex VARCHAR(1), email VARCHAR(50) ); INSERT INTO customer(name, sex, email) VALUES('Alllen', '1', '[email protected]'), ('Michelle', '0', '[email protected]'), ('Joy', '1', '[email protected]'), ('Irta', '0', '[email protected]'), ('Robert', '1', '[email protected]'), ('David', '1', '[email protected]'), ('Maggie', '0', '[email protected]');