資料視覺化_Exploation_Data_Analysis_20241015.pdf
0 likes•17 views
本文件涵盖了资料视觉化的基础知识和操作，包括环境设置、数据预处理、探索性数据分析（EDA），以及使用 Python 库（如 pandas 和 seaborn）进行数据可视化。文件强调了 EDA 的重要性，并介绍了多种图表类型的使用方法，如 relplot、catplot 等。通过这些方法，可以有效地分析和展示数据中的趋势和关系。
資料視覺化_Exploation_Data_Analysis_20241015.pdf
- 2. About me • Education • NCU (MIS)、NCCU (CS) • Experiences • Telecom big data Innovation • Retail Media Network (RMN) • Customer Data Platform (CDP) • Know-your-customer (KYC) • Digital Transformation • Research • Data Ops (ML Ops) • Business Data Analysis, AI 2
- 4. Code • Download code • https://github.com/orozcohsu/ntunhs_2024_01.git • Folder • 20241015 4
- 5. 建立環境 • Anaconda on Windows • https://www.anaconda.com/products/distribution • Python 3.9/64-Bit Graphical Installer/594 MB • Miniconda on Windows • https://docs.conda.io/en/latest/miniconda.html 5 記得打勾
- 8. 建立環境 • 安裝套件 • pip install seaborn • pip install numpy • pip install pandas • pip install openpyxl • pip install jupyterlab 8
- 11. EDA process • 當我們拿到資料集，如何進行下一步? EDA 就是第一步 • EDA 有助於我們了解資料樣貌 • 總資料筆數、遺缺值比例、遺缺值處理方式、欄位值分布、欄位值合理 性(business domain) • EDA 有助於事後模型預測 • 進行處理 (normalization與standardization) 11 EDA is an approach to analyzing datasets to summarize their main characteristics, often with visual methods (wikipedia)
- 12. EDA process • 進行 EDA (敘述型統計) • 檢視資料集 • 檢查資料筆數與欄位型態 • 檢查是否有不合理的空值 • 檢查是否有不合理的重複值 • 針對數值型欄位繪圖 (以單變量、多變量方式進行) • 針對類別型欄位繪圖 • 若存在時間關係，針對日、月、年維度與頻次繪圖 12 透過 pandas 套件進行資料整理、操作，更方便進行 EDA
- 13. 檢視資料集 (使用 pandas 套件的 dataframe) 13 資料集欄位型態 • 主要區分為文字、數字 • 不同型態會有占用不同的記憶體空間 資料集樣貌 • 包含 (索引、欄位名稱)
- 15. 練習 16 • 請執行下列程式碼 • 學習 pandas、numpy 基本操作 (資料型態、資料存取) pandas_dtype.ipynb
- 16. 比較 python 最常見的視覺化套件 • 入門者建議由 matplotlib (seaborn) 進行 • 比較目前5大視覺化套件 • https://zhuanlan.zhihu.com/p/148748125 17
- 17. 選用 seaborn • seaborn 是基於matplotlib的圖形視覺化 python套件 • 在 matplotlib 的基礎上進行了更高級的 API 封裝，提供了一種 高度交互式界面，從而使得作圖更加容易、更美觀，便於用戶能 夠做出各種有吸引力的統計圖表 • 高度相容 numpy 與 pandas 18
- 18. Data visualization (圖表類型: relplot) • Visualizing statistical relationships • Statistical analysis is a process of understanding how variables in a dataset relate to each other and how those relationships depend on other variables. • Visualization can be a core component of this process because, when data are visualized properly, the human visual system can see trends and patterns that indicate a relationship. 19 參考: https://www.cntofu.com/book/172/docs/10.md
- 19. Data visualization (圖表類型: relplot) 20 Outliner 探討 0 以上、以下的資料屬性 探討 Outliner 的數量與內容 趨勢
- 20. Data visualization (圖表類型: relplot) 21
- 21. Data visualization (圖表類型: relplot) 22
- 22. Data visualization (圖表類型: relplot) 23
- 23. Data visualization (圖表類型: relplot) 24 95% 信賴區間 Confidence interval (正負一個標準差之內) kind=line 2009~2012年度銷售中位值 平均數會比中位數大，稱之為「右偏」型態、反之「左偏」 而平均數與中位數越接近時，代表分布越平均 2009~2012年度銷售平均值
- 24. Data visualization (圖表類型: relplot) 25 kind=line 疫情發生 隨著時間而變化的趨勢發展，比較前後銷售關係
- 25. Data visualization (圖表類型: relplot) 26 kind=line
- 26. Data visualization (圖表類型: relplot) 27 kind=line col_wrap=4 產品A 產品B 產品C 運送方式
- 27. Data visualization (圖表類型: catplot) • How to use different visual representations to show the relationship between multiple variables in a dataset. • We focused on cases where the main relationship was between two numerical variables. If one of the main variables is categorical (divided into discrete groups) it may be helpful to use a more specialized approach to visualization 28 參考: https://www.cntofu.com/book/172/docs/13.md
- 28. Data visualization (圖表類型: catplot) 29
- 29. Data visualization (圖表類型: catplot) 30
- 30. Data visualization (圖表類型: catplot) 31 kind=box 左偏 右偏
- 31. Data visualization (圖表類型: catplot) 32 kind=box
- 32. Data visualization (圖表類型: catplot) 33 參考: Python 箱型圖／小提琴圖（Box/Violin Plot） - Wayne's Talk (waynestalk.com) 顯示出機率密度 (資料出現的機率)
- 33. Data visualization (圖表類型: catplot) 34 kind=violin 比較之間的胖瘦
- 34. Data visualization (圖表類型: catplot) 35 kind=bar 平均值 信賴區間
- 35. Data visualization (圖表類型: catplot) 36 kind=bar
- 36. Data visualization (圖表類型: catplot) 37 kind=point
- 37. Data visualization (圖表類型: catplot) 38 kind=point
- 38. Data visualization (圖表類型: displot) • What range do the observations cover? • Are they heavily skewness/kurtosis? • Is there evidence for bimodality (雙峰)? 39 參考: https://www.cntofu.com/book/172/docs/24.md 雙峰 skewness 與 kurtosis 的計算?
- 39. Data visualization (圖表類型: distplot) 40 右偏
- 40. 補充: 從分布到修正，目的是為了「建模」 • 監督式學習 • 假設樣本資料為常態分佈 • 分監督式學習 • 分群的邊界拉開，讓分群效果更好 • 當資料為單峰偏斜，可以考慮採用變數轉換 • https://unaettie.com/zh-tw/pz/transform_xplain.php 41
- 41. Data visualization (圖表類型: jointplot) • Draw a plot of two variables with bivariate and univariate graphs. 42
- 42. Data visualization (圖表類型: jointplot) 43 數量分布
- 43. Data visualization (圖表類型: jointplot) 44 數量分布
- 45. 作業(1) • 練習 pandas 資料操作，請參考下列連結 • https://pandas.pydata.org/docs/user_guide/10min.html • 開啟 hw01.ipynb，完成作業 46
- 46. 作業(2) • 請透過 20241015_HW.csv 進行視覺化資料分析 47