Machine Learning, Big Data, Insights
Download as PPTX, PDF4 likes988 views
本文件探讨了机器学习与大数据的关系，强调了从海量数据中提取洞察的重要性。机器学习通过统计和数学模型帮助分析数据，识别潜在模式，并能够在系统中预测风险。尽管机器学习是一种强大的分析工具，但并非所有数据分析都需要使用它，准确度取决于训练质量和数据量。
Machine Learning, Big Data, Insights
- 1. Machine Learning, Big Data, Insights 小朱 技術顧問 / 軟體架構師 / Microsoft Azure MVP 奇豐資訊科技
- 2. Big Data
- 3. Big Data • 來自四面八方的資料。 • 客戶基本資料，交易資料。 • 留言，按讚的記錄，朋友的連結關係。 • 機器上的，或是Web主機上的 log。 • 圖片。 • ... • 物聯網 (IoT) 時代，資料量會比你想像的還要多很多。
- 5. Insights
- 8. Machine Learning • 收集低階資料或資訊。 • 運用統計或數學模型，找出可能的規則。 • 決策樹 (Decision Tree) • 分類 (Classification) • 分群 (Clustering) • 迴歸 (Regression) • ... • 將資料倒入規則中，檢視產出是否符合預期。 • 調整演算法，繼續倒資料並檢視產出。 • 當到達可信程度後，用真實資料進行推論。
- 9. 建議系統 / 推薦系統 Recommendation System • PC Home怎麼知道你想買的 是什麼？ • YouTube怎麼知道你想看哪 些片子？ • 為什麼人家會比你早一步知道 你想要什麼？
- 11. • 為什麼微軟能猜出你 的年紀？ • 背後有數以百萬計的 照片，以及一個 (可能 還是會猜錯的) 模型。
- 13. Machine Learning 不只可以用來玩，也可以拿來找出 潛在的風險。 • 你手邊的任何 log， 都有可能是一條潛 在風險的線索 (例如 機器快當機了)。 • 利用這些可能沒什 麼價值的資料，預 測出你的機器或系 統是否要出毛病。
- 15. Machine Learning 找出來的模型是基於充份又正確的訓 練資料以及調整到位的演算法所保證，所以難免也會有錯 誤的地方 • 不斷的試誤 (try and error)， 讓資料變得更加準確。 • Big Data 資料量夠大，能 讓 Machine Learning 的價 值更明顯。
- 16. 結語 • 機器學習是 Big Data 時代分析與洞察資料的利器之一。 • 機器學習需要訓練，就像人一樣。 • 機器學習會因為訓練程度而有不同等級的誤差 • 不是所有資料分析都要用到機器學習 (SQL 能做到的事就免了)。 • 需要找出一定模式 (Model) 的才會用到機器學習。 • 它可以協助你對傳入的資料進行推論。 • 準確度則看你的訓練決定。 • 機器學習的應用很廣泛，而雲端架構下能讓它更加的容易實現
- 17. References • 維基百科: https://en.wikipedia.org/?title=Machine_learning • Azure Machine Learning: http://azure.microsoft.com/zh-tw/services/machine-learning/ • Story of How-old.net: http://blogs.technet.com/b/machinelearning/archive/2015/05/04/fun- with-ml-stream-analytics-and-powerbi-observing-virality-in-real- time.aspx • 鐵達尼號範例： http://demos.datasciencedojo.com/demo/titanic/