My First Data Science Project (using Rapid Miner)
11 likes5,495 views
My First Data Science Project (using Rapid Miner) For Data Science Thailand Meetup #2 datascienceth.com facebook.com/datascienceth Dr. Eakasit Pacharawongsakda
My First Data Science Project (using Rapid Miner)
- 1. Introduction to Text Mining (data)3 base|warehouse|mining http://www.dataminingtrend.com http://facebook.com/datacube.th Eakasit Pacharawongsakda, Ph.D. Co-founder of Data Cube & Certified RapidMiner Analyst facebook.com/datacube.th
- 2. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Install text mining plugin to RM6 • ติดตั้ง text mining plugin ลงใน RapidMiner Studio 6 • เลือกเมนู Help > Marketplace (Updates and Extensions)… 2 1
- 3. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Install text mining plugin to RM6 • ค้นหา plugin ที่ชื่อว่า text processing 3 2 4 3 5
- 4. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Install text mining plugin to RM6 • เลือก I accept terms of all license agreements. 4 6
- 5. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Install text mining plugin to RM6 • RapidMiner Studio 6 จะทำการดาวน์โหลด plugin และติดตั้งให้ 5
- 6. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Install text mining plugin to RM6 • หลังจากติดตั้งเสร็จแล้วจะให้ทำการ restart RapidMiner Studio 6 6 7 สัญลักษณ์ของ text mining plugin
- 7. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Search Twitter • ดึงข้อมูลจาก Twitter โดยใช้โอเปอเรเตอร์ Search Twitter 7 1 3 2 4
- 8. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Search Twitter • สร้าง Connection ใหม่สำหรับดึงข้อมูลจาก Twitter 8 5 6
- 9. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Search Twitter • Connection ใหม่จะถูกสร้างขึ้นมาด้านซ้ายมือ • สร้าง access token ใหม่ 9 7
- 10. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Search Twitter • คลิกที่่ปุ่ม Request access token 10 8
- 11. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Search Twitter • คลิกที่ปุ่ม Authorize app 11 9
- 12. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Search Twitter • copy หมายเลข PIN ที่แสดงอยู่และนำไปใส่ใน RapidMiner Studio 6 12 10
- 13. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Search Twitter • paste ตัวเลข PIN ลงในช่อง Copy Code 13 11 12
- 14. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Search Twitter • คลิกที่ปุ่ม Save all changes 14 13
- 15. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Search Twitter • ใส่ keyword ที่ต้องการค้นหา เช่น ซีเกมส์ ในพารามิเตอร์ query 15 14
- 16. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Search Twitter • ผลการค้นหาใน Twitter 16
- 17. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • ตัวอย่างข้อมูลจาก Data Science Thailand meetup #1 • ข้อมูลจาก Twitter แบ่งเป็น 2 ประเภท (class) • Tweet ที่เกี่ยวข้องกับร้านกาแฟ Amazon • Tweet อื่นๆ ที่ไม่ได้หมายถึงร้านกาแฟ Amazon อาจจะเป็นเว็บไซต์ amazon.com 17
- 18. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Text Mining Example • ภาพรวมของ Process ที่สร้างขึ้น 18
- 19. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • โอเปอเรเตอร์ที่เกี่ยวข้อง 19 โอเปอเรเตอร์ คำอธิบาย Read CSV ใช้สำหรับอ่านไฟล์ประเภท CSV มาใช้งาน ในตัวอย่าง Process นี้ อ่านไฟล์ training data มาใช้งาน Read Excel ใช้สำหรับอ่านไฟล์ประเภท Excel มาใช้งาน ในตัวอย่าง Process นี้อ่านไฟล์ testing data มาใช้งาน Naive Bayes ใช้สำหรับสร้างโมเดล Naive Bayes เพื่อ classify ข้อมูลออกเป็น Amazon หรือ Other Apply Model ใช้สำหรับนำโมเดล (classification model) ไปทำนาย (predict) ข้อมูลใหม่
- 20. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • โอเปอเรเตอร์ที่เกี่ยวข้อง 20 โอเปอเรเตอร์ คำอธิบาย Performance ใช้สำหรับวัดประสิทธิภาพของโมเดลที่สร้างขึ้นมา Validation ใช้สำหรับแบ่งข้อมูลและทำการทดสอบแบบ cross-validation Process Documents from Data ใช้สำหรับสำหรับจัดการข้อความ (text) ที่อ่านได้จากไฟล์ Tokenize ใช้สำหรับตัดคำออกเป็นคำศัพท์ต่างๆ
- 21. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • โอเปอเรเตอร์ที่เกี่ยวข้อง 21 โอเปอเรเตอร์ คำอธิบาย Filter Tokens by Length ใช้สำหรับกรองคำศัพท์ (token) ที่มีค่าน้อยกว่าหรือมากกว่าที่ กำหนด Stem (Porter) ใช้สำหรับแปลงคำศัพท์ให้อยู่ในรูปของรากศัพท์ภาษาอังกฤษ (root) Filter Stopwords (English) ใช้สำหรับตัดคำเชื่อมหรือคำที่ไม่จำเป็นทิ้ง
- 22. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • โหลดข้อมูล twitter.csv ด้วยโอเปอเรเตอร์ Read CSV 22 1 1 2 3
- 23. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • เลือกไฟล์ twitter.csv 23 4 5
- 24. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • เปลี่ยน File Encoding เป็น UTF-8 และเลือก Comma “,” 24 6 7 8
- 25. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • คลิกที่ Next ได้เลยครับ 25 9
- 26. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • เปลี่ยนแอตทริบิวต์ Class ให้เป็น label และ Tweet เป็น text 26 10 11 12
- 27. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • เพิ่มโอเปอเรเตอร์ Process Document from Data เพื่อทำ preprocess ข้อมูล text • เลือก vector creation เป็นแบบ TF-IDF • เลือก prune method เป็น percentual เพื่อ prune คำระหว่าง 3% - 30% 27 13 14 15
- 28. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • double click ที่โอเปอเรเตอร์ Process Document from Data • เพิ่มโอเปอเรเตอร์ Tokenize เพื่อตัดคำ และต่อ port doc เข้ากับ Tokenize 28 16
- 29. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • เพิ่มโอเปอเรเตอร์ Stem (Porter) เพื่อทำ stemming (แปลงข้อมูล ให้เป็น root) • ต่อ port จาก Tokenize ไปยัง Stem (Porter) 29 16 17
- 30. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • เพิ่มโอเปอเรเตอร์ Filter Tokens (by Length) เพื่อลบคำที่สั้นหรือ ยาวเกินไป • ต่อ port จาก Stem (Porter) ไปยัง Filter Tokens (by Length) 30 18
- 31. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • เพิ่มโอเปอเรเตอร์ Filter Stopwords เพื่อลบคำที่เป็น stopword ทิ้ง • ต่อ port จาก Filter Tokens (by Length) ไปยัง Filter Stopwords 31 19
- 32. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • ผลการทำงานจะตัดคำต่างๆ ออกมาได้ พร้อมทั้งความถี่ของคำต่างๆ 32
- 33. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • ผลการทำงานแสดงข้อมูลในรูปแบบตาราง โดยมีคำต่างๆ เป็น แอตทริบิวต์ 33
- 34. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • คลิกขวาในส่วน Main Process และเลือกเมนู Insert Building Block และเลือกเมนู Nominal X-Validation • ต่อพอร์ต mod และ ave ของโอเปอเรเตอร์ X-Validation ไปยัง res 34 20 21 22
- 35. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • double click ที่โอเปอเรเตอร์ X-Validation • เปลี่ยนโอเปอเรเตอร์จาก Decision Tree เป็น Naive Bayes แทน 35 23
- 36. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • กดปุ่ม Run เพื่อดูผลการทดสอบประสิทธิภาพของโมเดล 36
- 37. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • โมเดล NaiveBayes ที่สร้างได้ 37
- 38. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • หลังจากสร้างโมเดลและวัดประสิทธิภาพได้เรียบร้อยแล้ว ขั้นตอนถัดมาจะเป็นการนำโมเดล ไปใช้งาน • ใช้โอเปอเรเตอร์ Read Excel เพื่ออ่านไฟล์ทดสอบที่อยู่ในรูปแบบ Excel 38 24
- 39. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • เปลี่ยนแอตทริบิวต์ prediction (Label) ให้เป็น label และ Tweet เป็น text 39 25 26 27
- 40. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • copy โอเปอเรเตอร์ Process Documents from Data มาต่อกับ Read Excel และต่อพอร์ต wor มาต่อกับโอเปอเรเตอร์ Process Documents from Data 40 28 29
- 41. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • เพิ่มโอเปอเรเตอร์ Apply Model เพื่อนำโมเดลไป predict ข้อมูลใหม่ 41 30
- 42. (data)3 base|warehouse|mining http://dataminingtrend.com http://facebook.com/datacube.th Example: Amazon coffee? • กดปุ่ม Run เพื่อดูผลการ predict 42 ผลการ predict