Data science and ECFA media analysis
22 likes•2,510 views
本文探討資料科學在太陽花學運的媒體報導中的應用，闡明資料科學可以用於解決各種問題並提供量化媒體關聯性的可能途徑。作者分享了媒體資料的收集方法及分析技術，包括關鍵字頻率和相關性計算，以揭示媒體報導之間的關聯。文章同時探討了如何利用資料科學技術進行媒體分析，並提出進一步研究的問題和想法。
Data science and ECFA media analysis
- 2. About Me 學歷! • 清華統計所博⼠士 (2009-2013) 現職! • 清華統計所博⼠士後研究員 • TW.R group Officer • Data Science Program 講師 擅⻑⾧長! • Statistics, biodiversity, community ecology, population genetic, R programing Blog • 讀數⼀一格 http://readata.org
- 4. http://readata.org/datasci/ecfa-and-data-science/
- 5. 回到今天的第⼀一個主題
- 6. 資料科學
- 16. 真實流程遠⽐比以下複雜多了
- 18. http://www.dataists.com/2010/09/the-data-science-venn-diagram/ The Data Science Venn Diagram
- 22. 故事從這裡說起...
- 27. 現場情況 V.S. 現場⽂文播
- 28. 現場⽂文播 V.S. 新聞報導
- 29. 有沒有辦法量化 新聞媒體報導的真實性？ 基本上 沒有 完美的辦法
- 30. 不過 媒體的關聯性應該有辦法
- 31. 怎麼量化關聯性？ 先設想 你需要什麼 / 有什麼資料
- 33. 怎麼獲取媒體報導資料？
- 37. 特別感謝
- 38. Ronny Wang and NewsDiff
- 43. 這個過程⽤用了以下技術
- 44. Quick references • Statistics with R (Johnson) • slide: http://johnsonhsieh.github.io/study-area-statR/#49 • vod : https://www.youtube.com/watch?v=XbNx-I9fLWQ • Text Mining with R (Glen) • slide : https://docs.google.com/presentation/d/ 1IP5vFmBlGPBp32bWDqSpGYLox5QVmenFAfPwcOseQh Q/edit#slide=id.p • vod : https://www.youtube.com/watch?v=ALZaXnzXPg8
- 45. 怎麼計算關聯性？
- 48. Ref: Chao, A., Jost, L., Chiang, S. C. Jiang Y.- H. and Chazdon, R. (2008). A Two-stage probabilistic approach to multiple-community similarity indices.Biometrics 64, 1178-1186. (pdf file)
- 50. 這個過程⽤用了以下技術
- 51. 最後得到所謂的媒體關係圖
- 52. http://readata.org/datasci/ecfa-and-data-science/
- 53. Question?
- 54. – ⺩王中佾、戚宇賢、林秉儒 在進⾏行社群媒體上的內容分析時，需要列出「關鍵字」 以進⾏行資料撈取，然⽽而，研究者該如何界定哪些是關鍵 字、那些不是關鍵字？ idea: frequencies and weight
- 55. – 吳⾟辛夷、廖苡涵、謝佳佑 蒐集新聞資料時應以什麼樣的時間⻑⾧長度作為⼀一個單位？ ! 由於現在各家媒體轉載、合作⽅方式多，如何區分各家媒體 的資訊來源？ idea: published time, hyperlink, similarity
- 56. – 蕭奕凱、李欣穎、任喆鸝 想請教您有關「相似度指標」的細節。因為我們課 堂報告的題⺫⽬目是「區 分⼤大量留⾔言的⽴立場」，需要將留⾔言辨別為「正⾯面的」、「負⾯面的」或「中 ⽴立持平的」。然後就⾯面臨了留⾔言的相似度與⽴立場辨別之間的問題。 ! 如果將您繪製的網絡再加上時間變數，隨著事件的發展與沉寂，網絡會漸 漸變得越來越不⼀一樣嗎？ ! 在得知蘋果⽇日報是服貿議題的新聞 散播中⼼心之後（根據您的發現：蘋果 ⽇日報與所有報導來源都有⾼高度的關聯性），運⽤用何種研究⽅方法可以釐清新 聞後續的散播路徑與⽅方向？ idea: machine learning, time-varying covariate Examples: 服貿東⻄西軍: http://ecfa.speaking.tw/imho.php News Nexus: https://www.facebook.com/387816094628136/posts/604071486335928
- 57. – 莊漢菱、沈威志、陳宣耀 在⺫⽬目前的服貿事件X資料科學中可以看到各種媒體與現場 情況之間的關聯性，也知道蘋果⽇日報與所有報導來源都有 相當⾼高度關聯，然⽽而不知道是否有任何研究⽅方式可以得知 各個媒體或是報導來源的先後順序？也就是哪家媒體可能 跟另⼀一個媒體互為資料上下游的關係？ idea: published time, time-varying covariate
- 58. – 林⾔言翰、韓凡霖、陳毓屏、彭 湘 以Hot Topic的概念來看，這次的太陽花學運的形成與之前的學 運有什麼型態上的不⼀一樣？有哪些特徵值是需要特別注意的 嗎？ ⼜又，太陽花學運的興起是否與社群網路的興盛有關？ ! ⺫⽬目前市⾯面上的分析⼯工具眾多，以R為分析⼯工具，與SPSS或者 SAS等⼯工具相⽐比有什麼利基特⾊色或者使⽤用族群上的市場區隔 呢？ idea: how to quantify? Ref: SAS, SPSS末路？: http://r4stats.com/2013/05/14/beginning-of-the-end-v2/ R for SAS and SPSS Users: http://r4stats.com/books/r4sas-spss/
- 60. 其實 web crawling & text mining 的技術 我只學了半天... 當時是在 pixnet hackathon (2014-03-22)
- 62. 痞客邦 美⻝⾷食分類前1000名 部落格⽂文章標題分析 http://programmermagazine.github.io/201402/htm/article6.html Ref: ⽤用 R 進⾏行中⽂文 text Mining (作者:陳嘉葳@Taiwan R User Group)
- 65. MLDM monday Taiwan R User Group Free R Online Tutorials is coming !!!! Meetup: http://www.meetup.com/Taiwan-R/ YouTube: https://www.youtube.com/user/TWuseRGroup
- 66. 台灣資料科學愛好者年會 2014 2014/8/30 (Sat) - 2014/8/31 (Sun) 中研院⼈人⽂文社會科學館國際會議廳 http://twconf.data-sci.org/
- 67. Follow my slideshare account http://www.slideshare.net/euler96