Hadoop 电影评分数据统计分析实验

Hadoop

• • Hadoop分布式计算基础是什么？
  • • 1、存储
    • 2、计算
  • ==电影评分数据统计分析实验==
  • • ==【项目目标】==
    • • 1）掌握Hive的查询语句的使用
      • 2）掌握R的可视化分析
    • ==【实验原理】==
    • • 一、Hive支持多种不同长度的整型和浮点型数据类型，支持布尔类型，也支持无长度限制的字符串类型。
      • 二、查询语句是所有数据库都包括的，并且很常用，所以需要熟练掌握。
      • 三、R中的可视化非常漂亮,我们需要熟练使用。
    • ==【实验环境】==
    • • CentOS6.5、JDK1.7、Hadoop2.4.1、Hive0.12.0、R-3.2.2
    • ==【实验数据】==
    • ==【实验步骤】==
    • • 一、项目准备阶段
      • • 1.1在任意目录下运行start-all.sh.启动hadoop。如图1所示。
        • 1.2 输入jps检查是否启动成功。如图2所示。
        • 1.3 进入hive下bin目录。如图3所示。
      • 二、数据分析以及数据准备
      • • 2.1 统计电影的系统评分,并查看结果。如图4-5所示。
        • 2.2 统计一个电影被观看的次数。如图6-7所示。
        • 2.3 统计前10名观众看电影的次数。如图8-9所示。
      • 三、R可视化
      • • 3.1 进入R命令行,并载入相关程序包,(程序包已安装完毕直接使用即可)。如图10-11所示。
        • 3.2 画出系统电影评分的词云图。如图12-14所示。
        • 第一次执行可能会像是这样,不要担心,别关闭浏览器,将程序的最后一句再执行一遍,就可以正常显示。
        • 3.3 画出每个电影观看次数的词云图,同样将程序的最后一句执行两遍。如图15-16所示。
        • 3.4 画出前10名观众看电影的次数的条形图。如图17-18所示。