用pyspark开发求平均数的程序

最新推荐文章于 2024-07-31 15:08:57 发布

kingloneye

最新推荐文章于 2024-07-31 15:08:57 发布

阅读量1.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据 Spark 文章标签： python hadoop 大数据

本文链接：https://blog.csdn.net/weixin_38887752/article/details/106309314

大数据同时被 2 个专栏收录

96 篇文章

订阅专栏

Spark

35 篇文章

订阅专栏

本文介绍使用Apache Spark进行大规模数据集的平均年龄统计方法。通过读取数据文件，解析年龄字段，计算年龄总和及记录数量，最终得出平均年龄。演示了SparkContext、RDD转换和操作的使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求：求统计平均年龄

开发步骤：
1、取出年龄
2、计算年龄的综合
3、计算记录总数 count

import sys
from pyspark import SparkContext
from pyspark import SparkConf
"""
求平均数
"""
if __name__ == '__main__':
    if len(sys.argv) !=2 :
        print("统计平均年龄 <input>",file=sys.stderr)
        sys.exit(-1)

    conf = SparkConf().setMaster("local[2]").setAppName("spark03")
    sc = SparkContext(conf=conf)

    ageData = sc.textFile(sys.argv[1]).map(lambda x : x.split(" ")[1])
    totalAge = ageData.map(lambda age:int(age)).reduce(lambda a,b:a+b)
    counts = ageData.count()
    avgAge = totalAge / counts

    print(counts)
    print(totalAge)
    print(avgAge)
    sc.stop()