【字节跳动】数据挖掘面试题0015：100 亿个单词，找出出现频率最高的单词。要求几种方案

解决100亿个单词中找出出现频率最高的单词

由于数据量巨大（100亿个单词），无法一次性加载到内存中处理。以下是几种高效方案，从简单到高级，附带Python代码实现（使用分片和哈希技术）。

• 核心思想总结：

分而治之 + 化整为零
百亿数据变百万小任务
蚂蚁搬家也能吃掉大象

方案1：哈希分片法（推荐，最常用）

• 核心思想： 把大文件切成小文件 → 分别统计 → 汇总结果

  • 1. 将大文件分割成多个小文件（相同单词哈希到同一个文件）
  • 2. 分别统计每个小文件的词频并记录局部最高频率单词
  • 3. 合并所有小文件结果，选出全局最高频率单词

• 比喻：