在Python编程领域，词频统计是一项基础且重要的任务，它涉及到自然语言处理（NLP）和数据挖掘。在这个项目中，我们关注的是如何使用Python来分析文本中的词频，特别是针对"hamlet.txt"和"三国演义.txt"这两部文学作品。文件"e101.py"和"e102.py"很可能是实现这一功能的Python脚本。
词频统计是计算文本中每个单词出现次数的过程，这对于理解文本的主题、风格或作者的写作风格至关重要。Python提供了多个库来简化这个任务，其中最常用的是`collections`模块的`Counter`类和`nltk`（Natural Language Toolkit）库。
我们可以使用`collections.Counter`来统计词频。打开"hamlet.txt"和"三国演义.txt"，逐行读取文本，然后对每行进行分词。Python的`str.split()`方法可以将字符串分割成单词列表。例如：
```python
from collections import Counter
with open('hamlet.txt', 'r', encoding='utf-8') as f_hamlet, open('三国演义.txt', 'r', encoding='utf-8') as f_sanguo:
hamlet_words = f_hamlet.read().split()
sanguo_words = f_sanguo.read().split()
hamlet_counter = Counter(hamlet_words)
sanguo_counter = Counter(sanguo_words)
```
接下来，`Counter`对象会自动统计每个单词的出现次数。例如，要找出"hamlet.txt"中最常出现的5个单词，可以这样操作：
```python
top_hamlet_words = hamlet_counter.most_common(5)
for word, count in top_hamlet_words:
print(f'单词 "{word}": {count} 次')
```
另一方面，`nltk`库提供了更高级的文本预处理功能，如停用词移除、词形还原等。安装`nltk`后，可以使用`nltk.corpus.stopwords`获取常见的停用词列表，以减少无关词汇的影响。此外，`nltk.stem`模块提供了词干提取功能，帮助我们将单词还原到其基本形式。
```python
import nltk
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
nltk.download('stopwords') # 下载停用词数据
nltk.download('punkt') # 下载分词模型
stop_words = set(stopwords.words('english')) # 英文停用词
porter_stemmer = PorterStemmer() # 创建词干提取器
# 对单词进行预处理
def preprocess(words):
return [porter_stemmer.stem(word.lower()) for word in words if word.lower() not in stop_words]
hamlet_preprocessed = preprocess(hamlet_words)
sanguo_preprocessed = preprocess(sanguo_words)
preprocessed_hamlet_counter = Counter(hamlet_preprocessed)
preprocessed_sanguo_counter = Counter(sanguo_preprocessed)
```
通过这种方法，我们可以更深入地分析文本的词频，得到更准确的关键词。同时，"e101.py"和"e102.py"可能包含了这些步骤，或者采用了其他方法来进行词频统计。在实际项目中，开发者可能会根据需求添加更多特性，如可视化结果、比较不同文本的词频差异等。
总结来说，Python的`collections.Counter`和`nltk`库为词频统计提供了强大工具，可以帮助我们有效地分析文本数据。在这个例子中，我们学习了如何使用这些工具来统计"hamlet.txt"和"三国演义.txt"的词频，并进行了简单的预处理，以提高分析质量。这只是一个起点，实际应用中，还可以结合其他NLP技术进行更复杂的文本分析。
pytxt.rar （4个子文件） 
e102.py 803B
三国演义.txt 1.71MB
