该文介绍了如何结合gensim和spacy对Twitter数据进行文本处理，通过词向量化和LogisticRegression模型进行情感分析。首先，利用spacy进行分词，然后用gensim的Word2Vec创建词向量，最后使用sklearn训练模型并评估其准确性。
NLP(VII)：使用sklearn进行文本情感分类（下）
这一节我们使用gensim来进行单词的向量化。
使用spacy进行tokenize
import spacy
all_texts = np.array(twitter_train_df['text']).tolist() + np.array(twitter_test_df['text']).tolist()
all_tokenized_texts = []
token_freq_dict = {
}
nlp = spacy.load("en_core_web_sm")
for twitt in all_texts:
doc = nlp
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
