《Python自然语言处理》第09章-机器学习与自然语言处理.pptVIP

课程小结 谢谢观看 机器学习与自然语言处理 Python自然语言处理 第十章 课前回顾 无监督学习任务 文本聚类 K-means算法流程 文本分类实战：中文垃圾邮件分类 0 3 实现代码 数据列表： 数据名称 数据类型 ham_data.txt 正常邮件 spam_data.txt 垃圾邮件 实现代码 代码组织： - data_loader.py： 读取邮件数据、停用词列表 - data_processing.py： 数据清洗以及数据集转化 - classifier.py： 模型训练、预测、评价 实现代码 def get_data(path = DATA_DIR): with open(path + /ham_data.txt, encoding=utf8) as ham_f, \ open(path + /spam_data.txt, encoding=utf8) as spam_f: ham_data = [x.strip() for x in ham_f.readlines() if x.strip()] spam_data = [x.strip() for x in spam_f.readlines() if x.strip()] ham_label = np.ones(len(ham_data)).tolist() spam_label = np.zeros(len(spam_data)).tolist() corpus = ham_data + spam_data labels = ham_label + spam_label return corpus, labels def get_stopwords(path = DATA_DIR): with open(path + /stop_words.utf8, encoding=utf8) as f: stopword_list = set([x.strip() for x in f.readlines()] + list(r!#$%\()*+,-./:;=?@[\\]^_`{|}~)) return stopword_list data_loader.py 实现代码 def norm_corpus(corpus, stopword_list): result_corpus = [] ##匹配连续2个以上的英文+空格符号， 后面替换成一个空格 pattern = pile([{}\\s].format(re.escape(r!#$%\()*+,-./:;=?@[\\]^_`{|}~)) + r{2,}) for text in corpus: #分词，按停用词表过滤 seg_text = .join([x.strip() for x in jieba.cut(text) if x.strip() not in stopword_list]) result_corpus.append(pattern.sub( , seg_text)) return result_corpus def convert_data(norm_train, norm_test, vectorizer): ## fit把数据集中所有文字按规则（默认空格）切分成词元以后每个词元记录一个数字 ## transform对切分文字匹配出数字id，作为向量维度下标 ## fit_transform ：两个功能合在一起 train_features = vectorizer.fit_transform(norm_train) test_feature = vectorizer.transform(norm_test) return train_features, test_feature, vectorizer data_processing.py 实现代码 DATA_DIR = data_loader.DATA_DIR corpus, labels = data_loader.get_data(DATA_DIR) stopwords = data_loader.get_stopwords(DATA_DIR) #train_test_split将数据集按test_size划分测试、训练集， random_state相同每