第八章 聚类分析.pptxVIP

聚类分析;;;;获取新闻文章;使用我们前面获取到的令牌，就可以获取一个栏目的一系列链接。/r/subredditnameAPI端点默认返回所指定栏目的热门文章。我们会使用/r/chinasubreddit:; 我们遍历世界新闻栏目，最多一次获取100篇新闻报道。我们还可以使用分页，reddit最多允许我们读多少页，我们就读多少页。但是我们这里最多读5页。;获取数据; 对报道的标题进行散列操作，作为输出文件名，以保证唯一性。因为reddit网站不要求文章标题具有唯一性，因此两篇报道可能使用相同的标题，这就会导致数据集中两条数据之间的冲突。 我们使用MD5算法对报道的URL进行散列操作。现在人们发现MD5也不是绝对可靠的，但是就我们这么小的数据规模来说不太可能出问题（出现碰撞情况），即使出现这样的问题，也不用太担心。;except Exception as e: number_errors += 1 print(e);;;#文本抽取函数get_text_from_node以节点作为参数，它能处理包括根节点在内的所有节点，便于递归调用。 def get_text_from_node(node): if node is None: return if len(node) == 0: # No children, just return text from this item #检查文本长度是否达到100个字符 if node.text and len(node.text) 100: return node.text else: return results = (get_text_from_node(child) for child in node if child.tag not in skip_node_types) return \n.join(r for r in results if len(r) 1);#如果自行获取数据，可以遍历所有的原始网页，从文件里抽取文本，把结果保存到纯文本文件夹中。# for filename in os.listdir(data_folder):# text = get_text_from_file(os.path.join(data_folder, filename))# with open(os.path.join(text_output_folder, filename), w) as outf:# outf.write(text);;;;;;