载人航天开源情报汇总.docx

载人航天开源数据舆情分析报告【任务要求】载人航天工程总体评价。载人航天工程重大意义以及公众评价意见。后续载人登月任务中长期发展规划（开展还是不开展，开展的意义如何）。【文章结构】问题背景1.1 研究意义载人航天的发展现状人民群众对载人航天事业的关注程度会影响国家在这个领域的投入所以关心社会对载人航天的舆情现状1.2 网络数据舆情分析大数据时代，借助信息手段解决问题传统的问卷调查覆盖面窄、成本大、难实施网络是扁平化结构，更有利于群众反映真实想法1.3 数据源选取1.3.1数据源分类主要选择了三大数据源，即新闻网站、论坛、微博。图11数据源来源图新闻数据主要反映了公众媒体的态度，新闻的数量则反映了媒体对这类事件的关注度，而不同的关键字又可以反映媒体对事件的关注点，本文选取了主流网络媒体门户网站：新浪新闻、搜狐新闻、腾讯新闻。论坛是主题性质的，可以反映大众对载人航天事业感兴趣的“话题”，并在每个话题板块下，对帖子的支持度进行统计、对帖子的情感态度进行划分。本文选取了最热门的论坛有知乎、天涯、航空航天港等。微博是最自下而上的自媒体形式，属于典型的社交网络，对微博内容进行影响力统计和情感态度划分。本文选取了国内最具影响力的微博，新浪微博。百度指数1.3.2数据源特点新闻类：新闻时间、新闻题目论坛类：帖主、主题内容、发布时间、回帖人、回帖内容、回帖时间、点赞微博类：用户ID、微博内容、发布时间、转发数1.4 主要研究工作本文主要利用了web数据挖掘技术，发掘载人航天工程的网络舆情情况。文章的内容结构如图1-2。图12本文的结构框架图第一章是阐述问题背景，主要内容包括本文的研究意义，研究对象的选取和主要研究工作。第二章详细介绍了研究方法，只要内容包括网络爬虫的方法，对采集的数据的处理方法，分词统计的方法，和文本情感分析的方法。第三章是对三种不同来源的数据进行分析与处理，对于新闻数据部分采取了新闻数量统计分析和关键词统计分析；对于论坛数据部分采取了分词统计分析，文本情感分析和话题提取；对于微博数据部分采取了热词提取和文本情感分析。第四章是结论分析，主要内容是对第三章的分析结果做总结分析，得出结论。研究方法2.1 网络数据挖掘网络数据挖掘是指对Web页面内容及后台交易数据库进行挖掘，从Web文档内容及其描述中的内容信息中获取有用知识的过程。通过网络数据挖掘，海量的、及时的信息能够被采集下来，并且通过文本分类，统计学分析等手段分析出网络民众所关注的问题和持有的看法态度。然而由于这些信息来自不同的网站不同的用户，那么其对应的结构位置不确定，信息格式没有固定标准，文本内容用语各不相同，因此我们针对不同来源的信息采取不同的数据挖掘方式。首先是数据的采集，对于新闻和论坛数据本文采用的是Java语言编写的网络爬虫程序，使用MySQL记录所要采集的网页的URL地址和页面所需内容对应的Xpath结构信息，爬虫程序载入URL地址截取整个页面再遍历各个Xpath节点，获取所需的内容，将获取的内容以文本形式存入MySQL中，以供后续的数据处理与分析。采集流程如图2-1所示，采集页面所需的URL和Xpath格式如表2-1。图 21网络数据采集流程图表 21数据采集格式IDsitenamekeywordURLurlXpathpagepubtimeXpathtitleXpathcontentXpathusernameXpathviewnumXpathreplynumXpathreplytimeXpathreplycontentXpathreplyerXpathcharset2.2 描述性统计对于采集的新闻数据根据发布时间制作图表，分析新闻数量的变化趋势，得出网络媒体对载人航天工程的关注热度变化情况；对新闻数据按照不同关键词分类，分析网络媒体对载人航天工程的重点关注对象。对于论坛数据按照发帖时间回复时间制作图表，分析帖子和回复数量的变化，分析网络民众对载人航天工程的关注变化情况；对网络民众情感态度变化进行分析，得出网络民众对载人航天工程的支持度变化情况；对不同论坛的热度和支持度变化进行比较，分析其异同。对于微博数据按照发布时间和微博影响力制作图表，分析微博数量变化趋势，得出网络民众对载人航天工程的关注热度变化情况；对微博内容情感态度变化情况进行分析，得出网络民众对载人航天工程的支持度变化情况；分析考虑影响力和不考虑影响了的民众关注热度和支持度的异同。2.3 分词统计2.3.1分词方法现在使用的分词方法主要有两种，一种是基于词典的分词，即对于一段文字我们将其各个汉字按照文字顺序组合分别与所给的分词词典对照，能在词典中找到即为一个词，并且要求最长的词才输出。另一种是基于统计学的分词，选取大量的语料库，统计各个单字连续出现的概率，划定阈值，当几个字连续出现的概率大于某一阈值时则认