- 1、本文档共15页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
/maxiaobing123
李海全学习笔记
网络爬虫
2013-3-13
目录
1.利用JDK 底层包来访问网页 3
1.1 最简单的获取网页内容的示例 3
1.2.URLConnection 的基本用法 3
1.3 HttpURLConnection 的用法 4
2. 使用 HttpClient 获取网页内容 5
2.1 使用 GET 方式向后台递交请求 5
2.2 自动获得响应的编码信息 6
2.3 设置代理服务器,访问网站 7
2.4 获得重定向之后的网址信息 8
2.5 自动Cookie 处理 9
3 .HTMLParser 分析网页 11
3.1 通过 HTMLParser 将网页下载到本地 11
3.2 提取网页中图片的链接地 12
3.3 提取具有某种特征的标签 12
4.对 HtmlParser 和HttpClient 做封装,按照规则提取内容 13
4.1 封装代码 13
4.2 代码测试 15
1.利用JDK 底层包来访问网页
因为HttpClient 是对JDK 中.*包下面的有关基础类库的封装,所以,我们有必要了
解一下,这些基础类库的简单用法和概念。
1.1 最简单的获取网页内容的示例
try {
String urlString = ;
URL url = new URL(urlString);// 代表一个网址
InputStream is = url.openStream();// 获得网页中的内容
// 将InputStream转换为Reader,并使用缓冲读取,提高效率,同时可以按行读取内容
BufferedReader br = new BufferedReader(new InputStreamReader(is,
utf-8));
String line = ;
while ((line = br.readLine()) != null) {
System.out .println(line);
}
is.close();
} catch (Exception e) {
e.printStackTrace();
}
上述例子,直接通过URL 获得输入流,然后对其进行处理!
1.2.URLConnection 的基本用法
假如你需要通过代理来访问网络,那么,你需要的是URLConnection !即,在获取内容
之前,先设置代理!
try {
String urlString = /;
URL url = new URL(urlString); // 代表一个网址
// 首先创建HTTP代理,指定代理的地址和端口
Proxy proxy = new Proxy(Proxy.Type.HTTP , new InetSocketAddress(
, 808));
/**
* 首先打开一个链接 可以通过这个对象,在真正发起请求之前,设置一些其它的信息 比
如:代理服务器等
*/
URLConnection conn = url.openConnection(proxy);
InputStream is = conn.getInputStream();// 获取网页的内容
BufferedReade
您可能关注的文档
- 第一章 38---Sun+Java程序员模拟题.doc
- 多处理机I_O性能研究.pdf
- 第十三章 八年级下册政治期末考试复习提纲.pdf
- Linux下Nginx+Tomcat整合的安装及配置.pdf
- 网站反向链接培训资料.ppt
- 第二章 BLACKBERRY企业服务器软件许可协议.pdf
- 60型移动式山杏剥皮机与山楂除核机价格.docx
- 第七章 行知天下_201516上册_八年级_八年级语文.pdf
- 易语言调用大漠-附件.doc
- 第二章 单片机波形发生器课程设计说明书.doc
- 2026届高考数学总复习(第1轮)基础版第50讲 直线的方程.pptx
- 《关于组织开展能源领域氢能试点工作的通知》解读及对策.docx
- 二年级数学奇妙的动物世界跨学科项目化学习设计.docx
- 高一美术传承与创新中国近现代美术思政融合课教学设计.docx
- 2025年湖北省省直辖行政单位选调生考试(行政职业能力测验)综合能力测试题带答案.docx
- 2025年温州医科大学仁济学院单招语文测试模拟题库附答案.docx
- 2025年清远职业技术学院单招(语文)测试模拟题库附答案.docx
- 2025年湖北省咸宁市事业单位招聘考试(职业能力倾向测验)题库及答案1套.docx
- 2025年温州大学单招语文测试题库有答案.docx
- 2025年湖北省荆州市单招语文测试模拟题库a4版.docx
文档评论(0)