- 1、本文档共15页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
/maxiaobing123
李海全学习笔记
网络爬虫
2013-3-13
目录
1.利用JDK 底层包来访问网页 3
1.1 最简单的获取网页内容的示例 3
1.2.URLConnection 的基本用法 3
1.3 HttpURLConnection 的用法 4
2. 使用 HttpClient 获取网页内容 5
2.1 使用 GET 方式向后台递交请求 5
2.2 自动获得响应的编码信息 6
2.3 设置代理服务器,访问网站 7
2.4 获得重定向之后的网址信息 8
2.5 自动Cookie 处理 9
3 .HTMLParser 分析网页 11
3.1 通过 HTMLParser 将网页下载到本地 11
3.2 提取网页中图片的链接地 12
3.3 提取具有某种特征的标签 12
4.对 HtmlParser 和HttpClient 做封装,按照规则提取内容 13
4.1 封装代码 13
4.2 代码测试 15
1.利用JDK 底层包来访问网页
因为HttpClient 是对JDK 中.*包下面的有关基础类库的封装,所以,我们有必要了
解一下,这些基础类库的简单用法和概念。
1.1 最简单的获取网页内容的示例
try {
String urlString = ;
URL url = new URL(urlString);// 代表一个网址
InputStream is = url.openStream();// 获得网页中的内容
// 将InputStream转换为Reader,并使用缓冲读取,提高效率,同时可以按行读取内容
BufferedReader br = new BufferedReader(new InputStreamReader(is,
utf-8));
String line = ;
while ((line = br.readLine()) != null) {
System.out .println(line);
}
is.close();
} catch (Exception e) {
e.printStackTrace();
}
上述例子,直接通过URL 获得输入流,然后对其进行处理!
1.2.URLConnection 的基本用法
假如你需要通过代理来访问网络,那么,你需要的是URLConnection !即,在获取内容
之前,先设置代理!
try {
String urlString = /;
URL url = new URL(urlString); // 代表一个网址
// 首先创建HTTP代理,指定代理的地址和端口
Proxy proxy = new Proxy(Proxy.Type.HTTP , new InetSocketAddress(
, 808));
/**
* 首先打开一个链接 可以通过这个对象,在真正发起请求之前,设置一些其它的信息 比
如:代理服务器等
*/
URLConnection conn = url.openConnection(proxy);
InputStream is = conn.getInputStream();// 获取网页的内容
BufferedReade
您可能关注的文档
- 第一章 38---Sun+Java程序员模拟题.doc
- 多处理机I_O性能研究.pdf
- 第十三章 八年级下册政治期末考试复习提纲.pdf
- Linux下Nginx+Tomcat整合的安装及配置.pdf
- 网站反向链接培训资料.ppt
- 第二章 BLACKBERRY企业服务器软件许可协议.pdf
- 60型移动式山杏剥皮机与山楂除核机价格.docx
- 第七章 行知天下_201516上册_八年级_八年级语文.pdf
- 易语言调用大漠-附件.doc
- 第二章 单片机波形发生器课程设计说明书.doc
- 人教版四年级上册数学期末测试卷带答案(名师推荐).docx
- 2024广播影视职业技能鉴定经典例题含完整答案详解(各地真题).docx
- 2024教育硕士高频难、易错点题含完整答案详解(全优).docx
- 2024教育硕士综合提升测试卷(原创题)附答案详解.docx
- 2024广播影视职业技能鉴定真题(真题汇编)附答案详解.docx
- 2024民航职业技能鉴定通关题库含完整答案详解(全优).docx
- 2024教育硕士高频难、易错点题及答案详解【全国通用】.docx
- 2024教育硕士模拟试题附答案详解【培优A卷】.docx
- 人教版四年级上册数学期末测试卷含答案【培优a卷】.docx
- 2024民航职业技能鉴定题库含答案详解(预热题).docx
最近下载
- 牛津自然拼读oxfordphonicsLevel2Unit4Lesson2课件.pptx VIP
- 《梅花易数》预测实战方法.pdf VIP
- 医院地震应急演练脚本.docx VIP
- EPLAN笔记-EPLAN笔记-EPLAN笔记-EPLAN笔记.pdf VIP
- 污水处理厂应急预案.doc VIP
- 防火封堵工程施工与验收记录表(附件8)模板.pdf VIP
- 公路工程高程横坡计算程序(2011表格版).xls VIP
- BS EN 1822-1-2019 高效空气过滤器(EPA,HEPA和ULPA).第1部分:分类性能试验标记.pdf VIP
- 皇极经世预言未来的原理.pdf VIP
- 牛津自然拼读课件OPW PPT L2 U4 Lesson1.pptx VIP
文档评论(0)