基础概念和技术.PDFVIP

第一部分 基础概念和技术 大多数介绍网站开发的书籍都阐述如何创建网站，这本书教导开发者如何将已有网站合 并、改编并自动运营，来满足具体需求。 读者可能已经具有从计算机科学领域学到的经验，用来开发网络机器人、蜘蛛和抓屏 器。但是，如果读者已经熟悉这本书里的一些概念，开发网络机器人可能要求以不同的背景 来看待这些技术。也就是说，即便你很有经验，仍然建议你阅读整本书。 如果读者还不具有这些领域的经验，那也不要紧，本书前7章将介绍设计开发网络机器 人的基础知识。这将成为本书后面讨论的其他项目和高级话题的基础。 第一部分介绍网络自动化的概念并探索驾驭网络资源的基本技术。 第 1 章　本书主要内容 该章探索编写网络机器人的乐趣，以及为什么网络机器人开发是一个高???入的职业，会 有很多的发展机会。 第 2 章　网络机器人项目创意 我们已经被误导，认为不得不接受网站的现状。这主要是因为浏览器不允许我们做别的 事情。然而，如果仔细考虑你到底想要做什么，而不是浏览器允许做什么，你将以全新的视 角去看待你所钟爱的网络资源。从该章你将学到网络浏览器受很多局限的困扰，以及这些局 限可能会如何触发念头去开发属于自己的网络机器人项目。 第 3 章　下载网页 该章介绍PHP/CURL，一个开源的库，可以简单地下载网页——即使目标网页使用了诸 如转发、加密、认证、cookie等高级技术。 　2 第一部分　基础概念和技术 第 4 章　基本解析技术 如果不能把有用的数据和无用的数据区分开来，那么下载的网页是没有用的。该章介绍 提取网页内容的基本知识。 第 5 章　使用正则表达式的高级解析技术 一旦读者掌握了解析的基本知识，就可以探索正则表达式解析的高级特性，以及在什么 场景下适合使用它们。 第 6 章　自动表单提交 要让网络机器人真正的自动化，需要具有通过在线表格自动上传数据的能力。该章教你 编写能够自动填表的网络机器人。 第 7 章　处理大规模数据 特殊的蜘蛛程序能产生大规模的数据。所以能够高效地存储并压缩网页、文本文件以及 图片的大小是很重要的。阅读该章之后，读者将学会如何压缩、提要、存储以及检索收集到 的数据。 第 1 章 本书主要内容 如果你是一名在寻找新技术的软件开发者，或者正寻求竞争优势的企业管理者，通过本 章，你将发现网络机器人是如何创造机遇的。 1.1　发现互联网的真正潜力 当我开始编写网络机器人的时候，就发现这是软件开发者实际上未曾利用过的新项目资 源，也是给商界朋友的丰富资源。这一点在近些年里几乎没变。即使这本书的第一个版本发 行多年之后，公众还没有意识到互联网的真正潜力不在当前多数人正在使用的“浏览器/网 站”模型。即使在今天，人们仍然满足于简单地使用浏览器来访问互联网，点击一个网站， 并消费掉碰巧在那里发现的任何信息或者服务。有了网络机器人，互联网的焦点从“网站能 提供什么”转向为“人们想要什么”。 如果开发者和商界的朋友想要成功地使用网络机器人，则需要与其他互联网用户有不同 的思维方式。特别是不要手动使用浏览器，一次只查看一个网页，不能以这种方式去思考。 做到这一点会很困难，因为我们已经完全依赖浏览器的使用了，依赖浏览器来访问互联网。 虽然以传统的方式用浏览器能做很多事情，但你也为其易用性付出了很高的代价。这是因为 要适应多数环境，浏览器就必须有足够的通用性。因此，浏览器可以把通用的事情做好，但 却缺少把特定的事情做到特别好的能力 。然而我们却可以通过开发网络机器人，来把特定 的事情做到完美。还有，网络机器人可以把网络上的一切手动工作自动化，并将你所关注的 事情通知给你。 1.2　对开发者来说 编写网络机器人的能力可使你从其他开发者之中脱颖而出。网络开发者经历了许多风 浪，从20世纪90年代后期定义新的经济模式，到2001年的互联网泡沫破裂，以及2008年开始 的世界经济衰退，他们知道今天的职场里充满着竞争。今天即使最具才能的开发者，寻找有 　例如，网络浏览器无法代替你进行行动，诸如