Nutch 初体验.docVIP

Nutch 初体验前几天看到卢亮的 Larbin 一种高效的有哪些信誉好的足球投注网站引擎爬虫工具 一文提到 Nutch，很是感兴趣，但一直没有时间进行测试研究。趁着假期，先测试一下看看。用有哪些信誉好的足球投注网站引擎查找了一下，发现中文技术社区对 Larbin 的关注要远远大于 Nutch 。只有一年多前何东在他的竹笋炒肉中对 Nutch 进行了一下介绍。 Nutch vs Lucene Lucene 不是完整的应用程序，而是一个用于实现全文检索的软件库。Nutch 是一个应用程序，可以以 Lucene 为基础实现有哪些信誉好的足球投注网站引擎应用。 Nutch vs GRUBGRUB 是一个分布式有哪些信誉好的足球投注网站引擎(参考)。用户只能得到客户端工具(只有客户端是开源的)，其目的在于利用用户的资源建立集中式的有哪些信誉好的足球投注网站引擎。Nutch 是开源的，可以建立自己内部网的有哪些信誉好的足球投注网站引擎，也可以针对整个网络建立有哪些信誉好的足球投注网站引擎。自由(Free)而免费(Free)。 Nutch vs LarbinLarbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。［引自这里］Nutch 则还可以存储到数据库并建立索引。［引自这里］ Nutch 的早期版本不支持中文有哪些信誉好的足球投注网站，而必威体育精装版的版本(2004-Aug-04 发布了 0.5)已经做了很大的改进。相对先前的 0.4 版本，有 20 多项的改进，结构上也更具备扩展性。0.5 版经过测试，对中文有哪些信誉好的足球投注网站支持的也很好。 下面是我的测试过程。 前提条件(这里Linux 为例，如果是 Windows 参见手册)： Java 1.4.x 。因为我的系统上安装的Oracle 10g 已经有 Java 了。设定环境变量：NUTCH_JAVA_HOME 。 [root@fc3 ~]# export NUTCH_JAVA_HOME=/u01/app/oracle/product/10.1.0/db_1/jdk/jre Tomcat 4.x 。从这里下载。 足够的磁盘空间。我预留了 4G 的空间。 首先下载必威体育精装版的稳定版： [root@fc3 ~]# wget /release/nutch-0.5.tar.gz 解压缩: [root@fc3 ~]# tar -zxvf nutch-0.5.tar.gz [root@fc3 ~]# mv nutch-0.5 nutch 测试一下 nutch 命令： [root@fc3 nutch]# bin/nutch Usage: nutch COMMAND where COMMAND is one of: crawl one-step crawler for intranets admin database administration, including creation inject inject new urls into the database generate generate new segments to fetch fetchlist print the fetchlist of a segment fetch fetch a segments pages dump dump a segments pages index run the indexer on a segments fetcher output merge merge several segment indexes dedup remove duplicates from a set of segment indexes updatedb update database from a segments fetcher output mergesegs merge multiple segments into a single segment readdb examine arbitrary fields of the database analyze adjust database link-analysis scoring server run a search server or CLASSNAME run the class named CLASSNAME Most