实验3-信息获取-guide.docVIP

Crawler体系结构，绘图不易，黑板上直接画。 使用Boost库完成实验 需要了解： 一 线程 1． 启动线程 #include?boost/thread/thread.hpp //使用线程必须包括 #include?boost/thread/mutex.hpp //使用线程同步必须包括 #include?boost/bind.hpp //如果希望使用bind函数，必须包括 #include?boost/thread/condition.hpp //如果使用条件变量同步，必须包括 …… boost::mutex?io_mutex; //使用线程同步必须定义全局互斥信号量 …… Void hi() //情况a，线程函数不需要传入数据初始化 Void hi(int xxx) //情况b，线程需要传入数据初始化 ….. int?main(int?argc,?char*?argv[]) { //情况a，线程无需传入数据初始化 boost::thread?thrd(hi); //情况b，线程需要传入数据初始化，使用bind函数完成 boost::thread?thrd(boost::bind(hi,?1)); thrd.join(); ?return?0; } 2. 线程同步 Boost线程库提供了6互斥体类型，按效率排序： boost::mutex, boost::try_mutex,? boost::timed_mutex,? boost::recursive_mutex,? boost::recursive_try_mutex, ? boost::recursive_timed_mutex? #include?boost/thread/thread.hpp //使用线程必须包括 #include?boost/thread/mutex.hpp //使用线程同步必须包括 #include?boost/thread/condition.hpp //如果使用条件变量同步，必须包括 boost::mutex?io_mutex; //使用线程同步必须定义全局互斥信号量 void?count(int?id) { ????????for?(int?i?=?0;?i??10;?++i) ????????{ ????????????????boost::mutex::scoped_lock lock(io_mutex); //加锁 ????????????????std::cout??id??:?? i??std::endl; //操作共享数据 ????????} } int?main(int?argc,?char*?argv[]) { ????????boost::thread?thrd1(boost::bind(count,?1)); ????????boost::thread?thrd2(boost::bind(count,?2)); ????????thrd1.join(); ????????thrd2.join(); ????????return?0; } 有的时候仅仅依靠锁住共享资源来使用它是不够的。有时候共享资源只有某些状态的时候才能够使用。比方说，某个线程如果要从堆栈中读取数据，那么如果栈中没有数据就必须等待数据被压栈。这种情况下的同步使用互斥体是不够的。因为实验准备使用一个dns解析线程和多个crawler线程协同工作，这些crawler线程和dns解析线程需要维护未访问和已访问url列表，这些列表的访问可能有些条件，需要进行判断，那么就需要boost.condition，即条件变量。 条件变量的使用总是和互斥体及共享资源联系在一起的。线程首先锁住互斥体，然后检验共享资源的状态是否处于可使用的状态。如果不是，那么线程就要等待条件变量。要指向这样的操作就必须在等待的时候将互斥体解锁，以便其他线程可以访问共享资源并改变其状态。它还得保证从等到得线程返回时互斥体是被上锁得。当另一个线程改变了共享资源的状态时，它就要通知正在等待条件变量得线程，并将之返回等待的线程。 下面是一个实现了有界缓存区的类和一个固定大小的先进先出的容器。由于使用了互斥体boost::mutex，这个缓存区是线程安全的。put和get使用条件变量来保证线程等待完成操作所必须的状态。有两个线程被创建，一个在buffer中放入100个整数，另一个将它们从buffer中取出。这个有界的缓存一次只能存放10个整数，所以这两个线程必须周期性的等待另一个线程。为了验证这一点，put和get在std::cout中输出诊断语句。最后，当两个线程结束后，main函数也就执行完毕了#include?boost/thread/thr