Python网络数据采集笔记.docxVIP

BeautifulSoup简介from urllib.request import urlopenfrom bs4 import BeautifulSouphtml = urlopen()#打开一个网址bsObj = BeautifulSoup(html.read(),html.parser)#建立了一个美丽汤对象，以网页内容为参数#调用html.read获取网页的HTML内容#这样就可以把HTML内容传到美丽汤对象print (bsObj.h1) #提取h1标签导入urlopen，然后调用html.read()获取网页的HTML内容，这样就可以把HTML内容传到BeautifulSoup对象用bsObj.h1从对象里提取h1标签任何HTML文件的任意节点的信息都可以被提取出来处理异常html = urlopen(/pages/page1.html)这一句可能出现两种异常：网页在服务器上不存在（提取网页时出现错误）——返回HTTP错误，urlopen函数抛出HTTPError异常处理：try: html = urlopen(/pages/page1.html) except HTTPError as e: print(e)#返回空值，中断程序，或者执行另一个方案 else： #程序继续服务器不存在（连接打不开、写错了），urlopen就会返回一个None对象，可以增加一个判断语句检测返回的html是不是None：if html is None:print(‘URL is not found’)else: #程序继续第一个爬虫：from urllib.request import urlopenfrom urllib.error import HTTPError,URLErrorfrom bs4 import BeautifulSoupdef getTitle(url): try: html = urlopen(url) except (HTTPError,URLError) as e: return None try:bsObj = BeautifulSoup(html.read(),html.parser) title = bsObj.html.head.title except AttributeError as e: return None return titletitle = getTitle(/#signin)if title == None: print(title could not be found)else: print(title)复杂HTML解析/pages/warandpeace.html抓出整个页面，然后创建一个BeautifulSoup对象：from urllib.request import urlopenfrom bs4 import BeautifulSouphtml = urlopen(‘/pages/warandpeace.html’)bsObj = BeautifulSoup(html)通过BeautifulSoup对象，可以用findAll函数抽取只包含在某个标签里的文字，如：namelist = bsObj.findAll(‘span’,{‘class’:’green’})for name in namelist: print(name.get_text()) #得到一个包含人物名称的Python列表find()与findAll()函数findAll(tag,attributes,recursive,text,limit,keywords)find(tag, attributes,recursive,text,keywords)tag——传一个或多个标签的名称组成的列表做标签函数，例如：.findAll({‘h1’,’h2’,’h3’,’h4’,’h5’})attributes——用一个Python字典封装一个标签的若干属性和对应的属性值，例如：.findAll(‘span’,{‘class’:{‘green’,’red’}} #返回红色与绿色的span标签text——用标签的文本内容去匹配，例如：namelist = bsObj.findAll(text = ‘the prince’)print(len(namelist))其他BeautifulSoup对象BeautifulSoup对象标签tag对象NavigableString对象Comment对象导航树1.处理子标签和其他后代标签chil