Python爬虫项目教程-教学大纲.pdfVIP

《Python 网络爬虫程序技术》教学大纲 课程类别： 专业课 适用对象：软件技术专业及相关专业 总 学 时：56 讲授学时：26 课内实践学时：30 独立实践学时：（0) 一、课程的性质、任务与课程的教学目标 （一）课程的性质、任务 1.课程性质 本课程注重对学生职业能力和创新精神、实践能力的培养。本课程旨在对 学生的程序设计思想和技能进行，培养学生利用主流scrapy 框架进行爬虫项目 的设计与开发。《Python 网页爬虫程序技术》课程是软件技术专业Python 方向 的专业核心课程，是融理论与实践一体化，教、学、做一体化的专业课程，是 基于设计的工作过程系统化学习领域课程，是工学结合课程。 2．课程的任务 本门课程旨在通过学习与实践培养学生的爬虫程序开发能力，为社会输送 急需人才；课程对应的网页爬虫开发工程师岗位有着相对较高的薪酬水平和较 为广阔的发展前景，可以为参加学习的学生提供良好职业预期发展。 （二）课程的教学目标 1. 基本理论要求： 本课程主要面向岗位为网页爬虫开发工程师，能力辐射岗位有：Web 开发 工程师、数据分析师、测试工程师、文档工程师、售前/ 售后工程师等。 2.基本技能要求： 掌握使用Python 语言开发应用程序的一般方法，课程应多在计算机教室进 行一体化教学。该课程实践性较强，需要学员多作练习，理论与实验比例应为 1：1。要紧密围绕培养目标，突出重点。 3.职业素质要求： 1 要求学生在学习过程中认真学习，能严格遵守课题纪律和实验实训规章制 度，以培养学生的职业素质. 一、课程教学要求与内容 （一）课程教学要求 本课程内容涵盖了对学生在“基本理论”、“基本技能”和“职业素质”三个层 次的培养。以网页爬虫开发岗位必备的开发技能为重点并具备相应的理论基础 的同时，注重综合职业素质的养成，课程采用启发诱导式教学，鼓励学生“勤于 思考，勤于动手”。 1)基本理论要求：  掌握爬虫程序设计理念；  掌握数据提取与存储思想  掌握scrapy 爬虫框架设计思想。 2)基本技能要求：  熟练掌握ullib 网页下载方法；  熟练掌握正则表达式选取数据的规则；  熟练掌握BeautifulSoup 工具选择数据的方法；  熟练掌握xpath 、css 选择数据的方法；  熟练掌握scrapy 网页爬取的工作流程；  熟练掌握scrapy 中Item 、Pipeline 数据的序列化输出方法；  熟练掌握scrapy 中Spider 的网页递归爬取技术；  熟练掌握scrapy 中中间件的使用方法； 3)职业素质要求：  能够完成真实业务逻辑向代码的转化；  能够独立分析解决技术问题；  自学能力强，能够快速准确地查找参考资料；  能够按照规范编写技术文档；  沟通能力强，能够与小组其他成员通力合作。 本门着重培养学生独立完成交互式爬虫程序项目的设计、开发以及测试等 能力。 2 （二）课程教学内容 项目1 爬取外汇网站数据 1.1 外汇网站项目任务 1.2 搭建爬虫程序开发环境 1.2.1 理解爬虫程序 1.2.2 搭建开发环境 1.3 使用Flask 创建Web 网站 1.3.1 安装Flask 框架 1.3.2 创建模拟外汇网站 1.3.3 获取网站HTML 代码 1.4 使用GET 方法访问网页 1.4.1 客户端GET 方式发送数据 1.4.2 服务器获取GET 发送的数据 1.5 使用POST 方法访问网页 1.5.1 客户端POST 发送数据 1.5.2 服