技能训练 技能训练 数据处理-技能训练.docx

12 - 数据处理 实训指导书 任务说明 任务内容 首先编写函数读取Redis数据，接着使用正则表达式文本处理函数对所有字段数据进行数据清洗后，再使用Python 中文分词库“jieba”对info字段进行分词，并去除无用词，最后将分词结果合并入源数据。 知识点/技能点 Redis数据库安装和使用 Redis Desktop Manager 0.9.3安装和使用 正则表达式字符串替换 Python中文分词库“jieba” 任务目标（效果） 实现对`job_info`字段使用正则去除转义字符和分词，并将结果合并入源数据，最后提交分词结果截图、源代码。分词结果如下图所示： 任务准备 环境要求 系统：WIN7/WIN10 Python 3.6.x Redis 3.2.100 Redis Desktop Manager 0.9.3 Jieba 0.39 背景知识 Redis Redis是一个key-value存储系统。存储的value类型包括：string（字符串）、list（列表）、set（集合）、zset（sorted set --有序集合）和hash（哈希类型）。这些数据类型支持push/pop、add/remove、取交集、并集和差集等丰富的操作。同时，Redis还支持各种不同方式的排序。为了保证效率，数据都是缓存在内存中，因而Redis是一个高性能的key-value数据库。 Redis Desktop Manager Redis Desktop Manager是一款方便快捷的Redis桌面管理工具，支持命令控制台操作以及常用、查询key、rename、delete等操作。 正则表达式 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。 以下为一些常用的正则表达式：  非打印字符 非打印字符的转义序列： 字符 描述 \f 匹配一个换页符。等价于 \x0c 和 \cL。 \n 匹配一个换行符。等价于 \x0a 和 \cJ。 \r 匹配一个回车符。等价于 \x0d 和 \cM。 \s 匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。 \S 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。 \t 匹配一个制表符。等价于 \x09 和 \cI。 \v 匹配一个垂直制表符。等价于 \x0b 和 \cK。 特殊字符 如?runoo*b?中的?*，是表示任何字符串的意思。如果要查找字符串中的?*?符号，则需要对?*?进行转义，即在其前加一个?\:?runo\*ob?匹配 runo*ob。 特别字符 描述 $ 匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性，则 $ 也匹配 \n 或 \r。要匹配 $ 字符本身，请使用 \$。 ( ) 标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符，请使用 \( 和 \)。 * 匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 \*。 + 匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 \+。 . 匹配除换行符 \n 之外的任何单字符。要匹配 . ，请使用 \. 。 [ 标记一个中括号表达式的开始。要匹配 [，请使用 \[。 ? 匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。要匹配 ? 字符，请使用 \?。 \ 将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如， n 匹配字符 n。\n 匹配换行符。序列 \\ 匹配 \，而 \( 则匹配 (。 ^ 匹配输入字符串的开始位置，除非在方括号表达式中使用，此时它表示不接受该字符集合。要匹配 ^ 字符本身，请使用 \^。 { 标记限定符表达式的开始。要匹配 {，请使用 \{。 | 指明两项之间的一个选择。要匹配 |，请使用 \|。 限定符 限定符用来指定正则表达式的一个给定组件必须要出现多少次才能满足匹配。正则表达式的限定符有6种： 字符 描述 * 匹配前面的子表达式零次或多次。例如，zo* 能匹配 z 以及 zoo。* 等价于{0,}。 + 匹配前面的子表达式一次或多次。例如，zo+ 能匹配 zo 以及 zoo，但不能匹配 z。+ 等价于 {1,}。 ? 匹配前面的子表达式零次或一次。例如，do(es)? 可以匹配 do 、 does 中的 does 、 doxy 中的 do 。? 等价于 {0,1}。 {n} n 是一个非负整数。匹配确定的 n 次。例如，o{2} 不能匹配 Bob 中的 o，但是能匹配 food 中的两个 o。 {n,} n 是一个非负整数。至少匹配n 次。例如，o{