算法报告自然语言分词处理.docxVIP

大连民族学院计算机科学与工程学院实验报告实验题目：自然语言分词处理课程名称：算法分析与设计实验类型：□演示性□验证性□操作性□设计性█综合性实验日期：2011年4月6日实验地点：多媒体机房(四楼机房)实验学时：8实验成绩：指导教师签字：年月日实验目的通过FMM和BMM算法实现对自然语言字符串的正确分词，能够使字符串分成各个单词。实验内容1将语料文档用程序生成字典文档。2程序根据已生成的字典文档将输入字符串后进行分词处理。三，运行环境本程序基于JDK1.6+myeclipse6.5开发。四，软件分析生成训练语料文档按文件字符流读取a.txt文档，去掉语料库中多余的字符，生成只含文字和符号和空格等数据保存到out.txt文档中。生成字典DicTrainer类中Train方法按文件字符流读取out.txt文档，循环到读取文档的结尾，用StringTokenizer根据空格标志分段，将读取的字段传给Dictionary类中的addWord方法，在Dictionary负责把传来的参数和参数出现的次数进行统计存入HashMap中。DicTrainer类中SaveDic方法按文件对象流把HashMap中的数据写入字典dic.dic文档中。关闭文件SaveDic方法对象流把字典内如写入dic.dic文档中.训练语料的载入选择训练语料文挡生成字典（同2）,DicTrainer类中SaveDic方保存字典。分词处理分词结果写入Vector中。FMM模块:int pos =0int maxLength = 字典中最长的单词长度int targertLength = maxLengthint restLength = 输入语句的长度Vector seged = new vector()循环resetLength0如果targertLengthrestLengthtargertLength=restLengthString tempStr = sentence.substring(pos, pos + targetLength)如果dic.checkWord(tempStr) || targetLength == 1{tempStr写入seged中pos += targetLengthtargetLength = maxLengthrestLength = sentence.length() - pos}否则targetLength--;返回segedBMM模块BMM模块仅需FMM模块中的部分代码即可。五，运行结果FMM分词结果 BMM分词结果心得体会通过学习自然语言分词处理算法—前向最大匹配算法，并将之运用到本程序中。在编程中，对算法有了进一步了解，通过边学边动手，提高了学以致用的能力，提高动手能力，在实验中更好的吸收学习的知识。