自然語言理解实验报告.docxVIP

自然语言理解课程实验报告 实验一、中文分词实验内容用最大匹配算法设计分词程序实现对文档分词，并计算该程序分词的正确率、召回率及F-测度。实验数据：（1）wordlist.txt 词表文件 (2）pku_test.txt 未经过分词的文档文件（3）pku_test_gold.txt 经过分词的文档文件实验所采用的开发平台及语言工具开发平台：Eclipse软件语言工具：Java语言实验的核心思想和算法描述核心思想：正向最大匹配算法 (Forward MM, FMM)算法描述： 正向最大匹配法算法如下所示：逆向匹配法思想与正向一样，只是从右向左切分，这里举一个例子：输入例句：S1=计算语言学课程有意思 ；定义：最大词长MaxLen = 5；S2= ；分隔符 = “/”；假设存在词表：…，计算语言学，课程，意思，…；最大逆向匹配分词算法过程如下：（1）S2=；S1不为空，从S1右边取出候选子串W=课程有意思；（2）查词表，W不在词表中，将W最左边一个字去掉，得到W=程有意思；（3）查词表，W不在词表中，将W最左边一个字去掉，得到W=有意思；（4）查词表，W不在词表中，将W最左边一个字去掉，得到W=意思（5）查词表，“意思”在词表中，将W加入到S2中，S2= 意思/，并将W从S1中去掉，此时S1=计算语言学课程有；（6）S1不为空，于是从S1左边取出候选子串W=言学课程有；（7）查词表，W不在词表中，将W最左边一个字去掉，得到W=学课程有；（8）查词表，W不在词表中，将W最左边一个字去掉，得到W=课程有；（9）查词表，W不在词表中，将W最左边一个字去掉，得到W=程有；（10）查词表，W不在词表中，将W最左边一个字去掉，得到W=有，这W是单字，将W加入到S2中，S2=“ /有 /意思”，并将W从S1中去掉，此时S1=计算语言学课程；（11）S1不为空，于是从S1左边取出候选子串W=语言学课程；（12）查词表，W不在词表中，将W最左边一个字去掉，得到W=言学课程；（13）查词表，W不在词表中，将W最左边一个字去掉，得到W=学课程；（14）查词表，W不在词表中，将W最左边一个字去掉，得到W=课程；（15）查词表，“意思”在词表中，将W加入到S2中，S2=“ 课程/ 有/ 意思/”，并将W从S1中去掉，此时S1=计算语言学；（16）S1不为空，于是从S1左边取出候选子串W=计算语言学；（17）查词表，“计算语言学”在词表中，将W加入到S2中，S2=“计算语言学/ 课程/ 有/ 意思/”，并将W从S1中去掉，此时S1=；（18）S1为空，输出S2作为分词结果，分词过程结束。系统主要模块流程、源代码import java.io.*;import java.util.Vector;public class WordSequence{public static void main(String args[]){try{FileInputStream fis=new FileInputStream(F:\\pku_test.txt);InputStreamReader SR=new InputStreamReader(fis);BufferedReader BR=new BufferedReader(SR);String pku=;while( (pku=BR.readLine())!=null){ Sequence pku_test=new Sequence(pku); System.out.println( );}}catch(IOException e){System.out.print(e);}}}class Sequence{static final int WORD_MAX_LENGTH = 9; static Vector ve=new Vector(); FileWriter FW=new FileWriter(F:\\mypuk_test.txt,true); String seq=null;public Sequence(String str) throws IOException{class LoadDictionary{public LoadDictionary(FileReader reader) throws IOException{BufferedReader stream=new BufferedReader(reader);String LD=null;while((LD=stream.readLine())!=null){ve.add(LD);}}}FileReader list=new FileReader(F:\\wordlist.txt); LoadDictionary Dic=new LoadDi