Hadoop的MapReduce中多文件输出-北风网.pdf

[Hadoop 系列]Hadoop 的 MapReduce 中多文件输出 2010-01-08 11:14 2883 人阅读评论(4) 收藏举报 inkfish 原创，请勿商业性质转载，转载请注明来源（/inkfish ）。 Hadoop 默认的输出是TextOutputFormat，输出文件名不可定制。hadoop 0.19.X 中有 一个org.apache.hadoop.mapred.lib.MultipleOutputFormat ，可以输出多份文件且可以自定 义文件名，但是从hadoop 0.20.x 中MultipleOutputFormat 所在包的所有类被标记为“已过 时”，当前如果再使用MultipleOutputFormat，在将来版本的hadoop 中可能无法使用。本篇 文章中，我们自己实现一个简单的MultipleOutputFormat，并修改hadoop 自带的WordCount 示例程序来测试结果。 环境： Ubuntu 8.0.4 Server 32bit Hadoop 0.20.1 JDK 1.6.0_16-b01 Eclipse 3.5 所有代码分为3 个类： 1.LineRecordWriter： RecordWriter 的一个实现，用于把Key, Value转化为一行文本。在Hadoop 中，这 个类作为TextOutputFormat 的一个子类存在，protected 访问权限，因此普通程序无法访问。 这里仅仅是把LineRecordWriter 从TextOutputFormat 抽取出来，作为一个独立的公共类使 用。 view plain 1. package inkfish.hadoop.study; 2. import java.io.DataOutputStream; 3. import java.io.IOException; 4. import java.io.UnsupportedEncodingException; 5. import org.apache.hadoop.io.NullWritable; 6. import org.apache.hadoop.io.Text; 7. import org.apache.hadoop.mapreduce.RecordWriter; 8. import org.apache.hadoop.mapreduce.TaskAttemptContext; 9. import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; 10. /**摘自{@link TextOutputFormat}中的LineRecordWriter。 */ 11. public class LineRecordWriterK, V extends RecordWriterK, V { 12. private static final String utf8 = UTF-8; 13. private static final byte[] newline; 14. static { 15. try { 16. newline = /n.getBytes(utf8); 17. } catch (UnsupportedEncodingException uee) { 18. throw new IllegalArgumentException(cant find + utf8 + enco ding); 19. } 20. } 21. protected DataOutputStream out; 22. private final byte[] keyValueSeparator; 23. public LineRecordWriter(DataOutputStream out, String keyValueSeparator) { 24. this .out = out; 25. try { 26. this .keyValueSeparator = keyValueSeparator.getBy