MapReduce基础编程 findMaxValue
时间:2011-03-06 来源:么什
之后,就是研究hadoop的理论知识了,虽是“研究”这样说,其实不过也就是看看资料和书籍而已,主要就是了解下它到底是个什么玩意儿,到底是干什么的。资料很多,大多是网上的或是论坛上的,hadoop技术论坛给予我的帮助很多,在此万分感谢~~书籍方面主要就是《Hadoop权威指南》和《云计算的关键技术和应用实例》这两本书了,读了之后,有所感触但是想法不够深入,还须仔细研读……
现在就尝试看程序写程序,光看也没什么意思了,写点儿什么才好看效果。所以才有了findMaxValue,主要是参考wordcount完成的。其中,发现有几点需要注意的:
1、hadoop对于参数类型的吻合十分注重,在jobconf中配置的类型就一定是数据相符合的类型
2、hadoop不是根据输入的文件数来分配reduce的,而是key——这点仍需验证
3、System.out.print是不错的debug方式,数据打印出来才看得明白
4、要写出好的程序,必须写自己的类
好,就这么多吧~~还不知是不是呢
相关阅读 更多 +