注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

anqiang专栏

不要问细节是怎么搞的,源码说明一切

 
 
 

日志

 
 

Hadoop 任务配置  

2009-12-30 17:22:24|  分类: Hadoop & Mahout |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
最近一直在学习Hadoop的开发工作,看了组里其他同学些的代码觉得懂了不少,今天终于在生产环境下成功运行了一个任务。非常兴奋!很开心在这段时间跟同组的同学们学到不少的东西。
实现一个MapReduce的基本流程
1.实现一个Map类
2.实现一个Reduce类
3.配置Job的参数
主要包括:
//设置任务的名称
jobConf.setJobName("Product_detail_3");

//设置map reduce的个数
jobConf.setNumMapTasks(numMapTasks);
jobConf.setNumReduceTasks(numReduceTasks);

//设置Map Reduce工作的负责类
jobConf.setMapperClass(MapDealUserItem.class);
jobConf.setReducerClass(ReduceDealUserItem.class);
//设置中间合并类(合并工作在Map结束后本地节点进行)
jobConf.setCombinerClass(ReduceDealUserItem.class);

//设置输出的key value的类型
jobConf.setOutputKeyClass(Text.class);
jobConf.setOutputValueClass(Text.class);

//负责从文件系统中删除OutputPath
fs = FileSystem.get(confGetDealInfo);
fs.delete(OutputPath, true);

//设置输入文件路径,输出文件路径
FileInputFormat.setInputPaths(InputPath);
FileOutputFormat.setOutputPath(OutputPath);

//启动任务
JobClient.runJob(jobConf);
  评论这张
 
阅读(747)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017