注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

anqiang专栏

不要问细节是怎么搞的,源码说明一切

 
 
 

日志

 
 

BayesWeightSummerMapper  

2010-04-06 16:46:48|  分类: Hadoop & Mahout |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

import java.io.IOException;

 

import org.apache.hadoop.io.DoubleWritable;

import org.apache.hadoop.mapred.MapReduceBase;

import org.apache.hadoop.mapred.Mapper;

import org.apache.hadoop.mapred.OutputCollector;

import org.apache.hadoop.mapred.Reporter;

import org.apache.mahout.common.StringTuple;

 

/**

 *

 * Calculates weight sum for a unique label, and feature

 *

 */

public class BayesWeightSummerMapper extends MapReduceBase implements

    Mapper<StringTuple,DoubleWritable,StringTuple,DoubleWritable> {

 

  /**

   * We need to calculate the weight sums across each label and each feature

   *

   * @param key

   *          The label,feature tuple containing the tfidf value

   */

  @Override

  public void map(StringTuple key,

                  DoubleWritable value,

                  OutputCollector<StringTuple,DoubleWritable> output,

                  Reporter reporter) throws IOException {

    String label = key.stringAt(1);

    String feature = key.stringAt(2);

    reporter.setStatus("Bayes Weight Summer Mapper: " + key);

   

    //计算某个特征的全部TF-IDF和值

    StringTuple featureSum = new StringTuple(BayesConstants.FEATURE_SUM);

    featureSum.add(feature);

    output.collect(featureSum, value); // sum of weight for all labels for a

    // feature Sigma_j

   

  //计算某个类别的全部TF-IDF和值

    StringTuple labelSum = new StringTuple(BayesConstants.LABEL_SUM);

    labelSum.add(label);

    output.collect(labelSum, value); // sum of weight for all features for a

    // label Sigma_k

   

    //计算所有的的全部TF-IDF和值

    StringTuple totalSum = new StringTuple(BayesConstants.TOTAL_SUM);

    output.collect(totalSum, value); // sum of weight of all features for all

    // label Sigma_kSigma_j

   

  }

}

  评论这张
 
阅读(645)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017