每一个可以努力的日子，都是一份厚礼。
MapReduce
计算圆周率Approximating Pi – Map Reduce Program
2011 4月 11th
MapReduce主要应用于大规模数据处理，特别是在搜索引擎中各种链接的访问统计，进而影响到页面关键词排名等等。今天这个例子却是讲的利用MapReduce来对圆周率Pi进行近似计算。考虑下面这张图：
我们知道，正方形的面积 As = (2r)2 也就是 4r2. 内嵌圆形的面积 Ac = pi * r2. 于是 更多 >
学习MapReduce分布式程序设计方法
2011 2月 9th
MapReduce是Google提出的一个编程框架，用于大规模海量数据处理，其主要思想就是分治（divide and conquer）。我们希望程序有并行处理能力，于是就可以使用多台机器同时处理加快速度。
然而，怎样分派任务给不同的计算机？如果任务单元的数量大于可执行任务的计算机的数量怎么办？计算需要使用到一些中间结果怎样处理？如果某些计算机在处理任务时中途死掉了呢？怎样才能知道任务已经处理完毕？问题主要来自于任务处理节点的交流（比如状态信息），以及对共享资源（数据）的访问。要解决这些棘手的问题，我们需要有一套完整的同步机制：同步锁信号量、条件变量（等待、通告、广播）等等。
现有的一些编程模型有共享内存（pthread）、消息传递（MPI）等，架构的设计模式有主从式（Master-Slaves）、生产者消费者流式（Producer-consumer flows）等。Map Reduce结合了函数式编程语言的思想，使用key-value对作为输入和输出。开发者只需要实现map(key, value)和reduce(key, value)两个功能。map()会产生中间结果作为输出，而这正是reduce()的输入。中间结果经过reduce()产生最终结果。类似以下模型：
map (in_key, in_value) ->
(out_key, intermediate_value) listreduce (out_key, intermediate_value list) ->
out_value list
具体的原理可以参看Google发表的关于MapReduce的论文。从应用开发的角度，本站的MapReduce分类下有一些python示例，可以作为初步入门学习。最简单的方法就是利用管道来进行代码测试，例如： 更多 >
反向索引Inverted Index – Map Reduce Program
2011 1月 4th
Inverted Index （反向索引）是搜索引擎需要做的一件经常性工作。在Google提出Map Reduce分布式编程框架中，这是一件很容易完成的事情。下面就是一个python写的示例。 更多 >
单词统计Word Count – Map Reduce Program
2011 1月 4th
在学习Map Reduce方法时，Word Count（单词统计）程序是最基础的入门训练。不同的写法会有不同的执行效率，下面是用python写的一个示例。 更多 >
Amazon EMR 云计算服务编程实践
2011 1月 4th
EMR是Amazon亚马逊云计算平台提供的一项服务，用户可以在此平台使用亚马逊强大的计算资源执行Map Reduce程序。由于Map Reduce很多情况下都是做的海量数据文本统计类的并行计算任务，需要耗费很多时间，使用云计算则可以大大加快执行速度。
EMR建立在Amazon S3和Amazon EC2的基础上。用户提交一个map程序和一个reduce程序，同时提交需要处理的数据文件作为输入。这些都上传到Amazon S3云端存储平台，在EMR中指定相应的S3路径，就可以开始做数据处理了。EMR会根据用户指定的规模配置，开启一个EC2集群，在每个节点上运行Hadoop。运行结束后用户可以从S3获取结果数据。下面以word count单词统计任务为例，介绍具体操作过程。 更多 >
