MapReduce是Google提出的一个软件架构,用于大规模数据集的并行运算,是为了解决大规模数据处理的问题。

MapReduce的基本思想是将大规模数据分割成多个小数据块,分发到不同的机器中进行并行处理。

具体来说,MapReduce通过将数据分成多个小块,然后将这些小块分发给多个计算节点进行处理,最后将处理结果汇总起来,从而实现高效的大规模数据处理。

MapReduce 大概可以分为 Map 和 Reduce 过程。Map 就好比拆分数据的过程,Reduce 就是将拆分的数据合并的过程。

【MapReduce 视频讲解】 https://www.bilibili.com/video/BV1rS4y1n7PC/?share_source=copy_web&vd_source=82be819a4e22d622eff6b514b96cb0bc