Spark是专为大规模数据处理而设计的快速通用的计算引擎,起源于UCBerkeleyAMPlab的一个研究项目。相比传统的Hadoop(MapReduce),Spark的性能快了将近x倍。
Spark在计算中用到的数据可能会存在DWS、HBase或者HDFS上,其读写速度都和Spark计算的速度相差甚远。而Redis基于内存的读写可以成功解决这个问题,于是诞生了Spark-Redis。
01
Spark-Redis入门
入门篇包含一些基础概念和重要的类、方法。
1.1
配置Config
在maven的pom.xml中添加依赖:
dependencies
dependency
groupId