潍坊市论坛

首页 » 分类 » 问答 » SparkRedis入门到解决执行海量
TUhjnbcbe - 2021/8/16 20:37:00

Spark是专为大规模数据处理而设计的快速通用的计算引擎,起源于UCBerkeleyAMPlab的一个研究项目。相比传统的Hadoop(MapReduce),Spark的性能快了将近x倍。

Spark在计算中用到的数据可能会存在DWS、HBase或者HDFS上,其读写速度都和Spark计算的速度相差甚远。而Redis基于内存的读写可以成功解决这个问题,于是诞生了Spark-Redis。

01

Spark-Redis入门

入门篇包含一些基础概念和重要的类、方法。

1.1

配置Config

在maven的pom.xml中添加依赖:

dependencies

dependency

groupId

1
查看完整版本: SparkRedis入门到解决执行海量