Spark整合Mongodb的方法

Spark先容

依照官方的界说，Spark 是一个通用，快速，实用于年夜范围数据的处置引擎。

通用性：我们可以使用Spark SQL来执行惯例阐发， Spark Streaming 来流数据处置， 以及用Mlib来执行机械进修等。Java，python，scala及R语言的支撑也是其通用性的表示之一。

快速： 这个可能是Spark胜利的最初缘故原由之一，主要归功于其基于内存的运算方式。当必要处置的数据必要重复迭代时，Spark可以直接在内存中暂存数据，而无需像Map Reduce一样必要把数据写回磁盘。官方的数据注解：它可以比传统的Map Reduce快上100倍。

年夜范围：原生支撑HDFS，而且其计算节点支撑弹性扩大，应用年夜量便宜计算资本并发的特色来支撑年夜范围数据处置。

情况预备

mongodb下载

解压安装

启动mongodb服务

$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log

pom依附

<dependency> 
<groupId>org.mongodb.spark</groupId> 
<artifactId>mongo-spark-connector_2.11</artifactId> 
<version>${spark.version}</version> 
</dependency>

实例代码

object ConnAppTest { 
def main(args: Array[String]): Unit = { 
val spark = SparkSession.builder() 
.master("大众local[2]"大众) 
.appName("大众ConnAppTest"大众) 
.config("大众spark.mongodb.input.uri"大众, "大众mongodb://192.168.31.136/testDB.testCollection"大众) // 指定mongodb输入 
.config("大众spark.mongodb.output.uri"大众, "大众mongodb://192.168.31.136/testDB.testCollection"大众) // 指定mongodb输出 
.getOrCreate() 
// 天生测试数据 
val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"大众{test: $i}"大众))) 
// 存储数据到mongodb 
MongoSpark.save(documents) 
// 加载数据 
val rdd = MongoSpark.load(spark) 
// 打印输出 
rdd.show 
} 
}

总结

以上所述是小编给年夜家先容的Spark整合Mongodb的办法，愿望对年夜家有所赞助，假如年夜家有任何疑问请给我留言，小编会实时回复年夜家的。在此也异常感激年夜家对剧本之家网站的支撑！

您可能感兴致的文章:

Spark SQL数据加载和保留实例讲授Spark调剂架构原理详解Spark SQL操作JSON字段的小技能