【SPARK】应用Spark(jdbc)从MySQL载入和储存数据
文中最开始思路来源于 ,可是,发觉 出示的源码太年纪大了,Spark官方网从1.4.0早已舍弃原先的方式(包括:createJDBCTable,insertIntoJDBC等 ),取代它的的是 sqlContext.read().jdbc()和sqlContext.write().jdbc()方式。
源码文件目录以下,今日关键表明前边2个:
父新项目pom,界定了同用部件slf4j,spark版本号1.5.1,mysql5.1.32等
依赖包,主要是spark-core和spark-sql,也有mysql驱动器:
看源码:
大家为了更好地载入数据便捷检测,必须一个json文档,相近下边:
读取文件时,users.json必须与jar包在同一文件目录下,检测选用当地运行方法:
在其中,编码中的这方面mode(SaveMode.Append)要需注意,这一促使每一次载入的数据是提升到数据表格中。不然会一直提 示:Exception in thread "main" java.lang.RuntimeException: Table users already exists.
装包,提交spark运行:
結果便是下边那样了:
依赖包与储存数据基本一致,不会再表明。
看源码:
载入MySQL数据,这方面最重要:
再复印出去:
Spark运行程序流程,留意--driver-class-path mysql-connector-java-5.1.32.jar主要参数,必须把mysql-connector初始化上:
正中间运行省去了,把結果輸出:
微信平台微信服务号:sectong
全文详细地址:
【数据可视化】Zeppelin JDBC 数据可视化(WEB方法)
phpMyAdmin 4.8.0公布 根据Web的MySQL可视化工具
怎样在CentOS 7上安裝和安全性配备MariaDB 10
【数据可视化】Zeppelin Interpreter MySQL 感受之行
MySQL安全性配备