Maven依赖配置文件准备

直接看这个帖子
SparkSql 用Scala代码查询Hive里面的指定的表

users.json

  1. [{"name":"zhangsan" ,"age":18} ,{"name":"lisi" ,"age":15}]

代码

有两种方式, demo01 是原始的SQL

demo02是DataFrame的方式,DataFrame更强大,

而直接写SQL更灵活,学习成本低.其实两种都能满足业务开发.

  2. import org.apache.spark.sql.SparkSession
  4. object HiveWrite {
  5.   /**
  6.    * 创建方式1
  7.    */
  8.   def demo01(spark: SparkSession): Unit = {
  9.     // 先创建换一个数据库
  10.     spark.sql("show databases").show
  11.     spark.sql("create database ceshi").show // 如果数据库存在会抛异常
  12.     spark.sql("use ceshi").show
  13.     spark.sql("create table user1(id int, name string)").show //如果表存在会抛异常
  14.     spark.sql("insert into user1 values(10, 'lisi')").show
  15.   }
  17.   /**
  18.    * 创建方式2
  19.    *
  20.    * @param spark
  21.    */
  22.   def demo02(spark: SparkSession): Unit = {
  23.     spark.sql("show databases").show
  24.     spark.sql("create database ceshi2").show // 如果数据库存在会抛异常
  25.     //读取json里面的数据,转成DataFrame
  26.     val df = spark.read.json("E:\\ZJJ_SparkSQL\\demo01\\src\\main\\resources\\users.json")
  27.     spark.sql("use ceshi2")
  28.     //    // 直接把数据写入到hive中. 表可以存着也可以不存在
  29.     df.write.mode("append").saveAsTable("user2")
  30.     df.write.insertInto("user2") // 基本等于 mode("append").saveAsTable("user2")
  31.   }
  33.   def main(args: Array[String]): Unit = {
  34.     //  设置登录人,不然会出现没有权限问题
  35.     System.setProperty("HADOOP_USER_NAME", "root")
  36.     val spark: SparkSession = SparkSession
  37.       .builder()
  38.       .master("local[*]")
  39.       .appName("HiveWrite")
  40.       .enableHiveSupport()
  41.       // 指定Hive的数据仓库的位置,这个路径是hdfs上面的路径
  42.       .config("spark.sql.warehouse.dir", "hdfs://zjj101:9000/user/hive/warehouse")
  43.       .getOrCreate()
  44.     //    demo01(spark) // 创建数据库和表插入数据方式1
  45.     demo02(spark) // 创建数据库和表插入数据方式1
  48.     spark.close()
  51.   }
  52. }

码云地址

添加链接描述