Пример кода работы с таблицами в Hive на основе приложений написанных на Scala для Spark 1.3

Загружаем spark-shell:

 spark-shell --master "local[2]"
 

После запуска spark-shell нужно импортировать все зависимости и октрыть соединение с помощью DriverManager. Далее приведены примеры чтения с таблицы и добавления данных:

import java.util.Properties
import org.apache.spark._
import org.apache.spark.sql.SQLContext
import java.sql.Connection
import java.sql.DriverManager
Class.forName("org.apache.hive.jdbc.HiveDriver")
var conn: java.sql.Connection = null
conn = DriverManager.getConnection("jdbc:hive2://127.0.0.1:10000/default", "", "")
val statement = conn.createStatement()
val result = statement.executeQuery("SELECT * FROM users_registered")
result.next()
result.getString("email")
val sql_insert = "INSERT INTO users_registered VALUES('user_id','email','gender')"
statement.executeUpdate(sql_insert)