Пример вставки и выборки данных в Hbase на языке Scala для Spark 1.3

Пример кода: 
import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor}
import org.apache.hadoop.hbase.client.HBaseAdmin
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.client.Result

import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.fs.Path
import org.apache.hadoop.hbase.client.{HBaseAdmin,HTable,Put,Get}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.hbase.client.HTable;

val conf = HBaseConfiguration.create()
conf.addResource(new Path("/etc/hbase/conf/hdfs-site.xml"));

conf.addResource(new Path("/etc/hbase/conf/core-site.xml"));
conf.addResource(new Path("/etc/hbase/conf/hbase-site.xml"));

conf.set("hbase.zookeeper.quorum", "127.0.0.1:2181")
conf.set(TableInputFormat.INPUT_TABLE, "users_registered")
val row = Bytes.toBytes("test_key.111")
val p = new Put(row)
val myTable = new HTable(conf, "users_registered");
p.add(Bytes.toBytes("data"), Bytes.toBytes("channel_new_id"), Bytes.toBytes("76756"))
myTable.put(p)
myTable.flushCommits

//Выборка данных по rowkey
val theget= new Get(Bytes.toBytes("test_key.111"))
val result=myTable.get(theget)
val res1 = result.getValue(Bytes.toBytes("data"), Bytes.toBytes("channel_new_id"))
println(Bytes.toString(res1))

При запуске может возникнуть такая ошибка:
ClassNotFoundException: org.apache.htrace.Trace exception

Для этого нужно запускать приложение с указанием driver-class-path: 
spark-shell --master "local[2]" --driver-class-path /etc/hbase/conf:/opt/cloudera/parcels/CDH/lib/hbase/lib/htrace-core-3.1.0-incubating.jar

Полезные ссылки:
http://massapi.com/method/org/apache/hadoop/hbase/client/Table.flushCommits.html
https://wiki.apache.org/hadoop/Hbase/Scala
http://scalapersistenceframework.org/?p=91
http://jimbojw.com/wiki/index.php?title=Understanding_Hbase_and_BigTable
http://hbase.apache.org/book.html#datamodel

Коментарі

Дописати коментар

Популярні дописи з цього блогу

Минимальные требование для кластера Hadoop(with Spark)

Зображення
   Есть 4 типы ролей в базовом Hadoop кластере: NameNode (и Standby NameNode), JobTracker,TaskTracker, и DataNode. (node - это машина выполняющая конкретную задачу). Большинство машин в Вашем кластере могут выполнять две из этих ролей, функионируя как DataNode (хранилище данных) и TaskTracker (Для обработки данных).    Следующая диаграмма показывает как должны быть сконфигурированы сервера в зависимости от рабочих нагрузок: Далее приведена рекомендательная спецификация для DataNode/TaskTrackers в Hadoop кластере: 12-24 1-4TB жерстих диска в JBOD (Just a Bunch Of Disks) конфигурации 2 quad-/hex-/octo-core CPUs, 2-2.5GHz 64-512GB ОЗУ Локальная Гигабитная сеть или 10Gigabit сеть (чем большая плотность хранения тем большая пропускная способность необходима) Рекомендации для NameNode/JobTracker/Standby NameNode ноды будет колебаться в зависимости от избыточности: 4–6 1TB жерсткие диски в JBOD конфигурации (1 для OS, 2 для FS [RAID 1], 1 для Apache ZooKee...
Докладніше

Apache Spark Resource Management и модель приложений от YARN

Зображення
Краткий обзор разницы между тем как Spark и MapReduce управляют ресурсами с помощью YARN. Также посмотрим на разницу между Spark и MapReduce архитектурой, почему это важно и как они работают в кластере с ресурс медежрером YARN.  Наиболее популярным YARN приложением после MapReduce является Apache Spark.  Приложения В MapReduce, "job" является блоком наивысшего уровня. Система загружает данные в map функцию, перемешивает их и отправляет в reduce функцию. После записывает результат обратно в хранилище. Spark имеет похожий принцип работы(job может состоять не только из шагов map и reduce), но он имеет ещё один блок уровня управления , который называется "application", который может запустить много job-в в последовательном или паралельном режиме. Архитектура Spark приложений Для тех, кто хорошо знаком с SPARK API, приложению соответствует экземпляр класса SparkContext. В приложении может быть использован однин job, интерактивная сессия с нескольким...
Докладніше

Apache Spark - основные команды

Загрузка данных в DataSet RRD (Resilient Distributed Dataset над которым можно делать преобразования): .parallelize([3,5,6,8,9]) .textFile(path_to_the_source)// указываем хранилище. К примеру hdfs. Трансформация данных : .map(function) — применяет пользовательскую функцию(function) к каждому элементу датасета .filter(function) — возвращает только те элементы датасета, для которых пользовательская функция(function) вернула значение true .distinct([numTasks]) — возвращает датасет, с уникальных элементо первоначального датасета .union(otherDataset).intersection(otherDataset).cartesian(otherDataset) — новый датасет содержит в себе всевозможные пары (A,B), где первый элемент принадлежит исходному датасету, а второй — датасету-аргументу Действия над RDD (Сохранить данные или вывести в консоль..): .saveAsTextFile(path) — сохраняет данные в текстовый файл (в hdfs, на локальную машину или в любую другую поддерживаемую файловую систему — полный список можно посмотреть в докумен...
Докладніше