HBase - краткое описание

На базе Hadoop очень популярны решение для аналитики на базе SQL (Impala, Spark SQL, Hive и т.д.), но они лучше работают с большими сегментами данных(К примеру размер блоков 64mb ). Произвольное чтение и запись отдельных строк для них является проблемой.

Альтернативой выступает HBase, который умеет эффективно обрабатывать случайные чтение и запись.

Это нереляционная распределённая СУБД которая поддерживает версионирование!
Это значит что таблицы в HBase трёхмерные и  мы можем хранить разные версии данных. Это позволяет,к примеру, запросить вчерашнюю версию данных.

Самым привлекательным является то, что HBase позволяет читать  данные в реальном времени. Скорость достигается за счёт буферизирования в памяти данных перед сбрасыванием в HDFS.

Требования к железу:
-больше оперативной памяти
-быстрый  I/O
-Меньше нагрузки на CPU
-Используйте block cache чтобы избежать лишних операций I/O на диске


Полезные сслыки:
HBase wiki

Коментарі

Дописати коментар

Популярні дописи з цього блогу

Минимальные требование для кластера Hadoop(with Spark)

Зображення
   Есть 4 типы ролей в базовом Hadoop кластере: NameNode (и Standby NameNode), JobTracker,TaskTracker, и DataNode. (node - это машина выполняющая конкретную задачу). Большинство машин в Вашем кластере могут выполнять две из этих ролей, функионируя как DataNode (хранилище данных) и TaskTracker (Для обработки данных).    Следующая диаграмма показывает как должны быть сконфигурированы сервера в зависимости от рабочих нагрузок: Далее приведена рекомендательная спецификация для DataNode/TaskTrackers в Hadoop кластере: 12-24 1-4TB жерстих диска в JBOD (Just a Bunch Of Disks) конфигурации 2 quad-/hex-/octo-core CPUs, 2-2.5GHz 64-512GB ОЗУ Локальная Гигабитная сеть или 10Gigabit сеть (чем большая плотность хранения тем большая пропускная способность необходима) Рекомендации для NameNode/JobTracker/Standby NameNode ноды будет колебаться в зависимости от избыточности: 4–6 1TB жерсткие диски в JBOD конфигурации (1 для OS, 2 для FS [RAID 1], 1 для Apache ZooKeeper, и 1 для Journa
Докладніше

Линейная регрессия простыми словами

Линейная регрессия - это способ отобразить и описать форму зависимости между двумя обьектами. Представьте y зависит от x, причём изменения в y вызываются именно изменениями в x. Так вот линейной регрессией для этого случая будет описание соотношения(прямолинейного) между этими двумя переменными. Это соотношение описывают в формулах, добавляя коэфициенты, которые представляют собой величину, на конотурю объект Y увеличивается в среднем, если увеличивается объект X на одну единицу. В результате мы можем составить формулу, по которой можно предсказывать поведение объекта Y относительно изменений в объекте X: Математическое уравнение, которое оценивает линию линейной регрессии: Y=a+bx. x  – называется независимой переменной или предиктором.  Y – зависимая переменная или переменная отклика. Это значение, которое мы ожидаем для y (в среднем), если мы знаем величину x, т.е. это «предсказанное значение y» a – свободный член (пересечение) линии оценки; это значение Y, когда x=0 b
Докладніше

Исправляем ошибку HDFS Under-Replicated Blocks

Если у Вас возникла ошибка "Under-Replicated Blocks", то исправить её можно несколькими способами. Запуск ребалансировки кластера. Возникает эта необходимость, к примеру, тогда когда Вы изменили количество datanode для кластера HDFS. Для этого нужно запустить команду ребалансировки: hdfs balancer Изменение фактора репликации. Это нужно сделать если Вы изменили фактор репликации(dfs.replication) для HDFS. Проблема в том, что это изменение действует только для новых файлов. Поэтому для всех старых файлов нужно вручную изменить фактор репликации. Для этого нужно с помощью команды fsck понять для каких файлов остался старый фактор репликации: hdfs fsck / -files -blocks -locations Эта команда выдает список файлов и кол. блоков репликации. После чего нужно командой "fs -setrep" изменить фактор репликации для старых файлов: hadoop fs -setrep -w 3 -R /user/oozie/share/lib Эта команда рекурсивно изменит фактор репликации для файлов в указаной директории.
Докладніше