Установка кластера Hadoop (CDH) на Debian часть 2 - установка.

После успешной подготовки нод к установке нужно скачать и запустить  на мастер ноде файл установки cloudera Manager Server installer:
wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

chmod u+x cloudera-manager-installer.bin
sudo ./cloudera-manager-installer.bin
После этого нужно пройти шаги подтверждения лицензий и т.д.
После завершения установки открываем url в браузере по порту 7180. Например  198.0.0.1:7180

После открытия страницы нужно залогиниться с логином admin  и паролем admin.
Вам предложат указать hostname ваших серверов через запятую:

Далее Вы приступите к установке компонентов(JDK и т.д.)
В большинстве случаев нужно оставлять всё по умолчанию.
На шаге "Provide SSH login credentials" нужно выбрать "Another user"  и указать там "hduser" а также указать пароль для этого пользователя.

Возможно возникновение ошибки "Ensure that port 7182 is accessible on the Cloudera Manager Server (check firewall rules)."
И "Check agent logs in /var/log/cloudera-scm-agent/ on the host being added (some of the logs can be found in the installation details)."
Для этого нужно отключить iptables "sudo iptables -F".
Также подробнее об ошибке можно узнать с логов установки "cat /var/log/cloudera-scm-agent/cloudera-scm-agent.log"
К примеру вы можете узнать, что нужно установить python 2.7: 
sudo apt-get install python

После того, как все проблемы решены вы должны увидеть сообщение "Installation completed successfully. " напротив всех нод кластера. Далее будет происходить установка всех компонентов кластера hadoop.

Далее Вас попросят сделать выбор сборки. Я выбирал "Core with Spark".


Не забуть после установки проверить ulimit -Hn и ulimit -Sn

vim /etc/security/limits.conf
*               soft     nproc          65535
*               hard     nproc          65535
*               -    nofile          655355
*               soft    nofile          655355
*               hard    nofile          655355

vim /etc/security/limits.d/20-nproc.conf
*          soft     nproc          65535
*          hard     nproc          65535
*          soft     nofile         65535
*          hard     nofile         65535

root       soft    nproc     unlimited


vim /etc/sysctl.conf
fs.file-max = 6553555
sysctl -p

Установить ntp:
yum install ntp vim
timedatectl set-timezone Europe/Moscow
vim /etc/sysconfig/ntpd add SYNC_HWCLOCK=yes
/bin/systemctl start  ntpd.service
systemctl enable ntpd.service

Полезные ссылки:
Install 4 node hadoop cluster-VMWare-CDH5 -Cloudera Manager-part-2
How to Set Up Hadoop Multi-Node Cluster on CentOS 7/6

Коментарі

Дописати коментар

Популярні дописи з цього блогу

Минимальные требование для кластера Hadoop(with Spark)

Зображення
   Есть 4 типы ролей в базовом Hadoop кластере: NameNode (и Standby NameNode), JobTracker,TaskTracker, и DataNode. (node - это машина выполняющая конкретную задачу). Большинство машин в Вашем кластере могут выполнять две из этих ролей, функионируя как DataNode (хранилище данных) и TaskTracker (Для обработки данных).    Следующая диаграмма показывает как должны быть сконфигурированы сервера в зависимости от рабочих нагрузок: Далее приведена рекомендательная спецификация для DataNode/TaskTrackers в Hadoop кластере: 12-24 1-4TB жерстих диска в JBOD (Just a Bunch Of Disks) конфигурации 2 quad-/hex-/octo-core CPUs, 2-2.5GHz 64-512GB ОЗУ Локальная Гигабитная сеть или 10Gigabit сеть (чем большая плотность хранения тем большая пропускная способность необходима) Рекомендации для NameNode/JobTracker/Standby NameNode ноды будет колебаться в зависимости от избыточности: 4–6 1TB жерсткие диски в JBOD конфигурации (1 для OS, 2 для FS [RAID 1], 1 для Apache ZooKeeper, и 1 для Journa
Докладніше

Линейная регрессия простыми словами

Линейная регрессия - это способ отобразить и описать форму зависимости между двумя обьектами. Представьте y зависит от x, причём изменения в y вызываются именно изменениями в x. Так вот линейной регрессией для этого случая будет описание соотношения(прямолинейного) между этими двумя переменными. Это соотношение описывают в формулах, добавляя коэфициенты, которые представляют собой величину, на конотурю объект Y увеличивается в среднем, если увеличивается объект X на одну единицу. В результате мы можем составить формулу, по которой можно предсказывать поведение объекта Y относительно изменений в объекте X: Математическое уравнение, которое оценивает линию линейной регрессии: Y=a+bx. x  – называется независимой переменной или предиктором.  Y – зависимая переменная или переменная отклика. Это значение, которое мы ожидаем для y (в среднем), если мы знаем величину x, т.е. это «предсказанное значение y» a – свободный член (пересечение) линии оценки; это значение Y, когда x=0 b
Докладніше

Исправляем ошибку HDFS Under-Replicated Blocks

Если у Вас возникла ошибка "Under-Replicated Blocks", то исправить её можно несколькими способами. Запуск ребалансировки кластера. Возникает эта необходимость, к примеру, тогда когда Вы изменили количество datanode для кластера HDFS. Для этого нужно запустить команду ребалансировки: hdfs balancer Изменение фактора репликации. Это нужно сделать если Вы изменили фактор репликации(dfs.replication) для HDFS. Проблема в том, что это изменение действует только для новых файлов. Поэтому для всех старых файлов нужно вручную изменить фактор репликации. Для этого нужно с помощью команды fsck понять для каких файлов остался старый фактор репликации: hdfs fsck / -files -blocks -locations Эта команда выдает список файлов и кол. блоков репликации. После чего нужно командой "fs -setrep" изменить фактор репликации для старых файлов: hadoop fs -setrep -w 3 -R /user/oozie/share/lib Эта команда рекурсивно изменит фактор репликации для файлов в указаной директории.
Докладніше