Установка кластера Hadoop (CDH) на Debian часть 1 - подготовка.

Настраиваем hostname:
#change file vim /etc/hostname and set hostname for this server
После этого нужно применить изменения: 
/etc/init.d/hostname.sh start
Настраиваем файл /etc/hosts:
192.168.0.1 hadoop-master
192.168.0.2 hadoop-slave-1
192.168.0.2 hadoop-slave-2
Отключаем ipv6:
#edit file vim /etc/sysctl.conf

net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
net.ipv6.conf.eth0.disable_ipv6 = 1
После настройки файла sysctl.conf, нужно выполнить команду sysctl -p или перезапустить систему для применения изменений.

chkconfig NetworkManager off
echo never > /sys/kernel/mm/transparent_hugepage/defrag
#add this to the /etc/rc.local
#chack it cat /sys/kernel/mm/transparent_hugepage/defrag
Создаём пользователя:
addgroup hadoop
adduser --ingroup hadoop hduser
adduser hduser sudo

 #Для CentOS нужно выполнить следующие команды:
groupadd hadoop
useradd hduser
passwd hduser
gpasswd -a hduser hadoop
Далее нужно разрешить доступ без пароля к sudo. Для этого нужно добавить пару строк в sudo visudo: 
sudo visudo
#после этого добавляем строки что ниже и сохраняемся
hduser ALL=(ALL:ALL) NOPASSWD: ALL
Первый раз может потребоваться ввод пароля от sudo. Также возможно не быть установлен пакет sudo apt-get install sudo

Теперь hduser должен иметь возможность подключится по ssh к другим серверам без использования пароля:
su - hduser
ssh-keygen -t rsa -P ""
Копируем ssh ключи между нодами, подменяя имя ноды, следующей командой:
ssh-copy-id -i $HOME/.ssh/id_rsa.pub hduser@hadoop-node-*
Возможно Вам выдаст ошибку о том, что: 
-su: ssh-coppy-id: command not found
Тогда нужно выполнить следующую команду:
export PATH=$PATH:/sbin

Полезные ссылки:
Install a 4 node hadoop cluster-VMWare VMs-CDH5 - Cloudera Manager-pt-1-preparation 
How to Set Up Hadoop Multi-Node Cluster on CentOS 7/6

Коментарі

Дописати коментар

Популярні дописи з цього блогу

Минимальные требование для кластера Hadoop(with Spark)

Зображення
   Есть 4 типы ролей в базовом Hadoop кластере: NameNode (и Standby NameNode), JobTracker,TaskTracker, и DataNode. (node - это машина выполняющая конкретную задачу). Большинство машин в Вашем кластере могут выполнять две из этих ролей, функионируя как DataNode (хранилище данных) и TaskTracker (Для обработки данных).    Следующая диаграмма показывает как должны быть сконфигурированы сервера в зависимости от рабочих нагрузок: Далее приведена рекомендательная спецификация для DataNode/TaskTrackers в Hadoop кластере: 12-24 1-4TB жерстих диска в JBOD (Just a Bunch Of Disks) конфигурации 2 quad-/hex-/octo-core CPUs, 2-2.5GHz 64-512GB ОЗУ Локальная Гигабитная сеть или 10Gigabit сеть (чем большая плотность хранения тем большая пропускная способность необходима) Рекомендации для NameNode/JobTracker/Standby NameNode ноды будет колебаться в зависимости от избыточности: 4–6 1TB жерсткие диски в JBOD конфигурации (1 для OS, 2 для FS [RAID 1], 1 для Apache ZooKee...
Докладніше

Apache Spark - основные команды

Загрузка данных в DataSet RRD (Resilient Distributed Dataset над которым можно делать преобразования): .parallelize([3,5,6,8,9]) .textFile(path_to_the_source)// указываем хранилище. К примеру hdfs. Трансформация данных : .map(function) — применяет пользовательскую функцию(function) к каждому элементу датасета .filter(function) — возвращает только те элементы датасета, для которых пользовательская функция(function) вернула значение true .distinct([numTasks]) — возвращает датасет, с уникальных элементо первоначального датасета .union(otherDataset).intersection(otherDataset).cartesian(otherDataset) — новый датасет содержит в себе всевозможные пары (A,B), где первый элемент принадлежит исходному датасету, а второй — датасету-аргументу Действия над RDD (Сохранить данные или вывести в консоль..): .saveAsTextFile(path) — сохраняет данные в текстовый файл (в hdfs, на локальную машину или в любую другую поддерживаемую файловую систему — полный список можно посмотреть в докумен...
Докладніше

Apache Spark Resource Management и модель приложений от YARN

Зображення
Краткий обзор разницы между тем как Spark и MapReduce управляют ресурсами с помощью YARN. Также посмотрим на разницу между Spark и MapReduce архитектурой, почему это важно и как они работают в кластере с ресурс медежрером YARN.  Наиболее популярным YARN приложением после MapReduce является Apache Spark.  Приложения В MapReduce, "job" является блоком наивысшего уровня. Система загружает данные в map функцию, перемешивает их и отправляет в reduce функцию. После записывает результат обратно в хранилище. Spark имеет похожий принцип работы(job может состоять не только из шагов map и reduce), но он имеет ещё один блок уровня управления , который называется "application", который может запустить много job-в в последовательном или паралельном режиме. Архитектура Spark приложений Для тех, кто хорошо знаком с SPARK API, приложению соответствует экземпляр класса SparkContext. В приложении может быть использован однин job, интерактивная сессия с нескольким...
Докладніше