Hadoop Namenode - восстановление

Hadoop администратор может  столкнуться с ситуацией когда namenode демон стартовал, но HDFS не отвечает. Попытаемся разобраться что произошло.

Проверьте статус namenode сервиса. Для этого запустите следующую команду на namenode:

service hadoop-hdfs-namenode status
Команда выше может сказать вам, что namenode запущена и, если вы стартовали все PHD сервисы, вы можете увидеть что все datanode сервисы также запустились. Проверьте статус datanode демонов 

hadoop-hdfs-datanode status

Бывают ситуации, что оба сервиса запущены, но вы не можете запустить команды hdfs.
В Namenode log-ах должны быть записи о том какой сейчас статус Namenode. Для этого нужно разобраться в том, какие операции должны произойти когда стартует сервис namenode и соотнести их с записями в логах.

Стартовые команды Namenode:

  1. Namenode инициализирует пространство имён путём чтения последней checkpoint
  2. Базируясь на информации о checkpoint, namenode повторяет все команды с edit логов и создаёт новое пространство имён
  3. Создаёт новую checkpoing
  4. Открывает hadoop communication ports для обслуживания hadoop namenode web UI и других служб(secondary namenode, datanode и т.д.)
  5. Включает safe mode, только операции чтения namenode могут быть выполнены до тех пор пока достаточное колличество блоков не будет зарегестрировано
  6. Выключает safe mode, операции чтения и записи HDFS теперь могу быть выполнены 

Теперь давайте давайте попробуем понять причины почему namenode может быть занята и почему ниодин UI не может быть открыт и что datanode пытается сделать?

Namenode:
Лог Namenode может пролить некоторое понимание на текущую ситуацию. Если вы видите похожие сообщения на это "replaying edit logs", вы можете соотнести это со 2-м шагом.
После этого возникает вопрос: как долго это всё будет происходить? Колличество времени, которое может понадобиться на эти операции зависит от колличества записей в edit логах, ведь все они должны быть воспроизведены на сервере namenode. Попытайтесь определить когда последний раз была создан успешный  checkpoint. Это можно сделать по определению время создания последнего файла fsimage* и по тому, как много edit файлов("ls -l edit* | wc -l"). Место расположения этих файлов указан в параметре dfs.namenode.name.dir в hdfs-site.xml. Используйте эти метрики и прогресс выполнения комманд в логе для того чтобы предугадать временные рамки востановления. Бывают ситуации, когда checkpoint операции не происходили последних 60 дней и восстановление заняло приблизительно 12 часов.

Datanode:
В логах Datanode сервера можно увидеть следующие сообщения:
WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: phd11-standby.saturn.local/10.110.127.242:8020

INFO org.apache.hadoop.ipc.Client: Retrying connect to server: phd11-nn.saturn.local/10.110.127.195:8020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

INFO org.apache.hadoop.ipc.Client: Retrying connect to server: phd11-standby.saturn.local/10.110.127.242:8020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
Они говорят о том, что datanode пытаются достучаться до namenode и что порт IPC комуникации не открыт, datanode не может зарегестрироваться на namenode. Это можно соотнести с 4 шагом восстановления namenode. В этой ситуации нужно набраться терпения и ждать завершения операции восстановления с edit логов. Но будьте готовы к тому, что могут возникнуть проблемы с memory/garbage collection и failrure to purge large number of edits files.


Полезные ссылки:
NameNode Recovery Tools for the HDFS

Коментарі

Дописати коментар

Популярні дописи з цього блогу

Минимальные требование для кластера Hadoop(with Spark)

Зображення
   Есть 4 типы ролей в базовом Hadoop кластере: NameNode (и Standby NameNode), JobTracker,TaskTracker, и DataNode. (node - это машина выполняющая конкретную задачу). Большинство машин в Вашем кластере могут выполнять две из этих ролей, функионируя как DataNode (хранилище данных) и TaskTracker (Для обработки данных).    Следующая диаграмма показывает как должны быть сконфигурированы сервера в зависимости от рабочих нагрузок: Далее приведена рекомендательная спецификация для DataNode/TaskTrackers в Hadoop кластере: 12-24 1-4TB жерстих диска в JBOD (Just a Bunch Of Disks) конфигурации 2 quad-/hex-/octo-core CPUs, 2-2.5GHz 64-512GB ОЗУ Локальная Гигабитная сеть или 10Gigabit сеть (чем большая плотность хранения тем большая пропускная способность необходима) Рекомендации для NameNode/JobTracker/Standby NameNode ноды будет колебаться в зависимости от избыточности: 4–6 1TB жерсткие диски в JBOD конфигурации (1 для OS, 2 для FS [RAID 1], 1 для Apache ZooKee...
Докладніше

Apache Spark - основные команды

Загрузка данных в DataSet RRD (Resilient Distributed Dataset над которым можно делать преобразования): .parallelize([3,5,6,8,9]) .textFile(path_to_the_source)// указываем хранилище. К примеру hdfs. Трансформация данных : .map(function) — применяет пользовательскую функцию(function) к каждому элементу датасета .filter(function) — возвращает только те элементы датасета, для которых пользовательская функция(function) вернула значение true .distinct([numTasks]) — возвращает датасет, с уникальных элементо первоначального датасета .union(otherDataset).intersection(otherDataset).cartesian(otherDataset) — новый датасет содержит в себе всевозможные пары (A,B), где первый элемент принадлежит исходному датасету, а второй — датасету-аргументу Действия над RDD (Сохранить данные или вывести в консоль..): .saveAsTextFile(path) — сохраняет данные в текстовый файл (в hdfs, на локальную машину или в любую другую поддерживаемую файловую систему — полный список можно посмотреть в докумен...
Докладніше

Apache Spark Resource Management и модель приложений от YARN

Зображення
Краткий обзор разницы между тем как Spark и MapReduce управляют ресурсами с помощью YARN. Также посмотрим на разницу между Spark и MapReduce архитектурой, почему это важно и как они работают в кластере с ресурс медежрером YARN.  Наиболее популярным YARN приложением после MapReduce является Apache Spark.  Приложения В MapReduce, "job" является блоком наивысшего уровня. Система загружает данные в map функцию, перемешивает их и отправляет в reduce функцию. После записывает результат обратно в хранилище. Spark имеет похожий принцип работы(job может состоять не только из шагов map и reduce), но он имеет ещё один блок уровня управления , который называется "application", который может запустить много job-в в последовательном или паралельном режиме. Архитектура Spark приложений Для тех, кто хорошо знаком с SPARK API, приложению соответствует экземпляр класса SparkContext. В приложении может быть использован однин job, интерактивная сессия с нескольким...
Докладніше