Исправляем ошибку HDFS Under-Replicated Blocks


Если у Вас возникла ошибка "Under-Replicated Blocks", то исправить её можно несколькими способами.

Запуск ребалансировки кластера.
Возникает эта необходимость, к примеру, тогда когда Вы изменили количество datanode для кластера HDFS. Для этого нужно запустить команду ребалансировки:
hdfs balancer

Изменение фактора репликации.
Это нужно сделать если Вы изменили фактор репликации(dfs.replication) для HDFS. Проблема в том, что это изменение действует только для новых файлов. Поэтому для всех старых файлов нужно вручную изменить фактор репликации. Для этого нужно с помощью команды fsck понять для каких файлов остался старый фактор репликации:
hdfs fsck / -files -blocks -locations
Эта команда выдает список файлов и кол. блоков репликации. После чего нужно командой "fs -setrep" изменить фактор репликации для старых файлов:
hadoop fs -setrep -w 3 -R /user/oozie/share/lib
Эта команда рекурсивно изменит фактор репликации для файлов в указаной директории.

Удаление проблемных файлов.
Бывают ситуации, что в список не реплицированных файлов попали временные файлы и логи. Тогда их можно просто удалить следующей командой:
hadoop fsck / -delete

Коментарі

Дописати коментар

Популярні дописи з цього блогу

Минимальные требование для кластера Hadoop(with Spark)

Зображення
   Есть 4 типы ролей в базовом Hadoop кластере: NameNode (и Standby NameNode), JobTracker,TaskTracker, и DataNode. (node - это машина выполняющая конкретную задачу). Большинство машин в Вашем кластере могут выполнять две из этих ролей, функионируя как DataNode (хранилище данных) и TaskTracker (Для обработки данных).    Следующая диаграмма показывает как должны быть сконфигурированы сервера в зависимости от рабочих нагрузок: Далее приведена рекомендательная спецификация для DataNode/TaskTrackers в Hadoop кластере: 12-24 1-4TB жерстих диска в JBOD (Just a Bunch Of Disks) конфигурации 2 quad-/hex-/octo-core CPUs, 2-2.5GHz 64-512GB ОЗУ Локальная Гигабитная сеть или 10Gigabit сеть (чем большая плотность хранения тем большая пропускная способность необходима) Рекомендации для NameNode/JobTracker/Standby NameNode ноды будет колебаться в зависимости от избыточности: 4–6 1TB жерсткие диски в JBOD конфигурации (1 для OS, 2 для FS [RAID 1], 1 для Apache ZooKeeper, и 1 для Journa
Докладніше

Линейная регрессия простыми словами

Линейная регрессия - это способ отобразить и описать форму зависимости между двумя обьектами. Представьте y зависит от x, причём изменения в y вызываются именно изменениями в x. Так вот линейной регрессией для этого случая будет описание соотношения(прямолинейного) между этими двумя переменными. Это соотношение описывают в формулах, добавляя коэфициенты, которые представляют собой величину, на конотурю объект Y увеличивается в среднем, если увеличивается объект X на одну единицу. В результате мы можем составить формулу, по которой можно предсказывать поведение объекта Y относительно изменений в объекте X: Математическое уравнение, которое оценивает линию линейной регрессии: Y=a+bx. x  – называется независимой переменной или предиктором.  Y – зависимая переменная или переменная отклика. Это значение, которое мы ожидаем для y (в среднем), если мы знаем величину x, т.е. это «предсказанное значение y» a – свободный член (пересечение) линии оценки; это значение Y, когда x=0 b
Докладніше