Big Data

Основной идеей YARN-a является разделение обязанностей менеджера ресурсов(resource management) кластера Hadoop, планировщика и системы мониторинга задач(job scheduling/monitoring) в отдельные службы(демоны). Суть идеи в том, чтоб иметь глобального менеджера ресурсов (ResourceManager - RM) и отдельного планировщика(ApplicationMaster - AM) для каждого приложения ResourceManager распределяет ресурсы между всеми приложениями в системе. NodeManager - это служба, которая запущена на каждом сервере и ответственная за использование ресурсов (cpu, memory, disk, network) каждым контейнером, который запущен на этой ноде. Также эта служба посылает отчёты о потреблённых ресурсах к ResourceManager и Scheduler. ApplicationMaster  для приложения является библиотекой, которая заботится об выделении ресурсов для job-ов от ResourceManager-а и работает с NodeManager-ми для выполнения и мониторинга этих job-oв. ResourceManager имеет 2-а основных компонента: Scheduler (планировщик) и App...

Краткий обзор разницы между тем как Spark и MapReduce управляют ресурсами с помощью YARN. Также посмотрим на разницу между Spark и MapReduce архитектурой, почему это важно и как они работают в кластере с ресурс медежрером YARN.  Наиболее популярным YARN приложением после MapReduce является Apache Spark.  Приложения В MapReduce, "job" является блоком наивысшего уровня. Система загружает данные в map функцию, перемешивает их и отправляет в reduce функцию. После записывает результат обратно в хранилище. Spark имеет похожий принцип работы(job может состоять не только из шагов map и reduce), но он имеет ещё один блок уровня управления , который называется "application", который может запустить много job-в в последовательном или паралельном режиме. Архитектура Spark приложений Для тех, кто хорошо знаком с SPARK API, приложению соответствует экземпляр класса SparkContext. В приложении может быть использован однин job, интерактивная сессия с нескольким...