Apache Spark - обзор режима "кластер" (cluster)

В этот статье приводится крактий обзор того, как Spark запускается на кластере, для того чтобы проще понять компоненты которые системы.

Компоненты:
Spark приложение запускается как массив независимых процессов на кластере, координацией которых занимается объект SparkContext в вашей программе(называется она driver program).

В режиме кластера, SparkContext может работать в паре с одним из нескольких менеджеров кластера (собственный менеджер менеджер кластера, Мesos или YARN), который выделяет ресурсы для приложений. Единожды присоединившись, Spark получает исполнителей (executors) на ноде в кластере, которые обрабатывают вычисления и сохраняют данные для вашего приложения. В итоге, SparkContext отсылает задачи (tasks) к исполнителям для обработки.
Нужно отметить несколько полезных особенностей в этой архитектуре:

  1. Каждое приложение получает свой собственный процес-исполнитель, который остается запущеным на продолжении всего времени работы приложения и запускает таски в многопоточном режиме. Это приемущество в виде изоляции приложений друг от друга, дает позитивный результат сразу в двух точках плинирования. Каждый driver составляет расписание своих собственных тасок) и каждая таска-исполнитель с разных приложений запускается с разных JVMs. Тем не менее,  это также означает что данные не могут быть доступны между разными Spark приложениями(экземпляры SparkContext) без записи во внешнее хранилище.
  2. Spark равнодушный к нижележащему менеджеру кластера. Относительно легко запустить любой другой менеджер кластера(например Mesos/YARN)
  3. Driver программа должна слушать и получать входящие соединения от исполнителей на протяжении жизненного цикла. По сути, driver программа должна быть сетью с адресацией от нод-исполнителей
  4. Потому что планировщик таск запущен на кластере, он должен быть ближе к рабочим нодам, желательно в одной локальной сети.
Типы менеджеров кластера:
На текущий момент система поддерживает три менеджера кластера:
  • Автономный(Standalone) - Простой менеджер кластера входящий в Spark позволяет упростить установку кластера
  • Apache Mesos - основный менеджер кластера что также может запускать Hadoop MapReduce задачи
  • Hadoop YARN - ресурс менеджер в Hadoop 2
В дополнение, Spark-овский "EC2 launch scripts" упрощает запуск автономного кластера на Amazon EC2.

Запуск приложений
Приложение может быть запущено на кластере в любом удобном формате спомощью скрипта "spark-submit".

Мониторинг
Каждая driver программа имеет web UI, обычно доступна по порту 4040 и отображает информацию о запущеных тасках, исполнителях, использовании хранилища. 

Планировщий джобов
Spark предоставляет контроль над выделением ресурсов как в самом приложении(на уровне менеджера кластера) так и в нутри приложения(при многопоточном вычислении спомощью SparkContext)

Словарь :)
В следующей таблице приведены термины, которые используют для обозначения понятия кластера:
ТерминОбозначение
Application Приложение пользователя созданное на Spark. Состоит с driver program and executors на кластере.
Application jar A jar содержит пользователькое Spark приложение. В некоторых случаях можно создавать "uber jar" содержащий приложение отдельно от его зависимостей. Пользовательский jar не должен включать Hadoop или Spark библиотеки.
Driver program Процес выполняющий main() функцию приложения и создающий SparkContext
Cluster manager Внешний сервис для  для управления ресурсами на кластере (например standalone manager, Mesos, YARN)
Deploy mode Отличается в зависимости где запущен driver процесс. В режиме "cluster" , фреймворк запускает driver внутри кластера.В режиме "client", submitter запускает driver вне кластера.
Worker node Любая нода в кластере, которая может выполнять код приложения
Executor Процесс запущений приложением на рабочей ноде(worker node), который запускает таски и хранит данные в памьяти или на диске. Каждое приложение имеет своих собственных ысполнителей(executors).
Task Единица работы, что может быть отослана исполнителю(executor)
Job Паралельное вычисление состоящее с множества тасок, что были созданны в ответ на действия Spark-а (например save, collect); вы увидите эти слова в driver's логах.
Stage Каждый job делится на меньшие наборы задач, которые называются этапы(stages), что зависят друг от друга(подобно map и reduce этапы в MapReduce);  вы увидите этот термин в driver's логах



Коментарі

Дописати коментар

Популярні дописи з цього блогу

Минимальные требование для кластера Hadoop(with Spark)

Зображення
   Есть 4 типы ролей в базовом Hadoop кластере: NameNode (и Standby NameNode), JobTracker,TaskTracker, и DataNode. (node - это машина выполняющая конкретную задачу). Большинство машин в Вашем кластере могут выполнять две из этих ролей, функионируя как DataNode (хранилище данных) и TaskTracker (Для обработки данных).    Следующая диаграмма показывает как должны быть сконфигурированы сервера в зависимости от рабочих нагрузок: Далее приведена рекомендательная спецификация для DataNode/TaskTrackers в Hadoop кластере: 12-24 1-4TB жерстих диска в JBOD (Just a Bunch Of Disks) конфигурации 2 quad-/hex-/octo-core CPUs, 2-2.5GHz 64-512GB ОЗУ Локальная Гигабитная сеть или 10Gigabit сеть (чем большая плотность хранения тем большая пропускная способность необходима) Рекомендации для NameNode/JobTracker/Standby NameNode ноды будет колебаться в зависимости от избыточности: 4–6 1TB жерсткие диски в JBOD конфигурации (1 для OS, 2 для FS [RAID 1], 1 для Apache ZooKee...
Докладніше

Apache Spark - основные команды

Загрузка данных в DataSet RRD (Resilient Distributed Dataset над которым можно делать преобразования): .parallelize([3,5,6,8,9]) .textFile(path_to_the_source)// указываем хранилище. К примеру hdfs. Трансформация данных : .map(function) — применяет пользовательскую функцию(function) к каждому элементу датасета .filter(function) — возвращает только те элементы датасета, для которых пользовательская функция(function) вернула значение true .distinct([numTasks]) — возвращает датасет, с уникальных элементо первоначального датасета .union(otherDataset).intersection(otherDataset).cartesian(otherDataset) — новый датасет содержит в себе всевозможные пары (A,B), где первый элемент принадлежит исходному датасету, а второй — датасету-аргументу Действия над RDD (Сохранить данные или вывести в консоль..): .saveAsTextFile(path) — сохраняет данные в текстовый файл (в hdfs, на локальную машину или в любую другую поддерживаемую файловую систему — полный список можно посмотреть в докумен...
Докладніше

Apache Spark Resource Management и модель приложений от YARN

Зображення
Краткий обзор разницы между тем как Spark и MapReduce управляют ресурсами с помощью YARN. Также посмотрим на разницу между Spark и MapReduce архитектурой, почему это важно и как они работают в кластере с ресурс медежрером YARN.  Наиболее популярным YARN приложением после MapReduce является Apache Spark.  Приложения В MapReduce, "job" является блоком наивысшего уровня. Система загружает данные в map функцию, перемешивает их и отправляет в reduce функцию. После записывает результат обратно в хранилище. Spark имеет похожий принцип работы(job может состоять не только из шагов map и reduce), но он имеет ещё один блок уровня управления , который называется "application", который может запустить много job-в в последовательном или паралельном режиме. Архитектура Spark приложений Для тех, кто хорошо знаком с SPARK API, приложению соответствует экземпляр класса SparkContext. В приложении может быть использован однин job, интерактивная сессия с нескольким...
Докладніше