Apache Spark - краткое описание

Apache Spark - фреймворк (набор свыше 80-ти операторов(функций) для работы с данными (filter, distinct, union, intersection, reduce и.т.д.)), который разрабатывался для распределенной обработки больших данных. Основным преимуществом данного инструмента, является то, что данные можно кэшировать в оперативной памяти, что позволяет существенно ускорять вычисления в случае итеративных алгоритмов, какими и являются большинство алгоритмов машинного обучения. Суть его в том, что это переосмысленный Map&Reduce 2.0(от Hadoop) и работает он в 10x-100x раз быстрее в зависимости от работы в памяти или на диске.

Маленький троллинг Hadoop-a от команды Spark-a:
Hadoop vs Spark perfomance trolling
Нативно Spark поддерживает Scala, Python, Java, R. Очень удобно работать непосредственно в IPython Notebook, выгружая небольшую часть данных из кластера и обрабатывая, например, пакетом Pandas — получается довольно удобная связка.
Итак, начнем с того, что основным понятием в Spark'е является RDD (Resilient Distributed Dataset), который представляет собой Dataset, над которым можно делать преобразования двух типов (и, соответственно, вся работа с этими структурами заключается в последовательности этих двух действий).

Цепляет также тем, что не нужно думать в парадигме Map&Reduce. Spark позволяет писать понятный код нацеленный именно на выполнение поставленой бизнес-задачи. Фреймворк берёт на себя рутинную работу по распределению и фрагментации кода и данных, которые автоматически передаются на кластер.
Следующий код даёт ощутить всю "силу" этой "искры" ;)

text_file = spark.textFile("hdfs://...")
errors = text_file.filter(lambda line: "ERROR" in line)
# Подсчёт всех ошибок
errors.count()
# Подсчёт количества ошибок в MySQL
errors.filter(lambda line: "MySQL" in line).count()
# Выборка MySQL ошибок в виде массива строк. Удобно для визуализации или доп. анилиза
errors.filter(lambda line: "MySQL" in line).collect()

Spark также имеет стек(набор) библиотек(набор готовых алгоритмов, подходов и практик), которые позволяют не разводить "зоопарк" из различных сторонних решений, изящно комбинировать их в рамках одного кода для достижение цели.
На данный момент это библиотеки Spark SQL, Spark Streaming(анализ в реальном времени), MLib(machine learning/машинное обучение), GrapX(graph/работа с графами).

Полезные ссылки:
Введение в Apache Spark
Spark MlLib - краткое описание
Social Network Analysis: Spark GraphX
Spark Streaming - краткое описание
Spark SQL - краткое описание
Spark - основные команды

Коментарі

Дописати коментар

Популярні дописи з цього блогу

Минимальные требование для кластера Hadoop(with Spark)

Зображення
   Есть 4 типы ролей в базовом Hadoop кластере: NameNode (и Standby NameNode), JobTracker,TaskTracker, и DataNode. (node - это машина выполняющая конкретную задачу). Большинство машин в Вашем кластере могут выполнять две из этих ролей, функионируя как DataNode (хранилище данных) и TaskTracker (Для обработки данных).    Следующая диаграмма показывает как должны быть сконфигурированы сервера в зависимости от рабочих нагрузок: Далее приведена рекомендательная спецификация для DataNode/TaskTrackers в Hadoop кластере: 12-24 1-4TB жерстих диска в JBOD (Just a Bunch Of Disks) конфигурации 2 quad-/hex-/octo-core CPUs, 2-2.5GHz 64-512GB ОЗУ Локальная Гигабитная сеть или 10Gigabit сеть (чем большая плотность хранения тем большая пропускная способность необходима) Рекомендации для NameNode/JobTracker/Standby NameNode ноды будет колебаться в зависимости от избыточности: 4–6 1TB жерсткие диски в JBOD конфигурации (1 для OS, 2 для FS [RAID 1], 1 для Apache ZooKee...
Докладніше

Apache Spark - основные команды

Загрузка данных в DataSet RRD (Resilient Distributed Dataset над которым можно делать преобразования): .parallelize([3,5,6,8,9]) .textFile(path_to_the_source)// указываем хранилище. К примеру hdfs. Трансформация данных : .map(function) — применяет пользовательскую функцию(function) к каждому элементу датасета .filter(function) — возвращает только те элементы датасета, для которых пользовательская функция(function) вернула значение true .distinct([numTasks]) — возвращает датасет, с уникальных элементо первоначального датасета .union(otherDataset).intersection(otherDataset).cartesian(otherDataset) — новый датасет содержит в себе всевозможные пары (A,B), где первый элемент принадлежит исходному датасету, а второй — датасету-аргументу Действия над RDD (Сохранить данные или вывести в консоль..): .saveAsTextFile(path) — сохраняет данные в текстовый файл (в hdfs, на локальную машину или в любую другую поддерживаемую файловую систему — полный список можно посмотреть в докумен...
Докладніше

Apache Spark Resource Management и модель приложений от YARN

Зображення
Краткий обзор разницы между тем как Spark и MapReduce управляют ресурсами с помощью YARN. Также посмотрим на разницу между Spark и MapReduce архитектурой, почему это важно и как они работают в кластере с ресурс медежрером YARN.  Наиболее популярным YARN приложением после MapReduce является Apache Spark.  Приложения В MapReduce, "job" является блоком наивысшего уровня. Система загружает данные в map функцию, перемешивает их и отправляет в reduce функцию. После записывает результат обратно в хранилище. Spark имеет похожий принцип работы(job может состоять не только из шагов map и reduce), но он имеет ещё один блок уровня управления , который называется "application", который может запустить много job-в в последовательном или паралельном режиме. Архитектура Spark приложений Для тех, кто хорошо знаком с SPARK API, приложению соответствует экземпляр класса SparkContext. В приложении может быть использован однин job, интерактивная сессия с нескольким...
Докладніше