Исправляем ошибку "The app won't work without a running Livy Spark Server"

В Hue 3.8 появилясь возможность использовать интерактивный Web-based блокнот для анализа данных "Notebook Application for Spark & SQL". Вдохновление ребята взяли с аналогичной разработки  IPython Notebook.
Идея в том, чтобы избавить аналитиков от изнурительной работы над компиляцией Jar файлов и их запуска с консоли. Это очень удобно, когда нужно сделать быструю проверку данных, проверку теории и т.д..
Проблема в том, что по умолчанию для запуска этого блокнота должен быть настроен Livy Spark Server. Об этом нам говорит следующее сообщение:
"The app won't work without a running Livy Spark Server"

В настройках hue.ini устанавливаем следующее:
[desktop]
app_blacklist=
[notebook]
show_notebooks=true
[beeswax]
use_new_editor=true

Скачиваем и устанавливаем Livy server https://github.com/cloudera/livy 
cd /usr/local/src
git clone git@github.com:cloudera/livy.git
cd livy-master
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export PATH=$JAVA_HOME/bin:$PATH
mvn -DskipTests clean package
su - hue
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark 
export HADOOP_CONF_DIR=/etc/hadoop/conf
./bin/livy-server

Коментарі

Популярні дописи з цього блогу

Минимальные требование для кластера Hadoop(with Spark)

Apache Spark - основные команды

Apache Spark Resource Management и модель приложений от YARN