Публикации по теме 'apache-zeppelin'
Как сделать XGBoost доступным в Apache Zeppelin
Это пошаговое руководство по установке XGBoost (эффективная реализация повышения градиента) в Apache Zeppelin (веб-блокнот для интерактивной аналитики в SQL, Scala и Spark).
Если у вас не установлен Zeppelin, воспользуйтесь этим кратким руководством .
Шаг 1. Создайте XGBoost
Для этого шага нам нужно клонировать репозиторий из github и собрать проект:
git clone --recursive https://github.com/dmlc/xgboost
Затем нам нужно войти в только что клонированный репозиторий и собрать..
Вопросы по теме 'apache-zeppelin'
Почему ноутбук Zeppelin не может подключиться к S3
Я установил Zeppelin на свой компьютер aws EC2 для подключения к моему искровому кластеру.
Версия Spark: Автономная версия: spark-1.2.1-bin-hadoop1.tgz
Я могу подключиться к искровому кластеру, но получаю следующую ошибку при попытке...
3272 просмотров
schedule
14.12.2022
В Цеппелине нет переводчиков
Я только что установил на свой Mac следующее (Yosemite 10.10.3):
Oracle Java 1.8 обновление 45
Scala 2.11.6
spark 1.4 (предварительно скомпилированный выпуск: http://d3kbcqa49mib13.cloudfront.net/spark-1.4.0-bin-hadoop2.6.tgz )
zeppelin из...
26538 просмотров
schedule
09.06.2022
Как указать отсутствующее значение в кадре данных
Я пытаюсь загрузить CSV-файл во фрейм данных Spark с помощью spark-csv [1], используя блокнот Apache Zeppelin, и при загрузке числового поля, которое не имеет значения, синтаксический анализатор не работает для этой строки, и строка пропускается.
Я...
3648 просмотров
schedule
21.09.2022
Как использовать Zeppelin для доступа к кластеру aws spark-ec2 и корзинам s3
У меня есть настройка кластера aws ec2 с помощью сценария spark-ec2.
Я хотел бы настроить Zeppelin так, чтобы я мог писать код Scala локально на Zeppelin и запускать его в кластере (через мастер). Кроме того, я хотел бы иметь доступ к своим ведрам...
2087 просмотров
schedule
03.08.2022
Фильтрация Spark DataFrame: сохранить элемент, принадлежащий списку
Я использую Spark 1.5.1 со Scala на ноутбуке Zeppelin.
У меня есть DataFrame со столбцом с именем userID с типом Long.
Всего у меня около 4 миллионов строк и 200 000 уникальных идентификаторов пользователей.
У меня также есть список из 50 000...
3407 просмотров
schedule
24.12.2022
экспортировать данные в csv с помощью zeppelin
Мне нужно экспортировать данные в формате csv из моего интерпретатора %sql в zeppelin. Как я могу это сделать? Мне нужно добавить кнопку, и при нажатии на нее она должна экспортировать данные в csv, как показано на графиках в zeppelin в...
10376 просмотров
schedule
24.06.2023
Zeppelin: Scala Dataframe на python
Если у меня есть абзац Scala с DataFrame, могу ли я поделиться им и использовать его с python. (Насколько я понимаю, pyspark использует py4j )
Я пробовал это:
Абзац Скала:
x.printSchema
z.put("xtable", x )
Параграф Python:...
11093 просмотров
schedule
02.12.2022
Импорт дополнительного репозитория apache zeppelin
Как импортировать дополнительную зависимость в zeppelin?
Я пытаюсь импортировать библиотеку (седло) в apache zeppelin, однако...
import org.saddle._
<console>:21: error: object saddle is not a member of package org
import...
4563 просмотров
schedule
04.07.2023
Как настроить Zeppelin-env.sh во время начальной загрузки в EMR
У меня есть сценарий для запуска EMR с Spark и Zeppelin через CLI, а также действие начальной загрузки для установки Anaconda python.
aws emr create-cluster --applications Name=Hadoop Name=Hive Name=Spark \
Name=Zeppelin-Sandbox \
...... \...
4412 просмотров
schedule
30.04.2024
В Hortonworks Sandbox 2.4 использование Spark драйвера SQLServer приводит к тому, что подходящий драйвер не найден
HDP версии 2.4
Я пытаюсь записать в базу данных SQL Server через драйвер JDBC Microsoft SQL Server sqljdbc41.jar. Я выполняю следующее в Zeppelin:
val foo = sqlContext.jdbc("jdbc:sqlserver://X;databaseName=X;user=X;password=X", "X")...
234 просмотров
schedule
15.04.2023
java.lang.IllegalArgumentException: требование не выполнено: операции вывода не зарегистрированы, поэтому ничего не нужно выполнять
Когда я выполняю приведенный ниже код, возникает ошибка «java.lang.IllegalArgumentException: требование не выполнено: операции вывода не зарегистрированы, поэтому ничего не нужно выполнять». Кто-нибудь может мне помочь?
val ssc = new...
983 просмотров
schedule
31.08.2022
Интерпретатор %spark.r не работает в Zeppelin 0.6.1
У меня есть кластер Spark 1.6.2 с Hadoop YARN, Oozie. Я установил Zeppelin 0.6.1 (бинарный пакет со всеми интерпретаторами: zeppelin-0.6.1-bin-all.tgz). Когда я пытаюсь использовать скрипт SparkR с интерпретатором %spark.r,
%spark.r
# Creating...
1995 просмотров
schedule
06.02.2024
Zeppelin LDAP аутентификация
Я пытаюсь включить аутентификацию LDAP для Zeppelin. Конфигурация в shiro.ini выглядит так:
ldapRealm = org.apache.zeppelin.server.LdapGroupRealm
ldapRealm.contextFactory.environment[ldap.searchBase] = ou=abcIds,ou=abcPeople,o=abc...
2567 просмотров
schedule
21.02.2023
Apache Zeppelin за обратным прокси-сервером Apache
Я запускаю свой экземпляр Apache Zeppelin за веб-сервером Apache, где веб-сервер служит только в качестве резервного прокси.
Если я просматриваю сайт с обратным прокси-сервером https://my-domain.com/zeppelin/ , я получаю веб-сайт с активами,...
2559 просмотров
schedule
04.01.2023
lzo не обнаружен при запуске Spark в zeppelin на контейнере докера
Я пытаюсь запустить искровой код в zeppelin, и я получаю следующее: java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found
такая же проблема со встроенной искрой zeppelin и моей собственной установкой с искровой...
745 просмотров
schedule
29.07.2023
Будет ли zeppelin 0.6.0 работать со Spark 1.4.1?
Я установил zeppelin 0.6.0 на свой кластер с spark 1.4.1 (HDP 2.3). Согласно примечаниям к выпуску я вижу, что он поддерживает spark 1.6. но не уверен, что он обратно совместим. Когда я пытаюсь запустить sc.version в блокноте, я вижу, что задание...
38 просмотров
schedule
08.06.2023
Установите бинарный файл Apache Zeppelin на Ubuntu Linux
Я пытаюсь установить Apache Zeppelin и различные интерпретаторы на Ubuntu Linux, используя AWS EC2. Ниже приведены мои шаги для двоичного файла и исходного кода.
SSH через Putty как ubuntu@IP
wget...
4489 просмотров
schedule
07.11.2023
Использование средства выбора даты в интерпретаторе Zeppelin jdbc
У меня есть набор диаграмм в блокноте Zeppelin, которые извлекают данные из базы данных за определенный период времени с помощью интерпретатора jdbc. Что я хотел бы сделать, так это иметь возможность выбирать период, который будет применяться ко всем...
3120 просмотров
schedule
18.12.2022
Пример потоковой передачи Zeppling в твиттере, невозможно
Следуя руководству zeppelin по потоковой передаче твитов и запрашивая их с помощью SparkSQL, я сталкиваюсь с ошибкой, когда временная таблица «твитов» не найдена. Точный используемый код и ссылки, указанные ниже
Ссылка:...
244 просмотров
schedule
18.02.2023
Apache Zeppelin: очень медленный вывод html
Моя цель — взять некоторые данные из интерпретатора python и/или scala в Zeppelin и, наконец, отобразить данные, встроенные в какую-нибудь библиотеку JavaScript, такую как Plotly, D3, Vis и т. д.
Идеальной бесшовной интеграцией было бы просто...
1286 просмотров
schedule
27.06.2023
