Я пытаюсь использовать службу объединения данных Google, я создал простой конвейер, который будет извлекать данные из BigQuery и загружать эти данные обратно в GCS в формате json, но когда я запускаю конвейер, я получаю следующую ошибку....

Экспериментирую с Google Cloud Data Fusion. Я присоединяюсь к 2 таблицам BigQuery с помощью объединителя + пишу обратно в BigQuery. В предварительном просмотре я получаю эту ошибку: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream....

Источник ошибки: io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionTwillRunnerService#543-runtime-startup-1 Сообщение об ошибке: java.io.IOException: com.jcraft.jsch.JSchException: java.net.ConnectException: время...

Я создал простой конвейер, который читает из таблицы SQL Server и записывает в таблицу BigQuery. Затем я настраиваю его для использования Spark, развертываю и запускаю. Он начинается с подготовки кластера dataproc, и я вижу, что он относительно...

Я следую инструкциям в образце руководства по Cloud Data Fusion и все вроде работает нормально, пока я не попробую запустить конвейер в самом конце. Разрешения API Cloud Data Fusion Service устанавливаются для учетной записи службы, управляемой...

Есть ли способ запустить конвейер Google Data Fusion из облачной функции (предпочтительно на основе Python)? Основное требование заключается в том, что функция Cloud на основе событий будет выполняться всякий раз, когда новый файл поступает в...

Я разработал конвейер в реальном времени для слияния данных, чтобы получать данные из pubsub, а затем передавать их в GCS, а затем в BQ. Однако после GCS (который доступен как приемник) я не могу передавать данные в BQ, потому что GCS доступен только...

Я пытаюсь проверить соединение с помощью Cloud Data Fusion для подключения к локальному серверу SQL. В нашем проекте GCP используется не сеть по умолчанию, а пользовательский VPC. Важно отметить, что безопасность очень важна, поскольку эта база...

Я попытался удалить экземпляр слияния облачных данных. Консоль сообщила, что экземпляр удаляется уже несколько дней. Несмотря на то, что у меня нет реального работающего конвейера, он накапливает расходы ~ 40 долларов в день. Когда я пытаюсь...

Мы только начинаем использовать слияние облачных данных Google для нашего ETL. У нас есть вариант использования, чтобы попасть на сервер (самоподписанный) и получить некоторую информацию с помощью http-плагина в продукте слияния данных. В моем...

У меня есть три конвейера в Data Fusion, например A, B и C. Я хочу, чтобы конвейер C запускался после выполнения конвейеров A и B, оба завершены. Триггеры конвейера накладывают зависимость только на один конвейер. Можно ли это реализовать в Data...

Я пытаюсь создать объект GCS (файл) с помощью плагина создания GCS Data Fusion. но вместо этого он создает папку. Как я могу создать файл вместо папки ??

Задачи описаны ниже. Несколько файлов данных в Google Cloud Storage (GCS) хранятся в разделах (/ directory01 / directory02 /.../. Text) Я собираюсь использовать datafusion для выполнения работы с ETL и загрузить ее в таблицу bigQuery. Операция...

Я новичок в GCP и собираюсь перенести таблицы из хранилища Azure blob в облачное хранилище. Я следую инструкциям здесь (используйте слияние данных). Когда я закончил развертывание конвейера и собирался его запустить, у меня появилась ошибка, и в...