Публикации по теме 'batch-processing'
Пакетная обработка и потоковая обработка (обмен асинхронными и синхронными сообщениями)
Пакетная обработка (автономная система)
Принимает большое количество входных данных и использует фоновое задание для их пакетной обработки, а затем отправляет их, возможно, на следующий день. Отказоустойчивость : невыполненные задачи будут отозваны и выполнены повторно. Идемпотентные операции – многократное выполнение задания выполняется только один раз. Распространенные примеры: системы резервного копирования, сжатие журналов.
MapReduce — алгоритм пакетной обработки..
Использование сценариев автоматизации для пакетной обработки цифровых изображений
Использование PSPScript для пакетной обработки цифровых изображений
Бывают случаи, когда после фотосессии вам нужно отредактировать тысячи изображений. Вместо того, чтобы редактировать каждый из них, самый быстрый способ - запустить пакетный процесс с использованием программного обеспечения для выполнения работы. В программах для редактирования изображений используются различные методы написания сценариев. Я собираюсь поделиться не-Adobe, то есть Photoshop, техникой, которая..
Метрики Prometheus для пакетных заданий в Kubernetes
Вступление
Основная инженерная работа PathAI строится на планировании, выполнении, отслеживании и другом управлении вычислительными задачами, обычно как часть конвейера машинного обучения. Для ученых и инженеров, занимающихся машинным обучением, возможность экспериментировать с данными в рабочем процессе без необходимости возиться с базовой инфраструктурой (например, мониторинг или инструментальные метрики) при сохранении хорошей наблюдаемости за тем, как работает их код, имеет решающее..
Эволюция платформы ML @ Varo
Авторы: Ритеш Агравал , Миа Ф , Винод Пажеттилкамбаратх , Вирал Парих
Запуск моделей машинного обучения в производство требует надежной платформы. В предыдущем посте мы обсуждали дизайн и архитектуру Feature Store, одного из важнейших компонентов платформы ML. В этом посте мы рассмотрим процесс создания нашей платформы машинного обучения.
Платформа ML V1
Как растущий стартап, наша первоначальная платформа машинного обучения представляла собой минималистское решение для..
Нежное введение в пакетную обработку в Керасе
Как многие из вас, возможно, уже слышали, Keras - это высокоуровневый API нейронных сетей, способный работать поверх таких фреймворков глубокого обучения, как TensorFlow, CNTK или Theano. Когда дело доходит до глубокого обучения, первое, что приходит в голову, - это множество записей данных или сотни тысяч изображений. Как работать с огромным набором данных, который может легко съесть вашу память? Это первый шаг перед тем, как погрузиться в глубокое обучение с помощью Keras.
Пакетная..
Потоковая аналитика лучше классической пакетной обработки - когда и почему?
Хотя многие проблемы можно решить в пакетном режиме, подход потоковой обработки может дать вам еще больше преимуществ. Сегодня мы обсудим реальный пример аналитики пользовательских сеансов, чтобы дать вам представление о сценарии использования с исчерпывающим обзором деловых и технических проблем, которые могут решить современные технологии потоковой обработки, такие как Apache Flink. Этот пост написан совместно Адамом Кава (генеральный директор GetInData ) и Давидом Высаковичем (участник..
Вопросы по теме 'batch-processing'
Пакетный мониторинг Java
У нас есть более 50 пакетных процессов Java, которые запускаются в разное время суток. Они работают на машине Solaris и запускаются через cron. В настоящее время единственный способ узнать, успешны они или нет, — это электронное письмо,...
3777 просмотров
schedule
30.04.2023
Сложный вопрос о фотошопе, экселе и внешних изображениях
Итак, у меня есть PSD-файл фотошопа, электронная таблица, заполненная пользовательскими данными, и папка с изображениями. Мне нужен способ создать уникальное изображение для каждой записи в электронной таблице, где электронная таблица содержит...
744 просмотров
schedule
21.08.2022
Запустите все файлы SQL в каталоге
У меня есть несколько файлов .sql, которые я должен запустить, чтобы применить изменения, внесенные другими разработчиками в базу данных SQL Server 2005. Файлы именуются по следующему шаблону:
0001 - abc.sql
0002 - abcef.sql
0003 - abc.sql
......
178771 просмотров
schedule
13.02.2023
Как проверить, существует ли исполняемый файл в% PATH% из пакетного файла Windows?
Я ищу простой способ проверить, существует ли исполняемый файл в переменной среды PATH из пакетного файла Windows.
Использование внешних инструментов, не предусмотренных ОС, не допускается. Минимальная требуемая версия Windows — Windows XP.
58385 просмотров
schedule
17.07.2022
как удалить несколько строк из файла реестра Unicode с помощью пакетных команд в Windows?
У меня есть программа, которая генерирует некоторые данные в реестре. Я сохраняю его с помощью «reg export HKCU\Software\ProgramName\Data data.reg» (формат Unicode). Мне нужно перенести его на другой компьютер и импортировать туда, чтобы программа с...
531 просмотров
schedule
12.01.2023
Пакетная обработка слоя фотошопа, при этом каждый сохраненный слой имеет определенное имя файла.
У меня есть слой, который представляет собой круг размером 250x250px.
У меня настроено действие, чтобы дублировать этот слой с кругом и уменьшить размер на 99,2% (-2 пикселя).
Теперь мне нужно иметь возможность сохранить этот слой в виде файла...
630 просмотров
schedule
02.01.2023
Дизайн для длительного веб-запроса ASP.net MVC
Я знаю о модели, которая включает выполнение запланированных задач в фоновом режиме, которые запускают задания, зарегистрированные с помощью веб-запроса, но как насчет идеи, которая хранит все в ASP.net...
Пользователь загружает CSV-файл,...
1419 просмотров
schedule
10.08.2022
Добавление нескольких данных с помощью CLOB
У меня есть эта внешняя хранимая процедура оракула, которая принимает INTEGER, CLOB, VARCHAR в качестве параметров и которая вставляет запись в таблицу при выполнении. Это будет вызываться с использованием слоя dao, состоящего из JAVA + Spring....
565 просмотров
schedule
23.06.2022
Jdbc Oracle пакетное обновление низкой производительности для некоторых таблиц
Эй, мне действительно нужна помощь, и я очень расстроен.
Я работаю над этим проектом, который касается переноса данных из одной базы данных в другую, как Oracle. Что я делаю, так это получаю таблицу из исходной базы данных и создаю таблицу в...
4519 просмотров
schedule
15.07.2022
Как обрабатывать сбои потребителей в системах на основе очередей?
У меня довольно концептуальный вопрос, который, я надеюсь, не будет сочтен слишком общим или слишком глупым :)
В приложении, где элемент данных должен пройти много шагов (например, шаг 1 — анализ файла CSV и создание отчетов, шаг 2 — затем запуск...
415 просмотров
schedule
23.10.2022
Определение запущенных экземпляров пакетного файла
Это не работает для меня.
Любая помощь, чтобы определенно исправить четыре примера ниже?
EXAMPLE01 просто повторяет «продолжить», даже если у меня открыто три CMD.exe.
---------- ПРИМЕР 01 ------------
@echo off
wmic process where...
3545 просмотров
schedule
07.08.2022
SET /p не централизован в пакетной службе. Проблемы с пробелами
Это мой ТХТ:
echo x 1. Enter x
echo x 2. Leave x
echo xxxxxxxxxxxxxxxxxxxxxxxxxxxxx
echo:
set /p Menu= Enter number {1,2}:
if not '%Menu%'=='' set Menu=%Menu:~0,1%
if...
1495 просмотров
schedule
01.09.2022
Шаблон для преодоления отсутствия реализации ConflictMode.ContinueOnConflict в Entity Framework?
Linq To SQL DataContext имеет перегрузку SubmitChanges , которая позволяет продолжать обновления при возникновении исключения Optimistic Concurrency Exception и предоставляет разработчику механизм для последующего разрешения конфликтов в один блок...
563 просмотров
schedule
29.07.2022
Почему в моем выводе задания JES внезапно появляются двоичные журналы?
При использовании SDSF на мейнфрейме для просмотра вывода моих пакетных заданий я всегда использовал символ действия s для объединения всех различных членов в один, так как проще увидеть весь вывод задания вместе:
SDSF STATUS DISPLAY ALL CLASSES...
421 просмотров
schedule
25.04.2023
Пакетное обновление/удаление EF5
Как лучше всего справиться с пакетными обновлениями с помощью (Entity Framework) EF5? Меня интересуют два конкретных случая:
Обновление поля (например, UpdateDate) для списка (List) от 100 до 100 000 идентификаторов, который является первичным...
43351 просмотров
schedule
04.04.2023
Пакетная операция JDBC / JDBCTemplate
Существует множество примеров пакетной вставки запроса с использованием JDBC или JDBCTemplate.
Я хотел бы выполнить пакетную операцию sql, состоящую из выбора, вставки и удаления. Например, мне нужно выполнить следующую операцию sql при одном...
2092 просмотров
schedule
21.11.2022
EclipseLink 2.3 плюс пакетная запись Oracle 11g
У меня есть база данных Oracle 11g, которую я подключаю к ней через EclipseLink 2.3. Одна из сущностей в моем проекте должна сохраняться довольно часто (например, 10 раз в секунду), что чаще, чем другие сущности. Чтобы повысить производительность...
542 просмотров
schedule
19.04.2022
Условный пакетный импорт Neo4j
Данные в систему поступают непрерывно со скоростью 300-500 TPS. Мне нужно импортировать его в neo4j по следующей схеме:
Если узел N не существует, создайте его
Если отношение N-[rel:rel_type]->X не существует, создайте его
Увеличение...
254 просмотров
schedule
29.07.2022
Можем ли мы извлечь/очистить определенные данные с html-сайта в пакет, чтобы выполнить следующие действия?
Отличная работа парней в этом посте на этом сайте . Но мне нужно изменить этот скрипт в соответствии с моими потребностями. Я не хардкорный программист, но с небольшой помощью я могу заставить его работать.
У меня есть веб-сайт, на...
2108 просмотров
schedule
26.04.2022
Вставка нескольких строк в Hibernate — пакетная вставка
Я вставляю несколько строк в Hibernate, используя следующую транзакционную единицу кода в своем классе DAO.
@Override
@SuppressWarnings("unchecked")
@Transactional(readOnly = false, propagation=Propagation.REQUIRES_NEW,...
10244 просмотров
schedule
25.01.2023
