Вопросы по теме 'logstash-configuration'
Логсташ. Получить поля по номеру позиции
Фон
У меня такая схема: журналы из моего приложения идут через rsyslog на центральный сервер журналов, затем в Logstash и Elasticsearch. Журналы из приложения представляют собой чистый JSON, но rsyslog добавляет в журнал поля «отметка времени»,...
1344 просмотров
schedule
28.07.2023
_grokparsefailure при включении семантической части
Я тестирую свою конфигурацию logstash с помощью rspec, чтобы она соответствовала базовому журналу tomcat, но когда я указываю поля в моем шаблоне grok, он терпит неудачу (без полей это удается!).
config <<-CONFIG
filter {
grok {...
94 просмотров
schedule
07.07.2022
Фильтр мутации logstash всегда упорядочивает хэш и массив
У меня есть файл журнала json, который я принимаю в качестве входных данных с этой конфигурацией.
input {
file { filename }
codec { json_lines }
}
Каждая строка представляет собой глубоко вложенный JSON.
В фильтрах,
Когда я сказал...
1185 просмотров
schedule
01.08.2023
Logstash Проблемы с разбором Json
TL:DR — Мои действительные журналы JSON отклоняются Logstash с жалобой на то, что JSON недействителен из-за некоторых escape-символов. К сожалению, я не могу понять, в чем проблема.
Полная версия:
Мой Logstash(+Logstash-Forwarder) собирает...
1731 просмотров
schedule
13.06.2022
Ошибка файла конфигурации Logstash (ответ не работает)
Единственное, что точно известно о [url][queryString], это то, что он начинается с 404; или что ключ длинный.Мне нужно удалить такие ключи. Если я использую рубиновый код ниже, он не может преобразовать связанную хэш-карту в строковое исключение....
594 просмотров
schedule
27.02.2023
grokparsefailure с несколькими if [type] — конфигурация logstash
Хорошо - я ломал голову над этим конфигурационным файлом в течение нескольких дней без особого успеха (я очень новичок в стеке logstash/ELK). Проблема, с которой я сталкиваюсь, заключается в том, что когда я помещаю две конфигурации logstash в один и...
138 просмотров
schedule
19.05.2023
Обработка больших json с использованием logstash - не работает и не печатает никаких ошибок
Я начал использовать logstash ( в Windows ), когда моей основной причиной использования будет передача logstash большого json (10 МБ), фильтрация json каким-то образом и запись его в elastic search .
На данный момент меня не очень волнует...
294 просмотров
schedule
18.12.2023
Чтение из нескольких тем в Apache Kafka
Я пытаюсь читать из нескольких тем kafka (скажем, «newtest-1» и «newtest-2»), используя конфигурацию «white_list» в плагине ввода logstash. Моя конфигурация logstash выглядит так:
input { kafka { white_list => "newtest-1|newtest-2" } } output...
1086 просмотров
schedule
31.07.2023
Разбор пользовательского формата logstash Любое предложение
Я получаю ответ в поле ответа nginx в разное время. Ответ не фиксирован. Это вложенный тип много раз
Иногда это будет похоже на...
96 просмотров
schedule
04.09.2022
Настройте logstash для доступа к удаленным журналам.
Пожалуйста, может ли кто-нибудь предоставить мне конфигурацию logstash для доступа к журналу, расположенному в удаленной системе. Я пробовал с IP-адресом, но он говорит, что плагин не работает.
880 просмотров
schedule
02.04.2023
Дроп-фильтр не работает logstash
У меня есть несколько сообщений журнала в файле, который я обрабатываю с помощью плагинов фильтра logstash. Затем отфильтрованные журналы отправляются в elasticsearch.
В сообщении журнала есть одно поле с именем addID . Я хочу удалить все...
769 просмотров
schedule
29.03.2023
Logstash отображает индекс при создании
Я пытаюсь создать файл конфигурации для logstash, чтобы удовлетворить мои потребности. Например, я хочу индексировать журналы по дням: logstash-29.09.16
поэтому мой индекс localhost: 9200/logstash-29.09.16/
поскольку по умолчанию данные...
65 просмотров
schedule
14.05.2022
как отфильтровать твит твиттера по дате с помощью плагина фильтра даты logstash
я хочу отфильтровать твит твита по дате плагина фильтра logstash, это поле "@timestamps": "2016-08-10T06:46:26.031Z" , которое теперь есть у каждого твита, которое я хочу фильтровать на основе текущей даты и времени, если кто-нибудь мне поможет?...
534 просмотров
schedule
23.07.2022
LogStash — извлечение информации из разных событий
У меня есть случай, когда информация отображается в разных строках. Эти строки даже не являются последовательными строками. Есть ли способ прочитать эти два и объединить их в одно событие?
Пример строки журнала: где я хотел собрать информацию из...
39 просмотров
schedule
22.01.2023
Logstash не может прочитать файл
Я использую Logstash в первый раз. Я в Windows 10. Я пытаюсь получить доступ к многострочному json-файлу из входной/папки следующим образом:
input
{
file
{
codec => multiline
{
pattern => '^/{'...
409 просмотров
schedule
17.05.2023
как правильно извлечь остальные api в logstash
У меня такой журнал 21.4.1.2 - - [28 / Dec / 2016: 12:18: 40 +0000] "GET a / b / c / d / e / f HTTP / 1.1" 200 984072 "Mozilla / 5.0 ( Windows NT 10.0; WOW64) AppleWebKit / 537.36 (KHTML, например Gecko) Chrome / 55.0.2883.87 Safari / 537.36 "0.104...
390 просмотров
schedule
06.02.2023
Использование фильтра Logstash без учета регистра
Как сделать этот фильтр Logstash нечувствительным к регистру?
filter {
if "foo" in [message] {
mutate { add_field => { "Alert_level" => "5" }}
}
}
Мне не удалось заставить его работать, как показано на...
4253 просмотров
schedule
18.01.2023
Постройте карту плитки со стеком ELK
Я пытаюсь создать карту плитки с помощью Kibana. Мой файл конфигурации logstash работает правильно и генерирует все, что нужно Kibana для построения тайловой карты. Это мой журнал конфигурации:
input {
file {
path =>...
392 просмотров
schedule
09.09.2022
Как использовать фильтр Logstash для преобразования во вложенный объект для вывода эластичного поиска?
У меня есть следующее событие или строка из ввода JDBC.
{"academic_session_id" : "as=1|dur=2015-16,as=2|dur=2016-17",
"branch_id" : 1}
Я хочу преобразовать или отформатировать его в следующее, используя фильтры logstash......
585 просмотров
schedule
06.08.2023
Фильтр метрик Logstash для уровня журнала
Может кто-нибудь, пожалуйста, помогите мне с моим метрическим фильтром. я хочу настроить logstash для проверки уровня журнала = ошибка каждые 5 секунд, и если уровень журнала = ОШИБКА превышает более 1, следует отправить электронное письмо. я...
1146 просмотров
schedule
11.07.2022
