Дедупликация строк на доставщике логов: сравниваем OpenTelemetry, Vector, vlagent, Fluent Bit Grafana Alloy и Filebeat
Habr ·
Один и тот же стек трейс, напечатанный 50 тысяч раз, не сделает расследование инцидентов в 50 тысяч раз полезнее. Зато он честно увеличит сетевой трафик, объем хранения и время на извлечение данных. Решение выглядит очевидно: включить дедупликацию в агенте. Но под дедупликацией у разных лог-шипперов скрываются разные вещи. Один агрегирует повторы и сохраняет их количество, другой молча оставляет только первую запись, третий умеет лишь ограничить частоту, а четвёртый показывает уникальные строки только в интерфейсе — после того как все дубли уже попали в хранилище. Меня зовут Антон Касимов, я работаю в Gals Software, веду авторский телеграм по наблюдаемости Мониторим ИТ и я сравнил пять известных лог-шипперов (мог бы назвать их популярными, но это субъективно): - OpenTelemetry Collector - Vector - vlagent - Fluent Bit - Grafana Alloy - Filebeat А затем прогнал через них одинаковый поток данных. Агентов, которые действительно умеют в дедупликацию оказалось два: OpenTelemetry Collector и Vector. У Fluent Bit задачу можно решить скриптом, а у Filebeat, vlagent и Alloy встроенного механизма дедупликации вообще не оказалось. Вперёд! Читать далее
Один и тот же стек трейс, напечатанный 50 тысяч раз, не сделает расследование инцидентов в 50 тысяч раз полезнее. Зато он честно увеличит сетевой трафик, объем хранения и время на извлечение данных. Решение выглядит очевидно: включить дедупликацию в агенте. Но под дедупликацией у разных лог-шипперов скрываются разные вещи. Один агрегирует повторы и сохраняет их количество, другой молча оставляет только первую запись, третий умеет лишь ограничить частоту, а четвёртый показывает уникальные строки только в интерфейсе — после того как все дубли уже попали в хранилище. Меня зовут Антон Касимов, я работаю в Gals Software, веду авторский телеграм по наблюдаемости Мониторим ИТ и я сравнил пять известных лог-шипперов (мог бы назвать их популярными, но это субъективно): - OpenTelemetry Collector - Vector - vlagent - Fluent Bit - Grafana Alloy - Filebeat А затем прогнал через них одинаковый поток данных. Агентов, которые действительно умеют в дедупликацию оказалось два: OpenTelemetry Collector и Vector. У Fluent Bit задачу можно решить скриптом, а у Filebeat, vlagent и Alloy встроенного механизма дедупликации вообще не оказалось. Вперёд! Читать далее