Полная наблюдаемость в Cozystack: метрики, логи и трассировки
Настройка наблюдаемости для Kubernetes в промышленной эксплуатации обычно требует следующего: Prometheus (или VictoriaMetrics) для метрик, Loki (или аналог) для логов, серверная часть системы трассировки и OpenTelemetry Collector для распределённых трассировок, Grafana для визуализации, Alertmanager для оповещений, экспортёры, RBAC для изоляции тенантов, политики хранения данных, расчёт объёма хранилища… Прежде чем вы увидите первый дашборд, придётся потратить неделю на YAML. А изоляция в мультитенантной среде? Ещё неделя.
Cozystack поставляется с предварительно настроенным стеком мониторинга (VictoriaMetrics, VictoriaLogs, Grafana, Fluent Bit и Alerta) на уровне платформы и отдельных тенантов. Опциональная распределённая трассировка добавляет VictoriaTraces и отдельный OpenTelemetry Collector для каждого тенанта. Включите мониторинг, чтобы получить дашборды; настройте трассировку, когда она понадобится вашим приложениям. Самостоятельно собирать инфраструктуру наблюдаемости не нужно.
Краткий обзор
- Версия: Cozystack v1.7 и новее.
- Метрики: кластер VictoriaMetrics для каждого тенанта с краткосрочным хранением за 3 дня и долгосрочным — за 14 дней.
- Логи: VictoriaLogs для каждого тенанта, срок хранения по умолчанию — 1 месяц (настраивается); Fluent Bit собирает логи контейнеров, события Kubernetes и логи аудита.
- Трассировки: опциональны, по умолчанию отключены; хранилище VictoriaTraces и OpenTelemetry Collector с поддержкой OTLP/HTTP (
4318) и OTLP/gRPC (4317). - Дашборды: Grafana с предварительно настроенными дашбордами для управляемых сервисов каждого тенанта.
- Оповещения: VMAlert и Alertmanager передают оповещения в Alerta, которая отправляет уведомления через Telegram, Slack или электронную почту.
- Изоляция: каждый тенант видит только собственные метрики, логи, трассировки и оповещения.
Что доступно из коробки
Уровень платформы (системный мониторинг):
- VMAgent собирает метрики Kubernetes API, kube-state-metrics, Node Exporter и cAdvisor с интервалом 30 секунд
- Правила предварительного вычисления агрегированных метрик
- Правила оповещения о состоянии узлов, сбоях подов и компонентов Kubernetes
- Fluent Bit собирает логи контейнеров, события Kubernetes и логи аудита
Уровень тенанта (индивидуальный мониторинг):
- Кластер VictoriaMetrics: два уровня хранения данных — краткосрочный за 3 дня и долгосрочный за 14 дней
- VictoriaLogs: хранение логов за 1 месяц по умолчанию (настраивается)
- Grafana: предварительно настроенные дашборды для управляемых сервисов, используемых тенантом
- Alerta: агрегация оповещений с уведомлениями через Telegram, Slack или электронную почту
- Опциональная распределённая трассировка: хранилище VictoriaTraces, OpenTelemetry Collector и источник данных трассировок в Grafana; поддерживается отдельное хранилище для каждого тенанта или общее централизованное хранилище
Включение мониторинга тенанта
Через панель управления: при создании или редактировании тенанта включите опцию monitoring.

Через kubectl:
kubectl patch -n tenant-root tenants.apps.cozystack.io team1 \
--type=merge -p '{"spec":{"monitoring":true}}'
После того как Flux приведёт приложение мониторинга тенанта к заданному состоянию, Grafana станет доступна по адресу https://grafana.<tenant-host>.
Доступ к дашбордам
Откройте https://grafana.<tenant-host> в браузере.
Grafana каждого тенанта содержит дашборды для используемых им управляемых сервисов:
- Производительность PostgreSQL (CloudNativePG), MySQL/MariaDB и Redis
- Kafka, ClickHouse, NATS и MongoDB
- Виртуальные машины и входящий трафик ingress
Grafana администратора платформы в tenant-root дополнительно охватывает инфраструктуру кластера:
- Обзор кластера Kubernetes и состояние подов
- Использование ресурсов узлов (процессор, память, диски, сеть)
- Метрики etcd и управляющей плоскости Kubernetes
- Состояние хранилищ LINSTOR и SeaweedFS
- Согласование состояния Flux и метрики стека мониторинга


Распределённая трассировка
Cozystack v1.7 поддерживает распределённую трассировку наряду с метриками и логами, объединяя в платформе три основных типа данных наблюдаемости. Трассировка опциональна и по умолчанию отключена: в приложении Monitoring тенанта необходимо настроить запись tracingStorages либо подключить тенанта к общему централизованному сервису трассировки, размещённому в tenant-root (tracingCentral: true в ресурсе Tenant).
После настройки трассировки Cozystack предоставляет:
- Приём данных OpenTelemetry: отдельный коллектор тенанта принимает спаны по OTLP/HTTP (
otel-traces:4318) или OTLP/gRPC (otel-traces:4317). - Хранилище VictoriaTraces: можно запустить локальную серверную часть для тенанта или использовать общее централизованное хранилище с изоляцией доступа между тенантами.
- Интеграцию с Grafana: трассировки можно исследовать через предварительно настроенный Jaeger-совместимый источник данных в Grafana Explore.
- Сэмплирование и удаление конфиденциальных данных: по умолчанию коллектор отбирает 10% трассировок; администраторы могут изменить долю выборки и удалять конфиденциальные атрибуты спанов перед экспортом.
Начало работы:
Настройте запись
tracingStoragesв приложении Monitoring тенанта или задайтеtracingCentral: trueв ресурсе Tenant, если на платформе развёрнута общая централизованная трассировка (tracingCentralHost: trueв Monitoring тенанта tenant-root). При настроенной трассировке коллектор включён по умолчанию.Инструментируйте приложение с помощью OpenTelemetry SDK или агента автоматического инструментирования, затем укажите адрес коллектора. Например, добавьте в конфигурацию приложения следующие переменные окружения:
env: - name: OTEL_EXPORTER_OTLP_ENDPOINT value: "http://otel-traces:4318" - name: OTEL_EXPORTER_OTLP_PROTOCOL value: "http/protobuf" - name: OTEL_SERVICE_NAME value: "my-app"Откройте Grafana Explore и выберите источник данных трассировок, чтобы просмотреть поступающие спаны.



Рекомендуемый протокол — OTLP/HTTP: при использовании общей централизованной трассировки запросы, превышающие лимит скорости записи для тенанта, повторно отправляются по HTTP, но отбрасываются при передаче по gRPC.
Cozystack обеспечивает сбор данных, их хранение и доступ с учётом принадлежности к тенанту, но приложения должны самостоятельно генерировать спаны. Переходы между разными типами данных — от трассировок к логам или метрикам — пока не настроены, поэтому сейчас трассировки исследуются отдельно.
Настройка оповещений
Alerta агрегирует оповещения и отправляет уведомления. VMAlert проверяет правила оповещения и передаёт сработавшие оповещения в Alertmanager, который направляет их в Alerta для отображения в едином представлении без дубликатов. Чтобы настроить Telegram:
- Откройте настройки мониторинга тенанта.
- Укажите токен Telegram-бота и идентификатор чата в разделе
alerta.alerts.telegram.
Slack (alerta.alerts.slack) и электронная почта (alerta.alerts.email) настраиваются аналогичным образом.
Получайте уведомления, когда правила мониторинга выявляют проблемы с узлами, подами или управляемыми сервисами, например сбой пода или недоступность объекта сбора метрик.

Пользовательские метрики
Добавляйте собственные метрики, создавая ресурсы VMPodScrape или VMServiceScrape для приложений, предоставляющих Prometheus-совместимую конечную точку /metrics. VMAgent на уровне тенанта обнаруживает подходящие объекты сбора метрик по метке пространства имён namespace.cozystack.io/monitoring.
Документация
- Настройка мониторинга
- Распределённая трассировка
- Параметры мониторинга
- Пользовательские метрики
- Оповещения
- Дашборды
Cozystack — бесплатная PaaS-платформа с открытым исходным кодом и проект категории CNCF Sandbox.
Присоединяйтесь к сообществу… - Cozystack на GitHub
- Группа в Telegram
- Группа в Slack (получите приглашение на https://slack.kubernetes.io)
- Календарь встреч сообщества