Полная наблюдаемость в Cozystack: метрики, логи и трассировки

Настройка наблюдаемости для Kubernetes в промышленной эксплуатации обычно требует следующего: Prometheus (или VictoriaMetrics) для метрик, Loki (или аналог) для логов, серверная часть системы трассировки и OpenTelemetry Collector для распределённых трассировок, Grafana для визуализации, Alertmanager для оповещений, экспортёры, RBAC для изоляции тенантов, политики хранения данных, расчёт объёма хранилища… Прежде чем вы увидите первый дашборд, придётся потратить неделю на YAML. А изоляция в мультитенантной среде? Ещё неделя.

Cozystack поставляется с предварительно настроенным стеком мониторинга (VictoriaMetrics, VictoriaLogs, Grafana, Fluent Bit и Alerta) на уровне платформы и отдельных тенантов. Опциональная распределённая трассировка добавляет VictoriaTraces и отдельный OpenTelemetry Collector для каждого тенанта. Включите мониторинг, чтобы получить дашборды; настройте трассировку, когда она понадобится вашим приложениям. Самостоятельно собирать инфраструктуру наблюдаемости не нужно.

Краткий обзор

  • Версия: Cozystack v1.7 и новее.
  • Метрики: кластер VictoriaMetrics для каждого тенанта с краткосрочным хранением за 3 дня и долгосрочным — за 14 дней.
  • Логи: VictoriaLogs для каждого тенанта, срок хранения по умолчанию — 1 месяц (настраивается); Fluent Bit собирает логи контейнеров, события Kubernetes и логи аудита.
  • Трассировки: опциональны, по умолчанию отключены; хранилище VictoriaTraces и OpenTelemetry Collector с поддержкой OTLP/HTTP (4318) и OTLP/gRPC (4317).
  • Дашборды: Grafana с предварительно настроенными дашбордами для управляемых сервисов каждого тенанта.
  • Оповещения: VMAlert и Alertmanager передают оповещения в Alerta, которая отправляет уведомления через Telegram, Slack или электронную почту.
  • Изоляция: каждый тенант видит только собственные метрики, логи, трассировки и оповещения.

Что доступно из коробки

Уровень платформы (системный мониторинг):

  • VMAgent собирает метрики Kubernetes API, kube-state-metrics, Node Exporter и cAdvisor с интервалом 30 секунд
  • Правила предварительного вычисления агрегированных метрик
  • Правила оповещения о состоянии узлов, сбоях подов и компонентов Kubernetes
  • Fluent Bit собирает логи контейнеров, события Kubernetes и логи аудита

Уровень тенанта (индивидуальный мониторинг):

  • Кластер VictoriaMetrics: два уровня хранения данных — краткосрочный за 3 дня и долгосрочный за 14 дней
  • VictoriaLogs: хранение логов за 1 месяц по умолчанию (настраивается)
  • Grafana: предварительно настроенные дашборды для управляемых сервисов, используемых тенантом
  • Alerta: агрегация оповещений с уведомлениями через Telegram, Slack или электронную почту
  • Опциональная распределённая трассировка: хранилище VictoriaTraces, OpenTelemetry Collector и источник данных трассировок в Grafana; поддерживается отдельное хранилище для каждого тенанта или общее централизованное хранилище

Включение мониторинга тенанта

Через панель управления: при создании или редактировании тенанта включите опцию monitoring.

Форма настройки тенанта в панели управления Cozystack с включённой опцией monitoring

Через kubectl:

kubectl patch -n tenant-root tenants.apps.cozystack.io team1 \
  --type=merge -p '{"spec":{"monitoring":true}}'

После того как Flux приведёт приложение мониторинга тенанта к заданному состоянию, Grafana станет доступна по адресу https://grafana.<tenant-host>.

Доступ к дашбордам

Откройте https://grafana.<tenant-host> в браузере.

Grafana каждого тенанта содержит дашборды для используемых им управляемых сервисов:

  • Производительность PostgreSQL (CloudNativePG), MySQL/MariaDB и Redis
  • Kafka, ClickHouse, NATS и MongoDB
  • Виртуальные машины и входящий трафик ingress

Grafana администратора платформы в tenant-root дополнительно охватывает инфраструктуру кластера:

  • Обзор кластера Kubernetes и состояние подов
  • Использование ресурсов узлов (процессор, память, диски, сеть)
  • Метрики etcd и управляющей плоскости Kubernetes
  • Состояние хранилищ LINSTOR и SeaweedFS
  • Согласование состояния Flux и метрики стека мониторинга
Дашборд Grafana в Cozystack с обзором кластера Kubernetes: процессор, память и количество ресурсов
Дашборд PostgreSQL в Grafana в Cozystack с графиком активных соединений

Распределённая трассировка

Cozystack v1.7 поддерживает распределённую трассировку наряду с метриками и логами, объединяя в платформе три основных типа данных наблюдаемости. Трассировка опциональна и по умолчанию отключена: в приложении Monitoring тенанта необходимо настроить запись tracingStorages либо подключить тенанта к общему централизованному сервису трассировки, размещённому в tenant-root (tracingCentral: true в ресурсе Tenant).

После настройки трассировки Cozystack предоставляет:

  • Приём данных OpenTelemetry: отдельный коллектор тенанта принимает спаны по OTLP/HTTP (otel-traces:4318) или OTLP/gRPC (otel-traces:4317).
  • Хранилище VictoriaTraces: можно запустить локальную серверную часть для тенанта или использовать общее централизованное хранилище с изоляцией доступа между тенантами.
  • Интеграцию с Grafana: трассировки можно исследовать через предварительно настроенный Jaeger-совместимый источник данных в Grafana Explore.
  • Сэмплирование и удаление конфиденциальных данных: по умолчанию коллектор отбирает 10% трассировок; администраторы могут изменить долю выборки и удалять конфиденциальные атрибуты спанов перед экспортом.

Начало работы:

  1. Настройте запись tracingStorages в приложении Monitoring тенанта или задайте tracingCentral: true в ресурсе Tenant, если на платформе развёрнута общая централизованная трассировка (tracingCentralHost: true в Monitoring тенанта tenant-root). При настроенной трассировке коллектор включён по умолчанию.

  2. Инструментируйте приложение с помощью OpenTelemetry SDK или агента автоматического инструментирования, затем укажите адрес коллектора. Например, добавьте в конфигурацию приложения следующие переменные окружения:

    env:
      - name: OTEL_EXPORTER_OTLP_ENDPOINT
        value: "http://otel-traces:4318"
      - name: OTEL_EXPORTER_OTLP_PROTOCOL
        value: "http/protobuf"
      - name: OTEL_SERVICE_NAME
        value: "my-app"
    
  3. Откройте Grafana Explore и выберите источник данных трассировок, чтобы просмотреть поступающие спаны.

Grafana Explore в Cozystack: поиск трассировок в источнике данных VictoriaTraces
Grafana Explore с каскадной диаграммой распределённой трассировки между сервисами
Подробная информация о спане с атрибутами OpenTelemetry в Grafana Explore

Рекомендуемый протокол — OTLP/HTTP: при использовании общей централизованной трассировки запросы, превышающие лимит скорости записи для тенанта, повторно отправляются по HTTP, но отбрасываются при передаче по gRPC.

Cozystack обеспечивает сбор данных, их хранение и доступ с учётом принадлежности к тенанту, но приложения должны самостоятельно генерировать спаны. Переходы между разными типами данных — от трассировок к логам или метрикам — пока не настроены, поэтому сейчас трассировки исследуются отдельно.

Настройка оповещений

Alerta агрегирует оповещения и отправляет уведомления. VMAlert проверяет правила оповещения и передаёт сработавшие оповещения в Alertmanager, который направляет их в Alerta для отображения в едином представлении без дубликатов. Чтобы настроить Telegram:

  1. Откройте настройки мониторинга тенанта.
  2. Укажите токен Telegram-бота и идентификатор чата в разделе alerta.alerts.telegram.

Slack (alerta.alerts.slack) и электронная почта (alerta.alerts.email) настраиваются аналогичным образом.

Получайте уведомления, когда правила мониторинга выявляют проблемы с узлами, подами или управляемыми сервисами, например сбой пода или недоступность объекта сбора метрик.

Интерфейс Alerta в Cozystack со списком активных оповещений по уровням критичности

Пользовательские метрики

Добавляйте собственные метрики, создавая ресурсы VMPodScrape или VMServiceScrape для приложений, предоставляющих Prometheus-совместимую конечную точку /metrics. VMAgent на уровне тенанта обнаруживает подходящие объекты сбора метрик по метке пространства имён namespace.cozystack.io/monitoring.

Документация

Cozystack — бесплатная PaaS-платформа с открытым исходным кодом и проект категории CNCF Sandbox.

Присоединяйтесь к сообществу… - Cozystack на GitHub