Руководство по устранению неполадок Cozystack on Cozystack

Устранение неполадок etcd

Mon, 01 Jan 0001 00:00:00 +0000

Как очистить состояние etcd

Чтобы удалить state etcd с узла, используйте talm или talosctl со следующими командами:

Talm
talosctl

Замените nodeN именем отказавшего узла, например node0.yaml:

talm reset -f nodes/nodeN.yaml --system-labels-to-wipe=EPHEMERAL --graceful=false --reboot

talosctl reset --system-labels-to-wipe=EPHEMERAL --graceful=false --reboot

⚠️ Эта команда удалит state с указанного узла. Используйте ее с осторожностью.

Устранение неполадок Flux CD

Mon, 01 Jan 0001 00:00:00 +0000

Диагностика ошибки `install retries exhausted`

Иногда можно столкнуться с такой ошибкой:

# kubectl get hr -A -n cozy-dashboard dashboard
NAMESPACE NAME AGE READY STATUS
cozy-dashboard dashboard 15m False install retries exhausted

Попробуйте разобраться через events:

kubectl describe hr -n cozy-dashboard dashboard

Если указано Events: <none>, приостановите и возобновите release:

kubectl patch hr -n cozy-dashboard dashboard -p '{"spec": {"suspend": true}}' --type=merge
kubectl patch hr -n cozy-dashboard dashboard -p '{"spec": {"suspend": null}}' --type=merge

Затем снова проверьте events:

Устранение неполадок мониторинга

Mon, 01 Jan 0001 00:00:00 +0000

В этом руководстве приведены шаги диагностики типичных проблем с компонентами мониторинга в Cozystack, включая сбор метрик, alerting, визуализацию и сбор логов.

Диагностика отсутствующих метрик

Если метрики не появляются в Grafana или VictoriaMetrics, выполните следующие шаги:

Проверьте состояние VMAgent

Убедитесь, что VMAgent запущен и собирает метрики:

kubectl get pods -n cozy-monitoring -l app.kubernetes.io/name=vmagent
kubectl logs -n cozy-monitoring -l app.kubernetes.io/name=vmagent --tail=50

Проверьте targets

Проверьте, может ли VMAgent выполнять scrape targets:

kubectl exec -n cozy-monitoring -c vmagent deploy/vmagent -- curl -s http://localhost:8429/targets | jq .

Найдите targets с health: "up". Если targets недоступны, проверьте сетевую связность и права RBAC.

Устранение неполадок Kube-OVN

Mon, 01 Jan 0001 00:00:00 +0000

Получение информации о состоянии базы данных Kube-OVN

# Northbound DB
kubectl -n cozy-kubeovn exec deploy/ovn-central -c ovn-central -- ovn-appctl \
 -t /var/run/ovn/ovnnb_db.ctl cluster/status OVN_Northbound
# Southbound DB
kubectl -n cozy-kubeovn exec deploy/ovn-central -c ovn-central -- ovn-appctl \
 -t /var/run/ovn/ovnsb_db.ctl cluster/status OVN_Southbound

Пример вывода:

Name: OVN_Northbound
Cluster ID: abf6 (abf66f15-9382-4b2b-b14c-355d64ae1bda)
Server ID: 8d8a (8d8a2985-c444-43bb-99f6-21c82f05b58d)
Address: ssl:[10.200.1.22]:6643
Status: cluster member
Role: leader
Term: 3
Leader: self
Vote: self

Last Election started 146211 ms ago, reason: leadership_transfer
Last Election won: 146202 ms ago
Election timer: 5000
Log: [2, 1569]
Entries not yet committed: 0
Entries not yet applied: 0
Connections: ->2a66 ->c23f <-2a66 <-c23f
Disconnections: 30
Servers:
 2a66 (2a66 at ssl:[10.200.1.18]:6643) next_index=1569 match_index=1568 last msg 17 ms ago
 8d8a (8d8a at ssl:[10.200.1.22]:6643) (self) next_index=1471 match_index=1568
 c23f (c23f at ssl:[10.200.1.1]:6643) next_index=1569 match_index=1568 last msg 18 ms ago

Чтобы исключить узел из кластера, например если он недоступен и его нужно удалить из кластера, используйте:

Устранение crash loop у LINSTOR controller

Mon, 01 Jan 0001 00:00:00 +0000

Перезапуск controller

Если controller запущен, но выглядит простаивающим или не отвечает, попробуйте перезапустить его. Эта операция идемпотентна и безопасна: ожидающая или незавершенная работа продолжится после перезапуска.

Crash loop LINSTOR controller

Если linstor-controller не может запуститься, а в логах нет полезной информации, можно повысить уровень логирования (максимальный уровень - TRACE).

Пример LINSTORCluster CR с повышенным уровнем логирования:

apiVersion: piraeus.io/v1
kind: LINSTORCluster
spec:
 controller:
 podTemplate:
 spec:
 containers:
 - name: linstor-controller
 env:
 # обе настройки используются linstor-controller
 - name: LS_LOG_LEVEL
 value: TRACE
 - name: LS_LOG_LEVEL_LINSTOR
 value: TRACE

Примечание: если linstor-controller не находится в crash loop, но нужно повысить уровень логирования, это можно сделать временно во время выполнения следующей командой:

Устранение LINSTOR CrashLoopBackOff из-за поврежденной базы данных

Mon, 01 Jan 0001 00:00:00 +0000

⚠️ Только для опытных пользователей

Это руководство предназначено для опытных пользователей, которым комфортны низкоуровневая диагностика и операции восстановления данных. Повреждение баз данных LINSTOR встречается редко и обычно указывает на серьезную базовую проблему.

Если вы столкнулись с такой ситуацией в production-окружении, настоятельно рекомендуем обратиться в квалифицированную поддержку, а не пытаться исправить проблему самостоятельно. Неверные действия могут привести к безвозвратной потере данных.

Введение

При запуске вне Kubernetes LINSTOR controller использует SQL database того или иного типа. В Kubernetes linstor-controller не требует persistent volume или внешней базы данных. Вместо этого он хранит всю информацию как custom resources (CR) прямо в Kubernetes control plane. При запуске LINSTOR controller читает все CR и создает базу данных в памяти.

Устранение неполадок Piraeus custom resources

Mon, 01 Jan 0001 00:00:00 +0000

Введение

К Piraeus custom resources относятся:

LinstorCluster
LinstorSatellite
LinstorSatelliteConfiguration
LinstorNodeConnection

Piraeus controller защищает эти ресурсы от непреднамеренных изменений и удаления. При удалении ресурса controller сначала убеждается, что все нижестоящие ресурсы удалены.

Но по умолчанию webhook отклоняет любые изменения, если что-то идет не так с самим webhook. В нестабильной системе webhook может часто падать без полезных stacktrace.

Отключение webhook

Если вы исправляете CR, но они “не редактируются”, нужно отключить webhook, а возможно и сам operator.

Руководство по устранению неполадок Cozystack on Cozystack

Устранение неполадок etcd

Как очистить состояние etcd

Устранение неполадок Flux CD

Диагностика ошибки install retries exhausted

Устранение неполадок мониторинга

Диагностика отсутствующих метрик

Проверьте состояние VMAgent

Проверьте targets

Устранение неполадок Kube-OVN

Получение информации о состоянии базы данных Kube-OVN

Устранение crash loop у LINSTOR controller

Перезапуск controller

Crash loop LINSTOR controller

Устранение LINSTOR CrashLoopBackOff из-за поврежденной базы данных

Введение

Устранение неполадок Piraeus custom resources

Введение

Отключение webhook

Диагностика ошибки `install retries exhausted`