Управляемый сервис ClickHouse

ClickHouse — высокопроизводительная колоночная система управления базами данных (СУБД) с открытым исходным кодом и поддержкой SQL. Она используется для оперативной аналитической обработки (OLAP).

Оркестрация резервного копирования

Чарт поддерживает два варианта резервного копирования; для каждого Helm-релиза выберите один из них.

Рекомендуемый вариант: BackupClass + Plan со стратегией Altinity

Стратегия Altinity уровня кластера (strategy.backups.cozystack.io/v1alpha1) запускает утилиту Altinity clickhouse-backup в отдельном разовом задании batch/v1.Job для каждого BackupJob / RestoreJob. Она учитывает особенности движка (FREEZE + выгрузка), поддерживает как восстановление на месте, так и восстановление в копию с targetApplicationRef, и не требует встроенного в чарт CronJob.

Настройка каждого Helm-релиза:

1. Задайте backup.enabled: true, а также поля s3* (или s3CredentialsSecret.name) в значениях чарта. Чарт создает Secret с именем <release>-backup-s3, содержащий параметры подключения к бакету и учетные данные. Этот Secret используется создаваемым чартом sidecar-контейнером clickhouse-backup (он добавляется в под ClickHouseInstallation с помощью templates/clickhouse.yaml); сам под стратегии представляет собой клиент curl/jq, который обращается к HTTP API sidecar-контейнера на порту 7171 и никогда не считывает Secret напрямую.
2. Администратор кластера однократно устанавливает стратегию Altinity и BackupClass, который связывает apps.cozystack.io/ClickHouse с этой стратегией (см. examples/backups/clickhouse/01-create-strategy.sh и 02-create-backupclass.sh).
3. Tenant создает Plan (расписание cron) или отправляет разовый BackupJob, ссылающийся на BackupClass. Восстановление выполняется с помощью RestoreJob, который ссылается на полученный Backup: не задавайте targetApplicationRef при восстановлении на месте, а для восстановления в копию укажите в нем ссылку на второй экземпляр ClickHouse.

Использование собственного Secret с учетными данными S3

Если задать backup.s3CredentialsSecret.name, чарт не создает <release>-backup-s3, а sidecar-контейнер вместо него использует указанный Secret. Secret должен содержать пять полей S3 в виде отдельных строковых ключей, а не JSON-объекта; по умолчанию используются имена bucketName / endpoint / region / accessKey / secretKey, которые можно переопределить с помощью backup.s3CredentialsSecret.{bucketKey,endpointKey,…}.

Пример:

apiVersion: v1
kind: Secret
metadata:
  name: my-s3-creds
  namespace: tenant-test
type: Opaque
stringData:
  bucketName: my-clickhouse-archive
  endpoint:   https://s3.example.org
  region:     us-east-1
  accessKey:  AKIAIOSFODNN7EXAMPLE
  secretKey:  wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
---
# В values.yaml ClickHouse:
backup:
  enabled: true
  s3CredentialsSecret:
    name: my-s3-creds

Secret приложения Cozystack Bucket (bucket-<name>-<user>) с единственным ключом BucketInfo, содержащим JSON-объект, нельзя напрямую использовать как s3CredentialsSecret. Либо передайте чарту исходные значения через backup.s3* (как это сделано в examples/backups/clickhouse/03-create-bucket.sh: извлеките параметры подключения из BucketInfo и передайте их в значения чарта), либо создайте промежуточный Secret с пятью указанными выше строковыми ключами.

Устаревший вариант: Restic CronJob, создаваемый чартом

Чарт по-прежнему включает CronJob, который для каждой таблицы потоково передает результаты SHOW CREATE TABLE

• SELECT * FORMAT TabSeparated в репозиторий Restic. Этот вариант сохранен для обратной совместимости; в новых установках используйте описанный выше сценарий с BackupClass.

Чтобы включить этот вариант:

1. Задайте backup.enabled: true, backup.schedule: "0 2 * * *" (или другое непустое расписание cron), backup.s3* и backup.resticPassword.

2. Чтобы восстановить данные вручную:

   restic -r s3:s3.example.org/clickhouse-backups/table_name snapshots
   restic -r s3:s3.example.org/clickhouse-backups/table_name restore latest --target /tmp/
   

   Подробнее см. в статье Restic: эффективное резервное копирование из stdin.

Прежние значения backup.schedule, backup.cleanupStrategy и backup.resticPassword объявлены устаревшими и будут удалены после того, как стратегия Altinity станет вариантом по умолчанию во всех эталонных развертываниях. Создаваемый чартом CronJob формируется только при непустом значении backup.schedule.

Параметр storageClass помечен в схеме чарта как неизменяемый. Описание контракта и список компонентов, обеспечивающих его соблюдение, приведены в docs/storage-immutability.md.

Параметры

Общие параметры

Параметры приложения

Параметры резервного копирования

Параметры ClickHouse Keeper

Примеры параметров и справочник

resources и resourcesPreset

resources задает явную конфигурацию CPU и памяти для каждой реплики. Если оставить параметр пустым, применяется пресет, указанный в resourcesPreset.

resources:
  cpu: 4000m
  memory: 4Gi

resourcesPreset задает именованную конфигурацию ресурсов CPU и памяти для каждой реплики. Этот параметр игнорируется, если задано соответствующее значение resources.