CozySummit Virtual 2026 - записи докладов на Rutube

Результаты Kubernetes AI Conformance для Cozystack

Тенантные кластеры Kubernetes, создаваемые Cozystack, соответствуют требованиям программы CNCF Kubernetes AI Conformance. Если базовая сертификация Kubernetes отвечает на вопрос «это настоящий Kubernetes?», то сертификация AI отвечает на более узкий и практический вопрос: будет ли рабочая нагрузка AI, работающая на одной соответствующей требованиям платформе, работать и здесь — без специфичных для платформы обходных решений.

Программа определяет двенадцать требований в областях ускорителей, сетей, планирования, наблюдаемости, безопасности и операторов. Выполнены все двенадцать. На этой странице показано, как выполняется каждое требование и что можно запустить, чтобы проверить это самостоятельно.

Самооценка v1.35 принята и опубликована в репозитории CNCF Kubernetes AI Conformance, по адресу v1.35/cozystack в cncf/k8s-ai-conformance, подана Ænix для Cozystack v1.6.1 — и эта страница содержит доказательства, на которые она ссылается для каждого требования. Cozystack также указан в CNCF Landscape.

Что сертифицируется

Кластер Kubernetes арендатора — ресурс, который арендатор создаёт для себя из каталога с kind: Kubernetes. Его плоскость управления управляется Kamaji; его рабочие узлы работают как виртуальные машины KubeVirt на Talos Linux. Это тот же объект, который сертифицирован в рамках базовой сертификации Kubernetes, и именно здесь настраиваются описанные ниже возможности ускорителей и AI — как аддоны этого приложения.

Кластер управления установки не является предметом сертификации: арендатор никогда не запускает там рабочие нагрузки.

Если не указано иное, все результаты ниже получены из кластера арендатора под управлением Kubernetes v1.35.6 в установке Cozystack v1.6.1.

Ускорители

Динамическое выделение ресурсов

Dynamic Resource Allocation — это API Kubernetes для запроса и совместного использования устройств с большей выразительностью, чем целочисленный счётчик: фильтрация по атрибутам устройства, совместное использование одного устройства между pod’ами и настройка устройства для каждой рабочей нагрузки, а не для каждого узла. Эта возможность достигла статуса общей доступности в группе resource.k8s.io/v1.

Кластеры арендаторов обслуживают эту группу. Присутствуют все четыре типа GA:

$ kubectl api-versions | grep resource.k8s.io
resource.k8s.io/v1

$ kubectl api-resources --api-group=resource.k8s.io
NAME                     SHORTNAMES   APIVERSION            NAMESPACED   KIND
deviceclasses                         resource.k8s.io/v1    false        DeviceClass
resourceclaims                        resource.k8s.io/v1    true         ResourceClaim
resourceclaimtemplates                resource.k8s.io/v1    true         ResourceClaimTemplate
resourceslices                        resource.k8s.io/v1    false        ResourceSlice

DeviceTaintRule намеренно отсутствует. Он находится в resource.k8s.io/v1alpha3 за feature gate DRADeviceTaints и не входит в группу GA.

DeviceClass и ResourceSlice пусты, пока не установлен драйвер DRA: именно драйвер публикует инвентарь устройств. Установка драйвера — выбор арендатора; для NVIDIA GPU важно знать, что часть upstream-драйвера, отвечающая за выделение GPU, пока официально не поддерживается и по умолчанию поставляется выключенной. Поэтому выделение ускорителей на этой платформе сегодня обеспечивается описанным ниже путём device plugin, который используют production-нагрузки.

Драйверы и среда выполнения ускорителей

NVIDIA GPU Operator является аддоном приложения Kubernetes арендатора:

addons:
  gpuOperator:
    enabled: true

Его включение устанавливает, а затем поддерживает на каждом узле с ускорителем драйвер NVIDIA, NVIDIA Container Toolkit, Kubernetes device plugin, GPU Feature Discovery для маркировки узлов и DCGM для мониторинга. Поскольку это оператор, а не однократная установка, конфигурация драйвера и среды выполнения согласуется и не дрейфует, а метки узлов сообщают фактически присутствующие версии.

Совместное использование GPU между рабочими нагрузками

Доступны две стратегии, и они решают разные задачи.

Аппаратное разделение. На ускорителях, поддерживающих MIG, GPU Operator предоставляет разделы как планируемые ресурсы, поэтому рабочая нагрузка, которой нужна часть карты, запрашивает часть, а не целую карту.

Программное совместное использование и переподписка. HAMi поставляется как отдельный аддон и обеспечивает совместное использование с разделением времени, позволяя запускать больше рабочих нагрузок, чем имеется карт:

addons:
  gpuOperator:
    enabled: true
  hami:
    enabled: true

HAMi требует GPU Operator, что платформа принудительно обеспечивает.

Ускорители в виртуальных машинах

Рабочие узлы кластера арендатора являются виртуальными машинами, поэтому вопрос об ускорителе — это вопрос виртуализации; платформа решает его в определении пула узлов, а не вручную. Пул объявляет устройства, которыми оснащены его узлы:

gpus:
  - name: nvidia.com/AD102GL_L40S

Указанное устройство подключается к каждому виртуальному рабочему узлу пула и отображается внутри кластера арендатора через ту же модель ресурсов, что и на bare-metal узле, поэтому рабочей нагрузке не нужно знать, куда она попала. Физический passthrough и виртуализированные режимы производителя выражаются одинаково.

Это важно сказать прямо, поскольку именно здесь платформа на базе виртуальных машин отличается от платформы только с контейнерами: ускоритель пересекает границу виртуализации как часть декларации пула, а не как исключение на уровне оператора.

Сети

Gateway API для трафика инференса

Gateway API поставляется как аддон, а Cilium — CNI платформы — обеспечивает реализацию:

addons:
  gatewayAPI:
    enabled: true
$ kubectl get gatewayclass -o wide
NAME     CONTROLLER                     ACCEPTED   AGE
cilium   io.cilium/gateway-controller   True       ...

Для обслуживания моделей важны два свойства; оба были проверены на запрограммированном Gateway с принятыми маршрутами.

Взвешенное разделение трафика для переноса нагрузки между двумя версиями сервера модели:

rules:
  - backendRefs:
      - name: backend-a
        port: 80
        weight: 80
      - name: backend-b
        port: 80
        weight: 20

Из тридцати запросов к этому маршруту 26 попали в backend-a, а 4 — в backend-b.

Маршрутизация по заголовкам — способ, которым заголовки протокола OpenAI используются для направления запроса к определённой модели или canary-развёртыванию:

rules:
  - matches:
      - headers:
          - name: X-Env
            value: canary
    backendRefs:
      - name: backend-b
        port: 80

Запросы без заголовка достигали backend-a; запросы с X-Env: canary стабильно достигали backend-b.

Планирование и оркестрация

Групповое планирование

Распределённое обучение требует допуска по принципу «всё или ничего»: задача, получившая половину рабочих процессов, удерживает ускорители, не продвигаясь вперёд. Платформа запускает групповой планировщик как обычную рабочую нагрузку.

Kueue v0.19.4 устанавливается и работает в кластере арендатора. При ClusterQueue с квотой в два CPU поведение в обоих направлениях соответствует требованию.

Задача, которая помещается в квоту, допускается целиком:

ЗадачаЗапросРезультат
два pod’а, по 500m каждый1 CPU из 2Admitted=True, 2/2 pod’ов Running
четыре pod’а, по 1 CPU каждый4 CPU из 2suspended, 0 pod’ов, квота не зарезервирована

Второй случай и есть суть. Задача не запускается частично: она не занимает два из четырёх слотов и не ждёт, удерживая ускорители без прогресса. Kueue сообщает причину:

insufficient quota for cpu in flavor default-flavor ...
current podset request (4) > maximum capacity (2)

Масштабирование пулов узлов с ускорителями

Пул узлов кластера арендатора — это MachineDeployment Cluster API, управляемый cluster-autoscaler; пул объявляет собственные границы:

minReplicas: 0
maxReplicas: 10
gpus:
  - name: nvidia.com/AD102GL_L40S

minReplicas и maxReplicas — нижняя и верхняя границы autoscaler для этого пула. Поскольку ускоритель объявлен в пуле, пул узлов с ускорителями масштабируется в ответ на pod’ы, ожидающие этот ускоритель, и возвращается к нижней границе — включая ноль — когда они исчезают.

Один параметр настройки для каждого пула особенно важен именно для узлов с ускорителями, поскольку они медленно загружаются:

maxNodeProvisionTime: "30m"
```... Он отображается в `MachineDeployment` как аннотация
`cluster.x-k8s.io/autoscaling-options-maxnodeprovisiontime`, переопределяя значение autoscaler по умолчанию только для этого пула. Установите его выше самого долгого штатного присоединения — импорта образа диска, загрузки гостевой ОС и развёртывания CNI, — иначе autoscaler запросит замену для мощности, которая уже находится в пути.

### Автомасштабирование pod'ов

Требование состоит именно в том, чтобы автомасштабирование работало **для pod'ов, использующих ускорители**, и могло реагировать на метрики, которые фактически производит рабочая нагрузка AI.

HorizontalPodAutoscaler является частью соответствующей требованиям плоскости управления Kubernetes и не требует специальной обработки для pod'ов с ускорителями: pod, удерживающий GPU, — обычный pod, чьё устройство было выделено механизмом device plugin, поэтому изменение количества реплик происходит так же, как для любой другой рабочей нагрузки. На практике отличается полезный сигнал. Использование CPU мало говорит об inference-сервере, поэтому масштабирование управляется стеком мониторинга, описанным ниже: глубиной очереди, размером батча или пропускной способностью по токенам, публикуемыми самим сервером модели, собираемыми как пользовательские метрики и считываемыми autoscaler.

Vertical Pod Autoscaler также поставляется как аддон — для подбора запросов ресурсов вокруг ускорителя, а не количества ускорителей:

```yaml
addons:
  verticalPodAutoscaler: {}

Наблюдаемость

Метрики ускорителей

Требование заключается в том, чтобы платформа позволяла устанавливать и эксплуатировать решение для метрик ускорителей. Это решение поставляется вместе с ней.

Аддон GPU Operator развёртывает NVIDIA DCGM exporter на узлах с ускорителями. Он предоставляет endpoint экспозиции Prometheus с основным набором метрик, указанным в требовании: загрузка и использование памяти для каждого ускорителя, а там, где это сообщает оборудование, — температура, потребляемая мощность и счётчики interconnect. Аддон агентов мониторинга обнаруживает и собирает эти данные:

addons:
  gpuOperator:
    enabled: true
  monitoringAgents:
    enabled: true

Ни один аддон не обязателен, что составляет вторую половину требования: арендатор, предпочитающий другой exporter, устанавливает его как обычную рабочую нагрузку и собирает его метрики тем же способом. Платформа не навязывает путь для метрик.

Метрики из рабочих нагрузок AI

Тот же аддон развёртывает VMAgent, который обнаруживает цели через стандартные ресурсы ServiceMonitor и PodMonitor. Любая рабочая нагрузка, предоставляющая метрики в формате Prometheus, собирается без специфичной для платформы конфигурации; это включает метрики, которые публикуют серверы моделей, например глубину очереди vLLM, размер батча и счётчики токенов.

Безопасность

Изоляция доступа к ускорителям

Доступ к ускорителю опосредован фреймворком Kubernetes device plugin, а не привилегированным доступом к узлам устройств. Файлы устройств, библиотеки и окружение внедряются в контейнер средой выполнения через Container Device Interface на основании выделения, выполненного планировщиком.

Кластеры арендаторов добавляют вторую границу, которой нет у однокластерной платформы. Рабочие узлы каждого арендатора — отдельные виртуальные машины со своим ядром, поэтому ускоритель, подключённый к пулу узлов одного арендатора, недоступен из рабочей нагрузки другого арендатора даже при наличии выхода из контейнера.

Операторы

Запуск сложного оператора AI

Инструменты AI поставляются в виде операторов с пользовательскими ресурсами, webhook’ами и контроллерами. Требование заключается в том, чтобы хотя бы один такой оператор устанавливался и надёжно выполнял reconciliation.

На кластере арендатора были установлены два оператора; вместе они полностью покрывают требование.

Kueue v0.19.4 выполняет все три части. Его контроллер работает; он устанавливает и MutatingWebhookConfiguration, и ValidatingWebhookConfiguration вместе с обслуживающим их сервисом; его собственные пользовательские ресурсы — ClusterQueue, LocalQueue, Workload — проходят reconciliation. Webhook’и не просто присутствуют, а демонстративно работают: допуск batch/v1 Job устанавливает поле suspend этой Job, что является механизмом группового планирования, описанного выше. Набор webhook’ов Kueue также охватывает ресурсы Ray, Kubeflow, JobSet и AppWrapper, что справедливо показывает масштаб экосистемы AI, в которую он вмешивается.

KubeRay v1.7.0 приведён как второй, независимый пример reconciliation. Оператор работает, RayCluster достигает state: ready, а его head- и worker-pod’ы запланированы на разных узлах; оператор поддерживает условия статуса (RayClusterProvisioned, HeadPodReady).

Одно честное замечание, поскольку иначе это выглядело бы как упущение: установка KubeRay v1.7.0 по умолчанию не развёртывает webhook’и admission или conversion — отсутствуют конфигурации webhook’ов, сервис webhook’ов, а в CRD задано conversion.strategy: None. KubeRay — полноценный контроллер reconciliation с CRD и условиями, но часть данного требования о webhook’ах обеспечивается Kueue, а не KubeRay.

Самостоятельный запуск проверок

Каждая команда на этой странице запускается с kubeconfig кластера арендатора, а не кластера управления. Во время оценки это разумно запросить, и ничто здесь не требует специальной сборки.

Упомянутые выше аддоны являются полями приложения Kubernetes. Полный список и значения по умолчанию см. в документации по управляемому Kubernetes.

Что сертификация AI доказывает и не доказывает

Она доказывает переносимость возможностей платформы, от которых зависит рабочая нагрузка AI: ускорители предоставляются через стандартные API, групповой планировщик и оператор AI могут работать, метрики могут собираться, а пулы масштабируются в ответ на спрос на ускорители.

Она не сравнивает производительность. Она ничего не говорит о скорости обучения модели здесь, о том, сколько токенов в секунду может поддерживать сервер, или о том, как кластер подбирается по размеру, защищается или эксплуатируется. Она не сертифицирует каталог вокруг кластеров Kubernetes — виртуальные машины, управляемые базы данных — и не сертифицирует какую-либо конкретную модель или фреймворк.

Сертификация предоставляется для продукта, версии и конфигурации и действует один год.

Примечания

Проверено 12 сентября 2026 года на кластере Kubernetes арендатора версии v1.35.6 в установке Cozystack v1.6.1. Kueue v0.19.4 и KubeRay v1.7.0 были установлены для требований к планированию и операторам, а затем удалены; всё остальное на этой странице является конфигурацией платформы, а не дополнением к кластеру. Заявка подана для Kubernetes v1.35, в соответствии с заявкой базовой сертификации Kubernetes по адресу v1.35/cozystack.

Самооценка v1.35 принята и опубликована в репозитории CNCF Kubernetes AI Conformance по адресу v1.35/cozystack, объединена 14 сентября 2026 года.

“Certified Kubernetes AI Platform” и связанные с ним логотипы являются знаками The Linux Foundation, лицензированными поставщику, чей продукт сертифицирован, для этой платформы и версии. Принятая заявка относится к Ænix для Cozystack v1.6.1 на Kubernetes v1.35 — это не утверждение, что сам проект Cozystack владеет этим знаком.