Сетевые возможности on Cozystack

Сетевая архитектура

Mon, 01 Jan 0001 00:00:00 +0000

Обзор

Cozystack использует многослойный сетевой стек, разработанный для bare-metal-кластеров Kubernetes. Архитектура объединяет несколько компонентов, каждый из которых отвечает за свой уровень сети:

Уровень	Компонент	Назначение
Внешняя балансировка нагрузки	MetalLB	Публикация сервисов во внешние сети
Балансировка нагрузки сервисов	Cilium eBPF	Замена kube-proxy, DNAT внутри ядра
Сетевые политики	Cilium eBPF	Изоляция тенантов и обеспечение безопасности
Сеть подов (CNI)	Kube-OVN	Централизованный IPAM, оверлейная сеть
Проброс IP в ВМ	cozy-proxy	Проброс внешних IP-адресов внутрь виртуальных машин
Вторичные интерфейсы ВМ	Multus CNI	Подключение вторичных L2-интерфейсов к виртуальным машинам
Наблюдаемость	Hubble (опционально)	Видимость сетевого трафика (по умолчанию отключено)

flowchart TD
 EXT["External Clients"]
 RTR["Upstream Router / Gateway"]
 MLB["MetalLB<br/>(L2 ARP / BGP)"]
 CIL["Cilium eBPF<br/>(Service Load Balancing + Network Policies)"]
 OVN["Kube-OVN<br/>(Pod Networking + IPAM)"]
 PODS["Pods"]

 EXT --> RTR
 RTR --> MLB
 MLB --> CIL
 CIL --> OVN
 OVN --> PODS

Сетевая конфигурация кластера

Параметр	Значение по умолчанию
Pod CIDR	10.244.0.0/16
Service CIDR	10.96.0.0/16
Join CIDR	100.64.0.0/16
Домен кластера	cozy.local
Тип оверлея	GENEVE
CNI	Kube-OVN
Замена kube-proxy	Cilium eBPF

Варианты сетевого стека

Cozystack поддерживает несколько вариантов сетевого стека для разных типов кластеров. Вариант выбирается через bundles.system.variant в конфигурации платформы.

VPC

Mon, 01 Jan 0001 00:00:00 +0000

VPC предоставляет набор выделенных подсетей вместе со связанными с ними сетевыми сервисами. По мере развития сервиса будет появляться больше способов изоляции рабочих нагрузок.

Детали сервиса

Для работы сервису требуются kube-ovn и multus CNI, поэтому по умолчанию он работает только с бандлом paas-full. Kube-ovn предоставляет ресурсы VPC и Subnet, а также обеспечивает изоляцию и обслуживание сети, например DHCP. Внутри он использует виртуальные маршрутизаторы и виртуальные коммутаторы ovn. Multus добавляет поддержку нескольких сетевых интерфейсов, поэтому под или ВМ могут иметь два и более сетевых интерфейса.

Управляемый сервис VPN

Mon, 01 Jan 0001 00:00:00 +0000

Виртуальная частная сеть (VPN) - важнейший инструмент для обеспечения безопасного и приватного обмена данными через интернет. Управляемый сервис VPN упрощает развёртывание VPN-сервера и управление им, позволяя легко устанавливать защищённые соединения.

Клиентские приложения VPN: https://shadowsocks5.github.io/en/download/clients.html

Детали развёртывания

Сервис VPN работает на основе Outline Server - продвинутого и удобного VPN-решения. Его внутреннее название - «Shadowbox»; он упрощает процесс настройки и совместного использования серверов Shadowsocks. Он работает, запуская экземпляры Shadowsocks по требованию. Кроме того, Shadowbox совместим со стандартными клиентами Shadowsocks, что обеспечивает гибкость и удобство использования VPN.

Gateway API (Cilium)

Mon, 01 Jan 0001 00:00:00 +0000

Обзор

Cozystack ships Gateway API support as an opt-in alternative to ingress-nginx. When enabled, a tenant that explicitly opts in via tenant.spec.gateway: true gets its own Gateway (own LoadBalancer Service, own LB IP, and — on the ACME cert modes — its own per-tenant Issuer and Certificate) materialised in its own namespace. Every other tenant in the tree publishes through the Gateway of the nearest ancestor that owns one — same shape as the existing _namespace.ingress inheritance.

Управляемый сервис HTTP-кеширования на основе Nginx

Mon, 01 Jan 0001 00:00:00 +0000

Сервис HTTP-кеширования на основе Nginx предназначен для оптимизации веб-трафика и повышения производительности веб-приложений. Сервис объединяет специально собранные экземпляры Nginx и HAProxy для эффективного кеширования и балансировки нагрузки.

Информация о развёртывании

Экземпляры Nginx включают следующие модули и возможности:

модуль VTS для статистики
интеграция с ip2location
интеграция с ip2proxy
поддержка 51Degrees
функция очистки кеша

HAProxy играет ключевую роль в этой схеме: он направляет входящий трафик на конкретные экземпляры Nginx на основе консистентного хеша, вычисляемого от URL. Каждый экземпляр Nginx использует Persistent Volume Claim (PVC) для хранения кешированного содержимого, обеспечивая быстрый и надёжный доступ к часто используемым ресурсам.

PROXY-protocol и исправление hairpin-NAT

Mon, 01 Jan 0001 00:00:00 +0000

О чём эта страница

PROXY-protocol на ingress-nginx управляющего кластера, порождаемая им проблема hairpin-NAT, входящее в состав Cozystack исправление (ouroboros, реализация compumike/hairpin-proxy на Go - см. lexfrei/ouroboros), единый флаг платформы, связывающий обе части, аддон для того же исправления внутри кластеров тенантов и несимметричные пути отключения на каждом уровне.

Почему PROXY-protocol ломает трафик внутри кластера

Когда вышестоящий балансировщик L4 (облачный LB, hcloud-CCM, F5, haproxy за MetalLB и т.д.) добавляет заголовок PROXY-protocol v1 к каждому соединению, приходящему на ingress-nginx, ingress-nginx настраивается с use-proxy-protocol: "true" и принимает только соединения с заголовком. Внешний трафик работает.

Публикация конечной точки Kubernetes API через external-dns

Mon, 01 Jan 0001 00:00:00 +0000

О чём эта страница

Как опубликовать конечную точку Kubernetes API самого кластера в виде DNS-записи с помощью external-dns, почему очевидный подход (направить external-dns напрямую на EndpointSlice default/kubernetes) не работает, что представляет собой входящий в состав Cozystack мост (kuberture, см. lexfrei/kuberture), как одна установка kuberture может одновременно обслуживать несколько экземпляров external-dns, а также как всё это отключить.

Почему external-dns не может читать EndpointSlice напрямую

external-dns считывает значимое для DNS состояние из источников Kubernetes - service, ingress, gateway-httproute и ряда других. Источник EndpointSlice он не поддерживает. EndpointSlice управляющего слоя, который Kubernetes поддерживает в default/kubernetes, - это канонический, всегда актуальный список адресов узлов, обслуживающих API; кроме того, это единственный полноценный объект, который несёт эту информацию без меток или селекторов, задаваемых оператором. Операторы, которые хотят публиковать конечную точку API своего кластера в публичный DNS через external-dns (проверки dns01 в cert-manager, внутренняя автоматизация, обращающаяся к API по FQDN, обнаружение сервисов между кластерами и т.д.), сразу упираются в этот пробел.

Управляемый сервис балансировки TCP-нагрузки

Mon, 01 Jan 0001 00:00:00 +0000

Управляемый сервис балансировки TCP-нагрузки упрощает развёртывание балансировщиков нагрузки и управление ими. Он эффективно распределяет входящий TCP-трафик между несколькими бэкенд-серверами, обеспечивая высокую доступность и оптимальное использование ресурсов.

Детали развёртывания

Управляемый сервис балансировки TCP-нагрузки использует для балансировки HAProxy. HAProxy - проверенное и надёжное решение для распределения входящего TCP-трафика между несколькими бэкенд-серверами, обеспечивающее высокую доступность и эффективное использование ресурсов. Такой выбор гарантирует бесперебойную и надёжную работу вашей инфраструктуры балансировки нагрузки.

Виртуальные маршрутизаторы

Mon, 01 Jan 0001 00:00:00 +0000

Начиная с версии v0.27.0 Cozystack может развёртывать виртуальные маршрутизаторы (также известные как «router appliances» или «middlebox appliances»). Эта возможность позволяет создать виртуальный маршрутизатор на основе экземпляра виртуальной машины. Виртуальный маршрутизатор может маршрутизировать трафик между разными сетями.

Создание виртуального маршрутизатора

Для создания виртуального маршрутизатора требуется учётная запись администратора Cozystack.

Создайте экземпляр ВМ
Используйте стандартные пакеты vm-instance и virtual-machine, чтобы создать экземпляр виртуальной машины.
Отключите защиту от подмены адресов (anti-spoofing)
Чтобы экземпляр ВМ мог работать как виртуальный маршрутизатор, у него должна быть отключена защита от подмены адресов: