Kubernetes кластер

Модуль cert-manager

Устанавливает надежную и высокодоступную инсталляцию cert-manager release v1.12.3.

При установке модуля автоматически учитываются особенности кластера:

• компонент (webhook), к которому обращается kube-apiserver, устанавливается на master-узлы;
• в случае недоступности webhook’а производится временное удаление apiservice, чтобы недоступность cert-manager не блокировала работу кластера.

Обновление самого модуля происходит в автоматическом режиме, в том числе с миграцией ресурсов cert-manager.

Модуль loki

Модуль предназначен для организации хранилища логов.

Модуль использует проект Grafana Loki.

Модуль разворачивает хранилище логов на базе Grafana Loki, при необходимости настраивает модуль log-shipper на использование модуля loki и добавляет в Grafana соответствующий datasource.

Модуль log-shipper

Модуль разворачивает агенты log-shipper для сборки логов на узлы кластера. Предназначение этих агентов — с минимальными изменениями отправить логи дальше из кластера. Каждый агент — это отдельный vector, конфигурацию для которого сгенерировал Deckhouse.

1. Deckhouse следит за ресурсами ClusterLoggingConfig, ClusterLogDestination и PodLoggingConfig. Комбинация конфигурации для сбора логов и направления для отправки называется pipeline.
2. Deckhouse генерирует конфигурационный файл и сохраняет его в Secret в Kubernetes.
3. Secret монтируется всем подам агентов log-shipper, конфигурация обновляется при ее изменении с помощью sidecar-контейнера reloader.

Модуль monitoring-kubernetes

Модуль предназначен для базового мониторинга узлов кластера.

Обеспечивает безопасный сбор метрик и предоставляет базовый набор правил для мониторинга:

• текущей версии container runtime (docker, containerd) на узле и ее соответствия версиям, разрешенным для использования;
• общей работоспособности подсистемы мониторинга кластера (Dead man’s switch);
• доступных файловых дескрипторов, сокетов, свободного места и inode;
• работы kube-state-metrics, node-exporter, kube-dns;
• состояния узлов кластера (NotReady, drain, cordon);
• состояния синхронизации времени на узлах;
• случаев продолжительного превышения CPU steal;
• состояния таблицы Conntrack на узлах;
• подов с некорректным состоянием (как возможное следствие проблем с kubelet) и др.

Модуль cni-cilium

Обеспечивает работу сети в кластере с помощью модуля cilium.

Ограничения

1. Сервисы с типом NodePort и LoadBalancer не работают с hostNetwork-эндпоинтами в LB-режиме DSR. Переключитесь на режим SNAT, если это требуется.
2. HostPort поды биндятся только к одному IP. Если в ОС есть несколько интерфейсов/IP, Cilium выберет один из них, предпочитая «серые» IP-адреса «белым».
3. Требования к ядру:

• Для работы модуля cni-cilium необходимо ядро Linux версии >= 5.7.
• Для работы модуля cni-cilium совместно с модулем istio, openvpn или node-local-dns необходимо ядро Linux версии >= 5.7.

4. Проблемы совместимости с ОС:

• Ubuntu:
• не работоспособно на 18.04
• для работы на 20.04 необходима установка ядра HWE
• Astra Linux:
• не работоспособно на издании “Смоленск”
• CentOS: 7 (необходимо новое ядро из репозитория)
• CentOS: 8 (необходимо новое ядро из репозитория)

Модуль openvpn

Дает доступ к ресурсам кластера посредством OpenVPN с аутентификацией по сертификатам, предоставляет простой веб-интерфейс.

Функции веб-интерфейса:

• выпуск сертификатов;
• отзыв сертификатов;
• отмена отзыва сертификатов;
• получение готового пользовательского конфигурационного файла.

Веб-интерфейс проинтегрирован с модулем user-authn, что позволяет управлять возможностью доступа различных пользователей в этот веб-интерфейс.

Prometheus-мониторинг

Веб-интерфейсы, связанные с модулем: grafana

Устанавливает и полностью настраивает Prometheus, настраивает сбор метрик со многих распространенных приложений, а также предоставляет необходимый минимальный набор alert’ов для Prometheus и dashboard Grafana.

Если используется StorageClass с поддержкой автоматического расширения (allowVolumeExpansion: true), при нехватке места на диске для данных Prometheus его емкость будет увеличена.

Ресурсы CPU и memory автоматически выставляются при пересоздании пода на основе истории потребления, благодаря модулю Vertical Pod Autoscaler. Также, благодаря кэшированию запросов к Prometheus с помощью Trickster, потребление памяти Prometheus сильно сокращается.

Поддерживается как pull-, так и push-модель получения метрик.

Модуль descheduler

Модуль запускает в кластере descheduler с набором стратегий, заданных в custom resource Descheduler.

descheduler каждые 15 минут вытесняет Pod’ы, которые удовлетворяют включённым в custom resource Descheduler стратегиям. Это приводит к принудительному запуску процесса шедулинга для вытесненных подов.

Управление control plane

Управление компонентами control plane кластера осуществляется с помощью модуля control-plane-manager, который запускается на всех master-узлах кластера (узлы с лейблом node-role.kubernetes.io/control-plane: "").

Функционал управления control plane:

• Управление сертификатами, необходимыми для работы control-plane, в том числе продление, выпуск при изменении конфигурации и т. п. Позволяет автоматически поддерживать безопасную конфигурацию control plane и быстро добавлять дополнительные SAN для организации защищенного доступа к API Kubernetes.
• Настройка компонентов. Автоматически создает необходимые конфигурации и манифесты компонентов control-plane.
• Upgrade/downgrade компонентов. Поддерживает в кластере одинаковые версии компонентов.
• Управление конфигурацией etcd-кластера и его членов. Масштабирует master-узлы, выполняет миграцию из single-master в multi-master и обратно.
• Настройка kubeconfig. Обеспечивает всегда актуальную конфигурацию для работы kubectl. Генерирует, продлевает, обновляет kubeconfig с правами cluster-admin и создает symlink пользователю root, чтобы kubeconfig использовался по умолчанию.

Модуль kube-dns

Модуль устанавливает компоненты CoreDNS для управления DNS в кластере Kubernetes.

Модуль upmeter

Веб-интерфейсы, связанные с модулем: status, upmeter

Модуль собирает статистику по типам доступности для компонентов кластера и Deckhouse. Позволяет оценивать степень выполнения SLA на эти компоненты, показывает данные о доступности в веб-интерфейсе и предоставляет веб-страницу статуса работы компонентов кластера.

С помощью custom resource UpmeterRemoteWrite можно экспортировать метрики доступности по протоколу Prometheus Remote Write.

Состав модуля:

• agent — делает пробы доступности и отправляет результаты на сервер, работает на мастер-узлах.
• upmeter — агрегатор результатов и API-сервер для их извлечения.
• front:
• status — показывает текущий уровень доступности за последние 10 минут (по умолчанию требует авторизации, но ее можно отключить);
• webui — дашборд со статистикой по пробам и группам доступности (требует авторизации).
• smoke-mini — постоянное smoke-тестирование с помощью StatefulSet, похожего на настоящее приложение.

Модуль отправляет около 100 показаний метрик каждые 5 минут. Это значение зависит от количества включенных модулей Deckhouse.

Модуль ingress-nginx

Устанавливает и управляет NGINX Ingress controller с помощью Custom Resources. Если узлов для размещения Ingress-контроллера больше одного, он устанавливается в отказоустойчивом режиме и учитывает все особенности реализации инфраструктуры облаков и bare metal, а также кластеров Kubernetes различных типов.

Поддерживает запуск и раздельное конфигурирование одновременно нескольких NGINX Ingress controller’ов — один основной и сколько угодно дополнительных. Например, это позволяет отделять внешние и intranet Ingress-ресурсы приложений.

Модуль extended-monitoring

Содержит следующие Prometheus exporter’ы:

• extended-monitoring-exporter — включает расширенный сбор метрик и отправку алертов по свободному месту и inode на узлах, а также «расширенный мониторинг» объектов в namespace с лейблом extended-monitoring.deckhouse.io/enabled="";
• image-availability-exporter — добавляет метрики и алерты, позволяющие выявить проблемы с доступностью образов контейнеров в registry, указанных в поле image объектов Deployments, StatefulSets, DaemonSets, CronJobs;
• events-exporter — собирает события в кластере Kubernetes и отображает их в виде метрик;
• cert-exporter — сканирует Secret’ы в кластере Kubernetes и генерирует метрики об истечении срока действия сертификатов.