Русская Википедия:Kubeflow

Содержание

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Kubeflow — построенная на Kubernetes и представленная Google платформа с открытым кодом, предназначенная для машинного обучения и MLOps практик. Различные этапы в типичном жизненном цикле машинного обучения представлены разными компонентами программного обеспечения в Kubeflow, включая разработку модели (Kubeflow Notebooks), тренировку модели (Kubeflow Pipelines, Kubeflow Training Operator), использование модели (KServeШаблон:Efn), и автоматическое машинное обучение (Katib).

Каждый компонент Kubeflow может быть развернут отдельно, также нет требования развертывать каждый компонент.

История

Проект Kubeflow был впервые анонсирован на конференции KubeCon + CloudNativeCon North America 2017 инженерами Google Дэвидом Арончиком, Джереми Леви и Вишну Каннаном для устранения предполагаемой нехватки гибких возможностей для построения систем машинного обучения готовых к запуску на производстве. Было также заявлено, что проект начался как способ компании Google сделать открытым код, с помощью которого в компании используется TensorFlow.

Первый выпуск Kubeflow (Kubeflow 0.1) был анонсирован на конференции KubeCon + CloudNativeCon Europe 2018 с утверждениями, что он уже стал одним из верхних 2 % проектов на GitHub за всё время существования сервиса. Kubeflow 1.0 был выпущен в марте 2020 года в публичном посте анонсирующим перевод множества компонентов Kubeflow в «стабильный статус», обозначая, что они стали готовы для производственного использования.

Компоненты

Kubeflow Notebooks для разработки модели

Модели машинного обучения разрабатываются в компоненте записной книжки называемым Kubeflow Notebooks. Компонент использует web среды разработки внутри Kubernetes кластера, с родной поддержкой Jupyter Notebook, Visual Studio Code, и RStudio.

Kubeflow Pipelines для обучения модели

После разработки модели обучаются в компоненте Kubeflow Pipelines. Компонент служит платформой для построения и развертывания портируемого, масштабируемого рабочего процесса машинного обучения, основанного на контейнерах Docker. Облачная платформа Google адаптировала Kubeflow Pipelines DSL для использования внутри своего продукта Vertex AI Pipelines.

Kubeflow Training Operator для обучения модели

Для некоторых моделей машинного обучения и библиотек, компонент Kubeflow Training Operator предоставляет поддержку пользовательских ресурсов Kubernetes. Компонент позволяет запускать как распределенные, так и не распределенные работы для обучения с использованием TensorFlow, PyTorch, Apache MXNet, XGBoost, и MPI на Kubernetes.

KServe для использования модели

Компонент KServe (ранее называемый KFServing) предоставляет пользовательские ресурсы Kubernetes для использования моделей машинного обучения с помощью различных фреймворков включая TensorFlow, XGBoost, scikit-learn, PyTorch, и ONNX. KServe был разработан совместно Google, IBM, Bloomberg, NVIDIA, и Seldon. Публично раскрытые пользователи KServe включают Bloomberg, Gojek, и прочих.

Katib для автоматического машинного обучения

Наконец, Kubeflow включает компонент для автоматического обучения и разработки моделей машинного обучения — Katib компонент. Он описывается как родной проект Kubernetes и позволяет производить настройку гиперпараметров, раннюю остановку и поиск нейронной архитектуры.

Хронология выпусков

Хронология выпусков

Версия	Дата выпуска	Сведения о выпуске	Блог выпуска
Kubeflow 0.1	5 апреля, 2018	-	https://kubernetes.io/blog/2018/05/04/announcing-kubeflow-0.1/
Kubeflow 0.2	2 июля, 2018	-	https://medium.com/kubeflow/kubeflow-0-2-offers-new-components-and-simplified-setup-735e4c56988d
Kubeflow 0.3	5 октября, 2018	-	https://medium.com/kubeflow/kubeflow-0-3-simplifies-setup-improves-ml-development-98b8ca10bd69
Kubeflow 0.4	8 января, 2019	-	https://medium.com/kubeflow/kubeflow-0-4-release-enhancements-for-machine-learning-productivity-d77c54df07a9
Kubeflow 0.5	9 апреля, 2019	-	https://medium.com/kubeflow/kubeflow-v0-5-simplifies-model-development-with-enhanced-ui-and-fairing-library-78e19cdc9f50
Kubeflow 0.6	19 июля, 2019	https://www.kubeflow.org/docs/releases/kubeflow-0.6/	https://medium.com/kubeflow/kubeflow-v0-6-a-robust-foundation-for-artifact-tracking-data-versioning-multi-user-support-9896d329412c
Kubeflow 0.7	17 октября, 2019	https://www.kubeflow.org/docs/releases/kubeflow-0.7/	https://medium.com/kubeflow/kubeflow-v0-7-delivers-beta-functionality-in-the-leadup-to-v1-0-1e63036c07b8
Kubeflow 1.0	20 февраля, 2020	https://www.kubeflow.org/docs/releases/kubeflow-1.0/	https://blog.kubeflow.org/releases/2020/03/02/kubeflow-1-0-cloud-native-ml-for-everyone
Kubeflow 1.1	31 июля, 2020	https://www.kubeflow.org/docs/releases/kubeflow-1.1/	https://blog.kubeflow.org/release/official/2020/07/31/kubeflow-1.1-blog-post
Kubeflow 1.2	18 ноября, 2020	https://www.kubeflow.org/docs/releases/kubeflow-1.2/	https://blog.kubeflow.org/release/official/2020/11/18/kubeflow-1.2-blog-post
Kubeflow 1.3	23 апреля, 2021	https://www.kubeflow.org/docs/releases/kubeflow-1.3/	https://blog.kubeflow.org/kubeflow-1.3-release/
Kubeflow 1.4	12 октября, 2021	https://www.kubeflow.org/docs/releases/kubeflow-1.4/	https://blog.kubeflow.org/kubeflow-1.4-release/
Kubeflow 1.5	10 марта, 2022	https://www.kubeflow.org/docs/releases/kubeflow-1.5/	https://blog.kubeflow.org/kubeflow-1.5-release/
Kubeflow 1.6	7 сентября, 2022	https://www.kubeflow.org/docs/releases/kubeflow-1.6/	https://blog.kubeflow.org/kubeflow-1.6-release/

Ссылки

• Шаблон:Official website
• Шаблон:GitHub