目录

Dask Gateway

Dask Gateway

Dask Gateway 提供了一个安全的多租户服务器，用于管理 Dask 集群。它允许用户在共享的、集中管理的集群环境中启动和使用 Dask 集群，而无需用户直接访问底层集群后端（例如 Kubernetes、Hadoop/YARN、HPC 作业队列等）。

Dask Gateway 是部署 Dask 集群的众多选项之一，有关其他选项的概述，请参阅 Dask 文档中的部署 Dask。

要点

  • 集中管理：管理员负责网关的繁重配置工作，用户只需连接到网关即可获得一个新的集群。这简化了部署，并允许在所有用户之间强制执行一致的配置。

  • 默认安全：集群通信通过 TLS 自动加密。所有操作都使用可配置的协议进行身份验证，以便您可以使用适合您组织的方式。

  • 灵活：网关设计用于支持多种后端，无论是在云端还是本地都能良好运行。原生支持 Kubernetes、Hadoop/YARN 和 HPC 作业队列系统。

  • 容错性强：网关可以重启或进行故障转移而不会丢失现有集群。允许无缝升级和重启，不会中断用户。

架构概览

Dask Gateway 分为三个独立的组件

  • 多个活动的 Dask 集群（每个用户可能不止一个）

  • 一个 代理，用于代理用户客户端与其各自调度器之间的连接以及每个集群的 Dask Web UI

  • 一个负责管理认证和集群启动/关闭的中央 网关

Dask-Gateway high-level architecture

网关设计得灵活且可插拔，大量使用了 traitlets（与 Jupyter 生态系统使用的技术相同）。特别是，集群后端和认证协议都是可插拔的。

集群后端

认证方法

下一个

安装