[在亚马逊云科技上使用数据砖块 #5] 通过亚马逊云科技私有链接修复数据砖块的引导超时问题:控制平面经由骨干网络传输,无需新建子网

发布日期:2026-07-02 10:00:25   浏览量 :1
发布日期:2026-07-02 10:00:25  
1

📚 系列:亚马逊云科技上的 databricks(第五部分)

  1. 在亚马逊云科技上构建 databricks 人工智能平台
  2. 基于功能角色组的基于角色的访问控制
  3. 计算治理:资源池、策略与集群
  4. 引导超时之谜
  5. 使用亚马逊云科技私有链接修复问题 ← 您当前位置
  6. 我们如何组织地形代码结构

在第四部分中,我们将 引导超时 问题一直追踪到一个集中式出口防火墙,该防火墙静默丢弃了我们新工作区的无类别域间路由块。以下是简洁的修复方案——将控制平面流量完全从互联网移除,且无需触碰现有的虚拟私有云。

第四部分中,我们找到了罪魁祸首:没有公网 IP 的集群节点试图回连至 databricks 控制平面和安全集群连接中继,而一个集中式检查防火墙因我们的新工作区无类别域间路由块不在其允许列表中而丢弃了这些数据包。我们本可以仅添加一条防火墙规则并继续前行。但我们采取了安全团队从一开始就真正希望的做法:将该流量完全从公共互联网中移除。

实现这一目标的工具是亚马逊云科技私有链接。有趣之处不在于私有链接本身,而在于我们在一个已经满载的虚拟私有云中,以零新增子网、零新增无类别域间路由块以及零路由变更的方式成功部署了它。

为何仅靠虚拟私有云端点无法解决问题(第四部分中的陷阱)

直观的反应是:“没有互联网——只需将所有内容放在虚拟私有云端点上。”这种直觉对于亚马逊云科技服务是正确的。简单存储服务、安全令牌服务和数据流服务均发布 com.amazonaws... 端点服务,因此您可以通过网关或接口端点借助亚马逊云科技骨干网访问它们。

但在第四部分中实际被阻塞的内容有所不同:它是databricks 控制平面和安全集群连接中继。这是拥有的基础设施,而非亚马逊云科技服务。不存在您可以免费获得的 com.amazonaws... 端点。不过,databricks 确实发布了其自有的私有链接端点服务——您只需显式地进行连接配置即可。

因此,真正的修复方案分为两部分:

流量类型 解决方案
简单存储服务 / 安全令牌服务 / 数据流服务 亚马逊云科技虚拟私有云端点(可选,独立配置)
控制平面应用程序编程接口 + 安全集群连接中继 databricks 私有链接 —— 这才是解除引导阻塞的关键

本文主要讨论第二行内容。

后端与前端私有链接

databricks 私有链接有两种形式,您需要明确自己需要解决的是哪一种:

类型 连接方向 我们的选择
后端(计算平面) 集群 → 工作区核心服务:应用程序编程接口 + 安全集群连接中继 必需
前端(入站) 用户 → 通过私有路径访问工作区 可选(我们跳过了此项)

引导超时 纯粹是一个后端问题:计算平面无法访问核心服务。前端私有链接关注的是用户如何访问工作区用户界面——这是一个不同的考量点,我们特意未对其进行处理,以便人们仍可以通过互联网正常登录。

后端私有链接意味着需要两个接口虚拟私有云端点

  • 一个指向工作区 / 应用程序编程接口端点服务
  • 一个指向安全集群连接中继

    免责声明:本文内容来自互联网,该文观点不代表本站观点。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请到页面底部单击反馈,一经查实,本站将立刻删除。

关于我们
热门推荐
合作伙伴
免责声明:本站部分资讯来源于网络,如有侵权请及时联系客服,我们将尽快处理
Copyright © 2025-2027 ToB产业网址导航 公安备案 浙公网安备33010602013138号 浙ICP备16025413号-9
支持 反馈 关注 数据