Kubernetes

演讲者围绕将AI智能体从本地FastAPI原型迁移至Kubernetes上的弹性生产系统，分享了RayCluster拓扑、有状态内存处理、动态流量自动扩缩容以及健壮控制平面设计等方面的运维经验。

AI安全在根本上与Kubernetes安全紧密相连，非确定性智能体行为、GPU供应链漏洞以及共享计算风险正在重塑云原生AI的威胁格局。

LLM工作负载会无休止地重复计算相同的上下文，这浪费了GPU时间并推高了首Token延迟。

服务提供商不应在规模、控制力、韧性和盈利能力之间做出取舍。

Modal工程师团队从零重建沙箱基础设施，以支持数百万并发沙箱和每秒数万次沙箱创建。

AX将智能体视为有状态的执行单元，并针对空闲阶段提供资源高效的任务挂起与恢复机制，以优化性能并降低延迟。