InfoQ 中文 发布于 08/26 19:11

Netflix详述如何扩展其实时服务地图

查看原文

资讯摘要

Netflix描述了如何重新设计驱动Service Topology(实时服务依赖地图)的流处理管道以满足生产规模需求。该系统采用三阶段架构,将中间解析过程与丰富和持久化过程实现了分离,将回压传播回Kafka而不是丢弃记录,并在高流量内部传输时使用服务器发送事件(server-sent event)来取代gRPC。

AI 摘要

Netflix 在一篇技术博客中详细介绍了如何重新设计驱动 Service Topology 实时服务依赖地图的流式处理管道,以支撑生产规模。系统采用三阶段架构,将中间解析与数据丰富、持久化分离,通过 Kafka 回压传播避免数据丢失,并以 SSE 替代 gRPC 提升高流量内部传输效率,同时利用一致性哈希实现实例伸缩和负载均衡。

AI 问答

Netflix 的 Service Topology 采用三阶段架构分别承担什么职责?

第一阶段消费多区域 Kafka 流,过滤无效记录并按五分钟窗口批处理生成初始聚合器;第二阶段将中间跳转解析为直接的应用到应用边;第三阶段在持久化到图数据库前丰富节点信息,如健康、归属和元数据。

Netflix 如何应对管道中的回压问题?

使用 Apache Pekko Streams 管理回压。当图存储写入跟不上时,压力向上游传播至 Kafka 消费者暂停,将记录保留在 Kafka 中等容量恢复,从而避免数据丢失,只产生新鲜度延迟。

打开原文