Structured Streaming 是 Apache Spark 提供的基于 Spark SQL 引擎构建的高层次、可扩展且容错的流处理引擎。它通过将数据流抽象为动态增长的表格,实现了流批统一的编程模型,用户可以使用熟悉的 SQL、DataFrame 和 Dataset API 进行实时数据处理,无需区分流式与批处理作业。以下从核心设计、技术特性、处理模式、应用场景及优势五个方面详细介绍:
此文由 怡心湖 编辑,若您觉得有益,欢迎分享转发!:首页 > 赞·中华 > 经验谈 » Structured Streaming简介