第 313 章 Apache Spark 组件

作为 Camel 2.17 版提供

本文档页面涵盖了 Apache Camel 的 Apache Spark 组件。Spark 与 Camel 集成的主要目的是在 Camel 连接器和 Spark 任务之间提供一个桥接。特别是 Camel 连接器提供了一种方法来路由来自各种传输的消息，动态选择要执行的任务，使用传入消息作为该任务的输入数据，最后将执行结果传送回 Camel 管道。

313.1. 支持的架构风格

spark 组件可用作部署到应用服务器（或作为 fat jar 执行）的驱动程序应用。

image

也可以将 spark 组件作为作业直接提交到 Spark 集群。

image

虽然 Spark 组件是设计的主要设计，作为 Spark 集群和其他端点之间的 一个长运行的作业 服务，但您也可以将它用作 触发器的短 作业。