313.3. URI 形式

現在、Spark コンポーネントはプロデューサーのみをサポートしています。これは、Spark ジョブを呼び出して結果を返すことを目的としています。RDD、データフレーム、または Hive SQL ジョブを呼び出すことができます。

Spark URI 形式

spark:{rdd|dataframe|hive}

313.3.1. Spark オプション

Apache Spark コンポーネントは、以下に示す 3 個のオプションをサポートしています。

名前説明デフォルトタイプ

rdd (producer)

計算対象の RDD。

 

JavaRDDLike

rddCallback (producer)

RDD に対してアクションを実行する関数。

 

RddCallback

resolveProperty Placeholders (advanced)

起動時にコンポーネントがプロパティープレースホルダーを解決するかどうか。String タイプのプロパティーのみがプロパティープレースホルダーを使用できます。

true

boolean

Apache Spark エンドポイントは、URI 構文を使用して設定されます。

spark:endpointType

パスおよびクエリーパラメーターを使用します。

313.3.2. パスパラメーター (1 個のパラメーター):

名前説明デフォルトタイプ

endpointType

必須 エンドポイントのタイプ (rdd、データフレーム、ハイブ)。

 

EndpointType

313.3.3. クエリーパラメーター (6 個のパラメーター):

名前説明デフォルトタイプ

collect (producer)

結果を収集またはカウントする必要があるかどうかを示します。

true

boolean

dataFrame (producer)

計算対象の DataFrame。

 

Dataset

dataFrameCallback (producer)

DataFrame に対してアクションを実行する関数。

 

DataFrameCallback

rdd (producer)

計算対象の RDD。

 

JavaRDDLike

rddCallback (producer)

RDD に対してアクションを実行する関数。

 

RddCallback

synchronous (advanced)

同期処理を厳密に使用するか、Camel が非同期処理を使用できるかどうかを設定します (サポートされている場合)。

false

boolean