143.2.2. 查询参数(38 参数):

名称描述默认类型

connectOnStartup (common)

在启动制作者/消费者时是否连接到 HDFS 文件系统。如果为 false,则会按需创建连接。请注意,HDFS 可能需要 till 15 分钟才能建立连接,因为它已硬编码 45 x 20 sec 重新传送。通过将此选项设置为 false 可让应用程序启动,而不阻止 till 15 分钟。

true

布尔值

fileSystemType (common)

设置为 LOCAL,以使用 HDFS,而是本地 java.io.File。

HDFS

HdfsFileSystemType

fileType (common)

要使用的文件类型。如需了解更多详细信息,请参阅 Hadoop HDFS 文档,了解各种文件类型。

NORMAL_FILE

HdfsFileType

keyType (common)

键的类型(以序列或映射文件为准)。

NULL

WritableType

owner (common)

文件所有者必须与此所有者匹配,以供消费者选择该文件。否则会跳过该文件。

 

字符串

valueType (common)

键的类型(以序列或映射文件为准)

BYTES

WritableType

bridgeErrorHandler (consumer)

允许将消费者桥接到 Camel 路由 Error Handler,这意味着使用者试图获取传入消息或类似信息时出现任何异常,现在将作为一个消息进行处理,并由路由 Error Handler 处理。默认情况下,使用者将使用 org.apache.camel.spi.Exception 处理程序处理异常,该处理程序将记录在 WARN 或 ERROR 级别,并忽略。

false

布尔值

pattern (consumer)

用于扫描目录的模式

*

字符串

sendEmptyMessageWhenIdle (consumer)

如果轮询使用者没有轮询任何文件,您可以启用这个选项来发送空消息(无正文)。

false

布尔值

exceptionHandler (consumer)

要让使用者使用自定义 ExceptionHandler。请注意,如果启用了选项 bridgeErrorHandler,则不使用这个选项。默认情况下,消费者处理异常,这将在 WARN 或 ERROR 级别记录,并忽略。

 

ExceptionHandler

exchangePattern (consumer)

在使用者创建交换时设置交换模式。

 

ExchangePattern

pollStrategy (consumer)

可插拔 org.apache.camel.PollingConsumerPollingStrategy 允许您提供自定义实施来控制在轮询操作中通常会发生错误处理,然后再在 Camel 中创建并被路由。

 

PollingConsumerPoll Strategy

append (producer)

将 附加到现有文件。请注意,并非所有 HDFS 文件系统都支持 append 选项。

false

布尔值

overwrite (producer)

是否用相同名称覆盖现有文件

true

布尔值

blockSize (advanced)

HDFS 块的大小

67108864

long

bufferSize (advanced)

HDFS 使用的缓冲区大小

4096

int

checkIdleInterval (advanced)

运行闲置检查程序后台任务的频率(中间时间)。只有在分割策略为 IDLE 时才使用这个选项。

500

int

chunkSize (advanced)

当读取常规文件时,这被分成块中每个块的消息。

4096

int

compressionCodec (advanced)

要使用的压缩代码

DEFAULT

HdfsCompressionCodec

compressionType (advanced)

要使用的压缩类型(默认情况下不使用)

NONE

CompressionType

openedSuffix (advanced)

打开文件以读取/写入该文件时,使用这个后缀重命名该文件,以避免在写入阶段读取该文件。

已打开

字符串

readSuffix (advanced)

文件读取后,使用这个后缀重命名该文件,以避免再次读取。

读取

字符串

复制 (高级)

HDFS 复制因素

3

splitStrategy (advanced)

在当前版本的 Hadoop 中,在附加模式中打开一个文件被禁用,因为它并不可靠。因此,目前只能创建新文件。Camel HDFS 端点试图通过这种方式解决这个问题:如果定义了 split 策略选项,则 hdfs 路径将用作目录和文件,将使用配置的 UuidGenerator 创建。每次满足分割条件时,都会创建一个新文件。splitStrategy 选项定义为带有以下语法的字符串: splitStrategy=ST:value,ST:value,…​ where ST can be: BYTES a new file is created,当写入的字节数超过这个值超过 MESSAGES 时,旧值就会关闭,在写入消息的数量超过这个值时,旧会被关闭。

 

字符串

同步 (高级)

设置同步处理是否应当严格使用,还是允许 Camel 使用异步处理(如果受支持)。

false

布尔值

backoffErrorThreshold (scheduler)

后续错误轮询(因某些错误导致的失败)的数量,在 backoffMultipler 应该启动前发生。

 

int

backoffIdleThreshold (scheduler)

后续闲置轮询的数量,在 backoffMultipler 应该启动之前发生。

 

int

backoffMultiplier (scheduler)

如果行中有多个后续闲置/errors,让调度的轮询消费者重新关闭。然后,倍数是下一次实际尝试发生前跳过的轮询数量。当使用这个选项时,还必须配置 backoffIdleThreshold 和/or backoffErrorThreshold。

 

int

延迟 (scheduler)

下次轮询前的毫秒。您还可以使用单位(60 秒)、5m30s (5 分钟和 30 秒)和 1h (1 小时)指定时间值。

500

long

greedy (scheduler)

如果启用了 greedy,则 ScheduledPollConsumer 将立即再次运行,如果上一运行轮询了 1 或更多消息。

false

布尔值

initialDelay (scheduler)

第一次轮询启动前的毫秒。您还可以使用单位(60 秒)、5m30s (5 分钟和 30 秒)和 1h (1 小时)指定时间值。

1000

long

runLoggingLevel (scheduler)

消费者日志轮询轮询时启动/完成日志行。此选项允许您为其配置日志级别。

TRACE

LoggingLevel

scheduledExecutorService (scheduler)

允许配置用于使用者的自定义/共享线程池。默认情况下,每个使用者都有自己的单个线程池。

 

ScheduledExecutor 服务

调度程序 (scheduler)

使用来自 camel-spring 或 camel-quartz2 组件的 cron 调度程序

none

ScheduledPollConsumer Scheduler

schedulerProperties (scheduler)

在使用自定义调度程序或任何基于 Spring 的调度程序时配置额外属性。

 

map

startScheduler (scheduler)

调度程序是否应自动启动。

true

布尔值

timeUnit (scheduler)

初始延迟和延迟选项的时间单位。

毫秒

TimeUnit

useFixedDelay (scheduler)

控制是否使用固定延迟或固定率。详情请参阅 JDK 中的 ScheduledExecutorService。

true

布尔值