Apache NiFi常用处理器及处理器属性介绍

本文主要分享Apache NiFi处理器的配置属性说明：

Apache配置和启动完成后，拖动处理器图标放置到工作区，就可用进行下一步配置。双击处理器或右键选择Configure可进入配置界面。

如下图的ExecuteSQL 1.28.1处理器设置界面

Name：给处理器取名字

Enabled：标记处理器是否可用

Id：处理器的唯一标识符，系统自动生成

Type：处理器类型+版本号

Bundle：处理器的类名和NAR包（它是一种 NiFi 插件或扩展的打包格式。NiFi 的功能可以通过安装和加载 NAR 包来进行扩展。）

Penalty Duration：在正常处理数据（一个FlowFile）的过程中，可能会发生一个事件，表明此时无法处理数据，但数据可能在以后的某个时候可以处理。当发生这种情况时，处理器可以选择对FlowFile进行处罚。这将阻止FlowFile在一段时间内被处理。例如，如果处理器要将数据推送到远程服务，但远程服务已经有一个与处理器指定的文件名相同的文件，则处理器可能会对FlowFile进行处罚。'Penalty Duration’允许DFM指定FlowFile应被处罚的时间长度。默认值为30秒。

Yield Duration：处理器可能会确定存在某种情况，使得处理器无论处理哪些数据都无法取得任何进展。例如，如果处理器要将数据推送到远程服务而该服务未响应，处理器将无法取得任何进展。因此，处理器应该“yield”，这将阻止处理器在一段时间内被调度运行。该时间段由设置“Yield Duration”来指定。默认值为1秒。

Bulletin level：公告级别。每当处理器写入其日志时，处理器也会生成一个公告。此设置指示在用户界面中应显示的最低级别的公告。默认情况下，公告级别设置为WARN，这意味着它将显示所有警告和错误级别的公告。设置此选项后可以很方便的看到错误日志信息而不是通过查找日志文件。

以下是Apache NiFi的配置界面的Scheduling(任务调度)配置界面

Timer driven：默认模式。处理器将定期运行。运行处理器的时间间隔由Run Schedule选项定义。

Event driven：选择此模式时,将由一个事件触发处理器运行,当FlowFiles进入连接此处理器的Connections时,将产生这个事件。此模式目前被认为是实验性的,并非所有处理器都支持。选择此模式时,Run Schedule选项不可配置。此外,只有此模式下Concurrent Tasks选项可以设置为0。这种情况,线程数仅受管理员配置的事件驱动线程池的大小限制。

CRON驱动：当使用CRON驱动的调度模式时,处理器将定期运行,类似于定时器驱动的调度模式。类似于Linux系统中的cron。

Concurrent Tasks并发任务

控制处理器将使用的线程数。它控制此处理器应同时处理多少个FlowFiles。增加此值通常会使处理器在相同的时间内处理更多数据。但是,它是通过使用其他处理器无法使用的系统资源来实现此目的。这基本上提供了处理器的相对权重 - 应该将多少系统资源分配给此处理器而不是其他处理器。该字段适用于大多数处理器。但是,某些类型的处理器只能使用单个任务进行调度。

Run Schedule运行计划

"Run Schedule"指示处理器运行的频率。此字段的有效值取决于所选的调度策略。如果使用事件驱动的调度策略,则此字段不可用。使用定时器驱动的调度策略时,该值是由数字后跟时间单位指定的持续时间。例如,1 second或5 mins。默认值0 sec表示处理器应尽可能频繁地运行,只要它有要处理的数据即可。使用CRON驱动的调度策略时，此值设置为cron表达式。

（Execution）执行

执行设置用于确定处理器将被调度执行的节点。选择"All Nodes"将导致在集群中的每个节点上调度此处理器。选择"Primary Node"将导致此处理器仅在主节点上进行调度。已配置"Primary Node"执行的处理器由处理器图标旁边的"P"标识

Database Connection Pooling Service：设定该控制器使用哪个配置好的数据库连接池，需点击第三列的→箭头进行连接池配置界面。

SQL select query：设定该控制器需要获取数据的SQL查询命令