本文共 1930 字,大约阅读时间需要 6 分钟。
在实际操作中,搭建Nifi集群需要对配置文件进行详细设置,以下将详细介绍从解压到运行的完整流程,帮助您顺利完成Nifi集群的配置。
首先,将Nifi安装包解压到指定目录,例如:
# 解压到/export/soft目录tar -xzf nifi-1.9.2-18001.tar.gz /export/soft/nifi-1.9.2-18001
解压完成后,进入解压目录,准备进行Nifi集群配置。
进入Nifi的conf目录,找到并修改zookeeper.properties文件:
cd /export/soft/nifi-1.9.2-18001/confvim zookeeper.properties
在zookeeper.properties中:
配置clientPort:设置Zookeeper客户端连接端口,例如:
clientPort=12181
配置集群端口:如果是多台服务器,需要配置以下端口:
server.1=12888server.2=13888server.3=12182
注意:上述配置根据实际服务器数量和IP地址进行调整。
进入Nifi的conf目录,修改nifi.properties文件:
cd /export/soft/nifi-1.9.2-18001/confvim nifi.properties
在nifi.properties中:
启用集群模式:将nifi.state.management.embedded.zookeeper.start设置为true:
nifi.state.management.embedded.zookeeper.start=true
配置集群信息:
节点协议端口:将nifi.cluster.load.balance.port设置为集群内通信端口,例如:
nifi.cluster.load.balance.port=16342
Zookeeper连接字符串:设置Zookeeper的连接地址,例如:
nifi.zookeeper.connect.string=192.168.52.150:12181,192.168.52.150:12182,192.168.52.150:12183
其他配置:
等待时间:将nifi.cluster.flow.election.max.wait.time设置为1,允许集群快速选举。
候选节点数量:将nifi.cluster.flow.election.max.candidates设置为1,确保至少有一个节点可用。
进入conf/state-management.xml文件,修改cluster配置部分:
cd /export/soft/nifi-1.9.2-18001/conf/state-management.xmlvim state-management.xml
在<cluster>标签下,配置ConnectString为Zookeeper的连接地址,例如:
192.168.52.150:12181,192.168.52.150:12182,192.168.52.150:12183
根据需要启动多个Nifi节点,例如:
# 启动第一个Nifi节点(端口18001)./nifi-1.9.2-18001/bin/nifi-app.sh start# 启动第二个Nifi节点(端口18002)./nifi-1.9.2-18001/bin/nifi-app.sh start# 启动第三个Nifi节点(端口18003)./nifi-1.9.2-18001/bin/nifi-app.sh start
启动完成后,检查Nifi日志文件:
tail -f ./nifi-1.9.2-18001/logs/nifi-app.log
在NifiWeb界面中,点击“集群”选项卡,查看当前有多少节点连接。预期应显示3个节点已加入集群。
端口配置:确保所有节点的协议端口(如28001)和负载均衡端口(如16342)一致。
Zookeeper配置:检查Zookeeper的配置是否正确,避免配置错误导致集群无法正常运行。
日志监控:定期查看Nifi日志,及时发现并解决问题。
高可用性:如果需要更高的可用性,可以考虑部署Nifi的高可用性集群配置。
通过以上步骤,您可以成功搭建一个Nifi集群,实现数据流的高效处理和管理。
转载地址:http://mbjfk.baihongyu.com/