博客
关于我
NIFI大数据进阶_内嵌ZK模式集群2_实际操作搭建NIFI内嵌模式集群---大数据之Nifi工作笔记0016
阅读量:793 次
发布时间:2023-02-16

本文共 1930 字,大约阅读时间需要 6 分钟。

搭建Nifi集群:从解压到运行的完整步骤

在实际操作中,搭建Nifi集群需要对配置文件进行详细设置,以下将详细介绍从解压到运行的完整流程,帮助您顺利完成Nifi集群的配置。

1. 解压Nifi安装包

首先,将Nifi安装包解压到指定目录,例如:

# 解压到/export/soft目录tar -xzf nifi-1.9.2-18001.tar.gz /export/soft/nifi-1.9.2-18001

解压完成后,进入解压目录,准备进行Nifi集群配置。

2. 配置Zookeeper

进入Nifi的conf目录,找到并修改zookeeper.properties文件:

cd /export/soft/nifi-1.9.2-18001/confvim zookeeper.properties

zookeeper.properties中:

  • 配置clientPort:设置Zookeeper客户端连接端口,例如:

    clientPort=12181
  • 配置集群端口:如果是多台服务器,需要配置以下端口:

    server.1=12888server.2=13888server.3=12182

    注意:上述配置根据实际服务器数量和IP地址进行调整。

  • 3. 修改Nifi配置文件

    进入Nifi的conf目录,修改nifi.properties文件:

    cd /export/soft/nifi-1.9.2-18001/confvim nifi.properties

    nifi.properties中:

  • 启用集群模式:将nifi.state.management.embedded.zookeeper.start设置为true

    nifi.state.management.embedded.zookeeper.start=true
  • 配置集群信息

    • 节点协议端口:将nifi.cluster.load.balance.port设置为集群内通信端口,例如:

      nifi.cluster.load.balance.port=16342
    • Zookeeper连接字符串:设置Zookeeper的连接地址,例如:

      nifi.zookeeper.connect.string=192.168.52.150:12181,192.168.52.150:12182,192.168.52.150:12183
  • 其他配置

    • 等待时间:将nifi.cluster.flow.election.max.wait.time设置为1,允许集群快速选举。

    • 候选节点数量:将nifi.cluster.flow.election.max.candidates设置为1,确保至少有一个节点可用。

  • 4. 配置状态管理文件

    进入conf/state-management.xml文件,修改cluster配置部分:

    cd /export/soft/nifi-1.9.2-18001/conf/state-management.xmlvim state-management.xml

    <cluster>标签下,配置ConnectString为Zookeeper的连接地址,例如:

    192.168.52.150:12181,192.168.52.150:12182,192.168.52.150:12183

    5. 启动Nifi节点

    根据需要启动多个Nifi节点,例如:

    # 启动第一个Nifi节点(端口18001)./nifi-1.9.2-18001/bin/nifi-app.sh start# 启动第二个Nifi节点(端口18002)./nifi-1.9.2-18001/bin/nifi-app.sh start# 启动第三个Nifi节点(端口18003)./nifi-1.9.2-18001/bin/nifi-app.sh start

    启动完成后,检查Nifi日志文件:

    tail -f ./nifi-1.9.2-18001/logs/nifi-app.log

    6. 验证集群状态

    在NifiWeb界面中,点击“集群”选项卡,查看当前有多少节点连接。预期应显示3个节点已加入集群。

    7. 注意事项

    • 端口配置:确保所有节点的协议端口(如28001)和负载均衡端口(如16342)一致。

    • Zookeeper配置:检查Zookeeper的配置是否正确,避免配置错误导致集群无法正常运行。

    • 日志监控:定期查看Nifi日志,及时发现并解决问题。

    • 高可用性:如果需要更高的可用性,可以考虑部署Nifi的高可用性集群配置。

    通过以上步骤,您可以成功搭建一个Nifi集群,实现数据流的高效处理和管理。

    转载地址:http://mbjfk.baihongyu.com/

    你可能感兴趣的文章
    NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_更新时如果目标表中不存在记录就改为插入数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0059
    查看>>
    NIFI1.21.0_NIFI和hadoop蹦了_200G集群磁盘又满了_Jps看不到进程了_Unable to write in /tmp. Aborting----大数据之Nifi工作笔记0052
    查看>>
    NIFI1.21.0_Postgresql和Mysql同时指定库_指定多表_全量同步到Mysql数据库以及Hbase数据库中---大数据之Nifi工作笔记0060
    查看>>
    NIFI1.21.0最新版本安装_连接phoenix_单机版_Https登录_什么都没改换了最新版本的NIFI可以连接了_气人_实现插入数据到Hbase_实际操作---大数据之Nifi工作笔记0050
    查看>>
    NIFI1.21.0最新版本安装_配置使用HTTP登录_默认是用HTTPS登录的_Https登录需要输入用户名密码_HTTP不需要---大数据之Nifi工作笔记0051
    查看>>
    NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增删改数据分发及删除数据实时同步_通过分页解决变更记录过大问题_02----大数据之Nifi工作笔记0054
    查看>>
    NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增加修改实时同步_使用JsonPath及自定义Python脚本_03---大数据之Nifi工作笔记0055
    查看>>
    NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_插入修改删除增量数据实时同步_通过分页解决变更记录过大问题_01----大数据之Nifi工作笔记0053
    查看>>
    NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表或全表增量同步_实现指定整库同步_或指定数据表同步配置_04---大数据之Nifi工作笔记0056
    查看>>
    NIFI1.23.2_最新版_性能优化通用_技巧积累_使用NIFI表达式过滤表_随时更新---大数据之Nifi工作笔记0063
    查看>>
    NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_根据binlog实现update数据实时同步_实际操作05---大数据之Nifi工作笔记0044
    查看>>
    NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_根据binlog实现数据实时delete同步_实际操作04---大数据之Nifi工作笔记0043
    查看>>
    NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置binlog_使用处理器抓取binlog数据_实际操作01---大数据之Nifi工作笔记0040
    查看>>
    NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置数据路由_实现数据插入数据到目标数据库_实际操作03---大数据之Nifi工作笔记0042
    查看>>
    NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置数据路由_生成插入Sql语句_实际操作02---大数据之Nifi工作笔记0041
    查看>>
    NIFI从MySql中离线读取数据再导入到MySql中_03_来吧用NIFI实现_数据分页获取功能---大数据之Nifi工作笔记0038
    查看>>
    NIFI从MySql中离线读取数据再导入到MySql中_不带分页处理_01_QueryDatabaseTable获取数据_原0036---大数据之Nifi工作笔记0064
    查看>>
    NIFI从MySql中离线读取数据再导入到MySql中_无分页功能_02_转换数据_分割数据_提取JSON数据_替换拼接SQL_添加分页---大数据之Nifi工作笔记0037
    查看>>
    NIFI从Oracle11G同步数据到Mysql_亲测可用_解决数据重复_数据跟源表不一致的问题---大数据之Nifi工作笔记0065
    查看>>
    NIFI从PostGresql中离线读取数据再导入到MySql中_带有数据分页获取功能_不带分页不能用_NIFI资料太少了---大数据之Nifi工作笔记0039
    查看>>