【NIFI】 Apache NiFI 与 SQL 操作


  本里需要基础知识:【NIFI】 Apache NiFI 安装及简单的使用

查询SQL

  1、拖入一个 Processor:ExecuteSQLRecord(执行sql记录)

  2、配置,SETTINGS的Automatically Terminate Relationships ,都选上

  3、配置,PROPERTIES

    a、配置数据库连接服务(创建数据库连接服务 -> 添加默认的DBCPConnectionPool -> 设置连接服务 -> 配置数据库连接信息 -> 激活连接服务)
         

         

         

    b、设置SQL select query,语句:Select id,name From user

    c、设置Record Writer,记录服务(创建记录服务 -> 添加JsonRecordSetWriter -> 编辑JsonRecordSetWriter -> 在JsonRecordSetWriter添加AvroSchemaRegistry -> 编辑AvroSchemaRegistry -> AvroSchemaRegistry添加内容(内容是Avro格式)--> 激活AvroSchemaRegistry -> 激活JsonRecordSetWriter )

         

       编辑JsonRecordSetWriter

         

      AvroSchemaRegistry添加内容

         

  4、拖入一个 Processor:PutFile(输出)

        

  5、将ExecuteSQLRecord与PutFIle关联起来,从ExecuteSQLRecord中心点击,拖拉到PutFIle上

  6、启用2个Processor,可以看到输出文件夹中新生成了文件,文件内容即数据库中查出来的数据,是json形式的,如下:

    

    

插入SQL

  1、拖入一个 Processor:GenerateFlowFile(生成sql语句)

    

  2、编辑GenerateFlowFile,写入内容

       

  3、拖入一个 Processor:PutSQL(执行sql语句)

    

  4、配置:PutSQL,数据库连接使用的是上例中的连接池

       

  5、将GenerateFlowFile与PutSQL关联起来,从GenerateFlowFile中心点击,拖拉到PutSQL上

  6、启用2个Processor,在数据库中查看,数据库中已经有了插入的数据

    


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM