1. 项目背景 1.1. 项目背景 数据接口 API：应用程序接口（Application Program Interface）的简称，是实现计算机软件之间数据通信的工具。同时API也是一种中间件，为各个平台提供数据共享。在大数据与物 ...

参考的这一篇文章>Webservice接口数据抽取_kettel<一> 但是这篇文章总是在webservice的那一步出错，报异常java.lang.IllegalArgumentException: Entity may not be null 使用的接口为天气预报 Web ...

如何接入API： 通过这个方法接入后，通过接入url地址获得自己想要的数据， 上面是历史查询的url接口，根据请求参数说明，必填key lottery_id参数设置号，获得的list； res数组是 res下的lotteryResList数组如下是获得 ...

场景： 　　api接口开发时，经常使用一些工具来帮助设计开发。Yapi主要是在设计阶段进行api接口设计，统一前后端参数请求和返回体；swagger主要在开发阶段，用来显示实际上后端开发进度和接口情况；postman则是用来测试接口。我来记录一下postman的使用。 postman测试api ...

SQLite作为一种数据库可以配置为Kettle的数据输入和输出，这个例子是从Excel中抽取数据然后写入到SQLite中 配置测试并成功后如下 下面是配置步骤： Excel输入配置 sqlite配置如下 选择表输入控件，建立数据 ...

最近参与了一个信托行业的BI项目，由于信托业务系统设计的问题，很多都是用户手工录入的数据，也有一些是需要分析的但是用户没有录入的数据，针对这样的数据质量，我们就要在ETL抽取的过程中来对数据流进行校验，今天我们就说一下如何利用ETL开源工具kettle来完成对数据的基础性校验 1：非空校 ...

2016年8月17日 一、目的 通过触发器实现数据同步二、思路 1.在数据库需要同步的源表中建立一个insert触发器，当有新数据插入时，会自动将新插入数据的主键记录到临时表temp中。（当然也可以记录多个字段） 2.比较临时表temp和源表中的数据，匹配两个表中的主键值是否一致 ...

最近在做新项目，感觉写完一个接口 还要去再写一遍api文档 挺浪费时间的，所以借用ShowDoc的api开放功能 自动生成api文档。 首先 去 https://www.showdoc.cc/ 注册一个账户，新建一个项目， 建立新项目后，选择该项目，打开，进入项目界面 ...