1. 項目背景 1.1. 項目背景 數據接口 API：應用程序接口（Application Program Interface）的簡稱，是實現計算機軟件之間數據通信的工具。同時API也是一種中間件，為各個平台提供數據共享。在大數據與物 ...

參考的這一篇文章>Webservice接口數據抽取_kettel<一> 但是這篇文章總是在webservice的那一步出錯，報異常java.lang.IllegalArgumentException: Entity may not be null 使用的接口為天氣預報 Web ...

如何接入API： 通過這個方法接入后，通過接入url地址獲得自己想要的數據， 上面是歷史查詢的url接口，根據請求參數說明，必填key lottery_id參數設置號，獲得的list； res數組是 res下的lotteryResList數組如下是獲得 ...

場景： 　　api接口開發時，經常使用一些工具來幫助設計開發。Yapi主要是在設計階段進行api接口設計，統一前后端參數請求和返回體；swagger主要在開發階段，用來顯示實際上后端開發進度和接口情況；postman則是用來測試接口。我來記錄一下postman的使用。 postman測試api ...

SQLite作為一種數據庫可以配置為Kettle的數據輸入和輸出，這個例子是從Excel中抽取數據然后寫入到SQLite中 配置測試並成功后如下 下面是配置步驟： Excel輸入配置 sqlite配置如下 選擇表輸入控件，建立數據 ...

最近參與了一個信托行業的BI項目，由於信托業務系統設計的問題，很多都是用戶手工錄入的數據，也有一些是需要分析的但是用戶沒有錄入的數據，針對這樣的數據質量，我們就要在ETL抽取的過程中來對數據流進行校驗，今天我們就說一下如何利用ETL開源工具kettle來完成對數據的基礎性校驗 1：非空校 ...

2016年8月17日 一、目的 通過觸發器實現數據同步二、思路 1.在數據庫需要同步的源表中建立一個insert觸發器，當有新數據插入時，會自動將新插入數據的主鍵記錄到臨時表temp中。（當然也可以記錄多個字段） 2.比較臨時表temp和源表中的數據，匹配兩個表中的主鍵值是否一致 ...

最近在做新項目，感覺寫完一個接口 還要去再寫一遍api文檔 挺浪費時間的，所以借用ShowDoc的api開放功能 自動生成api文檔。 首先 去 https://www.showdoc.cc/ 注冊一個賬戶，新建一個項目， 建立新項目后，選擇該項目，打開，進入項目界面 ...