目前，公司里數據質量檢測是通過配置規則報警來實現的，對於有些表需要用shell腳本來封裝hivesql來進行檢測，在時效性和准確上不能很好的滿足，故嘗試使用Deequ來做質量檢測工具。 一、官網示例 二、生產中配置的一些規則 ...

一。 Sonar簡介 sonarqube系統是一個代碼質量檢測工具 由以下四個組件組成（https://docs.sonarqube.org/display/SONAR/Architecture+and+Integration） 1》一個sonarqube服務器 包含三個子進程（web ...

經歷了一段時間的加班趕項目進度之后，今天終於閑下來了。忽然不知道干啥。於是，想着做點什么吧。突然想起了碼雲上面有個代碼分析的功能，用的是 Sonar 於是想來玩玩這個。 一、下載Son ...

一、遮擋檢測一般是攝像頭被異物遮擋，呈現出整個場景或某一部分場景看不到的情況。被遮擋住的部分一般都呈偏黑色。 二、原理 把彩色圖像二值化，偏黑的部分為前景，其他部分為背景。 對前景進行連通區域檢測，求得最大連通區域面積。 該面積整幅圖像面積的比較即為遮擋率 ...

一、模糊一般是攝像頭焦距沒調好造成的畫面模糊。 二、原理 把圖像分割成N*M的區域。 求每個區域的對比度：(max-min)/max. 求總的平均對比度即為模糊率。 三、 ...

1：Jump statements should not occur in "finally" blocks： 不允許在finally里面做return, break, throw等操作，當正常流程 ...

1、所需知識補充 1.下載中間件常用函數 process_request(self, request, spider): 當每個request通過下載中間件是，該方法被調用 ...