筆記 - 碼上快樂

筆記

本文轉載自查看原文 2018-11-12 10:21 1002 工作隨筆

1、MaxCompute SQL 中，使用 not in 后面接子查詢，子查詢返回的結果是上萬級別的數據量，但阿里雲中 in 和 not in 后面的子查詢返回數量是 1000，那么在 not in 必須使用的情況下，該如何實現此查詢？

1、

--正確寫法                      
SELECT  *
FROM    dbo.Table_A AS a
WHERE   a.ID NOT IN ( SELECT    b.ID
                      FROM      dbo.Table_B AS b
                      WHERE     b.ID IS NOT NULL ) --排除NULL值參與運算符比較
                      
--建議修改為關聯查詢方法                                            
--正確寫法                   
SELECT  *
FROM    dbo.Table_A AS a
        LEFT OUTER JOIN dbo.Table_B AS b ON a.ID = b.ID
WHERE   b.ID IS NULL

2、select 中有case when的

SELECT a.id
    , a.xx
    , NULL
    , CASE 
        WHEN a.id IN (SELECT b.id
            FROM **** b) THEN 'A'
        ELSE 'B'
    END
FROM **** a
WHERE get_idcard_sex(a.id) = 'M'

改為

SELECT a.xx
    , a.xx
    , NULL
    , '7'
    , CASE 
        WHEN b.xx IS NULL THEN 'A'
        ELSE 'B'
    END
FROM **** a
LEFT JOIN **** b
ON a.id = b.id
WHERE get_idcard_sex(a.id) = 'M'

2、join or 代替方法

1、group by 方法

2、子查詢方法

SELECT *
FROM (
    SELECT *
    FROM **** a
    LEFT OUTER JOIN **** b
    ON a.id1 = b.id
    WHERE b.id IS NULL
) c
LEFT OUTER JOIN **** d
ON c.id2 = d.id
WHERE d.id IS NULL

3、去重

SELECT *
FROM (
    SELECT *
        , ROW_NUMBER() OVER (PARTITION BY t.去重字段 ORDER BY t.去重字段 DESC) AS rn
    FROM xxx t
) p
WHERE p.rn = 1;

4、怎么查看數據庫表中某個字段的值有哪些重復記錄

SELECT *
FROM TableA
WHERE b IN (SELECT b
	FROM TableA
	GROUP BY b
	HAVING COUNT(b) > 1)

5、取表中某個日期查每年的數據量

SELECT SUBSTR(s.日期, 1, 4) AS ob
	, COUNT(DISTINCT s.主鍵)
FROM 表 s
WHERE SUBSTR(s.日期, 1, 4) >= '1800'
	AND SUBSTR(s.日期, 1, 4) <= '2019'
GROUP BY SUBSTR(s.日期, 1, 4)
ORDER BY ob

6、行轉列，列轉行

表1
id	name
1	a
2	b
3	c
4	d

表2
name	address
a	add1
a	add2
b	add3
c	add4
d	add5

表3
id	name	address
1	a	add1,add2
2	b	add3
3	c	add4
4	d	add5

表4
id	name	address
1	a	add1
1	a	add2
2	b	add3
3	c	add4
4	d	add5

1、表1和表2的數據轉為表3

SELECT 表1.id
	, 表1.name
	, wm_concat(',', 表2.address) AS address
FROM 表1
JOIN 表2
ON 表1.name = 表2.name
GROUP BY 表1.id, 
	表1.name;

2、表3的數據轉為表4

SELECT id
	, name
	, add_new
FROM 表3
	LATERAL VIEW EXPLODE(SPLIT(表3.address, ',')) adtable AS add_new;

7、查詢某字段值重復的數據

SELECT
    result.accountid
FROM
    (
        SELECT
            accountid,
            count(*) AS count
        FROM
            vtiger_assetaccount
        GROUP BY
            accountid
        HAVING
            count > 1
    ) AS result
LEFT JOIN vtiger_assetaccount ON vtiger_assetaccount.accountid = result.accountid

　　注：如果查詢全部字段值是否重復可以先進行union操作在做重復查詢

8、正則表達式-校驗數字，字符，特殊需求等

本文鏈接：https://blog.csdn.net/NextAction/article/details/80520606
一、校驗數字的表達式
1 數字：^[0-9]*$
2 n位的數字：^\d{n}$
3 至少n位的數字：^\d{n,}$
4 m-n位的數字：^\d{m,n}$
5 零和非零開頭的數字：^(0|[1-9][0-9]*)$
6 非零開頭的最多帶兩位小數的數字：^([1-9][0-9]*)+(.[0-9]{1,2})?$
7 帶1-2位小數的正數或負數：^(\-)?\d+(\.\d{1,2})?$
8 正數、負數、和小數：^(\-|\+)?\d+(\.\d+)?$
9 有兩位小數的正實數：^[0-9]+(.[0-9]{2})?$
10 有1~3位小數的正實數：^[0-9]+(.[0-9]{1,3})?$
11 非零的正整數：^[1-9]\d*$ 或 ^([1-9][0-9]*){1,3}$ 或 ^\+?[1-9][0-9]*$
12 非零的負整數：^\-[1-9][]0-9"*$ 或 ^-[1-9]\d*$
13 非負整數：^\d+$ 或 ^[1-9]\d*|0$
14 非正整數：^-[1-9]\d*|0$ 或 ^((-\d+)|(0+))$
15 非負浮點數：^\d+(\.\d+)?$ 或 ^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$
16 非正浮點數：^((-\d+(\.\d+)?)|(0+(\.0+)?))$ 或 ^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$
17 正浮點數：^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ 或 ^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$
18 負浮點數：^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ 或 ^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$
19 浮點數：^(-?\d+)(\.\d+)?$ 或 ^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$

二、校驗字符的表達式
1 漢字：^[\u4e00-\u9fa5]{0,}$
2 英文和數字：^[A-Za-z0-9]+$ 或 ^[A-Za-z0-9]{4,40}$
3 長度為3-20的所有字符：^.{3,20}$
4 由26個英文字母組成的字符串：^[A-Za-z]+$
5 由26個大寫英文字母組成的字符串：^[A-Z]+$
6 由26個小寫英文字母組成的字符串：^[a-z]+$
7 由數字和26個英文字母組成的字符串：^[A-Za-z0-9]+$
8 由數字、26個英文字母或者下划線組成的字符串：^\w+$ 或 ^\w{3,20}$
9 中文、英文、數字包括下划線：^[\u4E00-\u9FA5A-Za-z0-9_]+$
10 中文、英文、數字但不包括下划線等符號：^[\u4E00-\u9FA5A-Za-z0-9]+$ 或 ^[\u4E00-\u9FA5A-Za-z0-9]{2,20}$
11 可以輸入含有^%&',;=?$\"等字符：[^%&',;=?$\x22]+
12 禁止輸入含有~的字符：[^~\x22]+

三、特殊需求表達式
1 Email地址：^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$
2 域名：[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?
3 InternetURL：[a-zA-z]+://[^\s]* 或 ^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$
4 手機號碼：^(13[0-9]|14[0-9]|15[0-9]|166|17[0-9]|18[0-9]|19[8|9])\d{8}$
5 電話號碼("XXX-XXXXXXX"、"XXXX-XXXXXXXX"、"XXX-XXXXXXX"、"XXX-XXXXXXXX"、"XXXXXXX"和"XXXXXXXX)：^(\(\d{3,4}-)|\d{3.4}-)?\d{7,8}$
6 國內電話號碼(0511-4405222、021-87888822)：\d{3}-\d{8}|\d{4}-\d{7}
7 18位身份證號碼(數字、字母x結尾)：^((\d{18})|([0-9x]{18})|([0-9X]{18}))$
8 帳號是否合法(字母開頭，允許5-16字節，允許字母數字下划線)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$
9 密碼(以字母開頭，長度在6~18之間，只能包含字母、數字和下划線)：^[a-zA-Z]\w{5,17}$
10 強密碼(必須包含大小寫字母和數字的組合，不能使用特殊字符，長度在8-10之間)：^(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$
11 日期格式：^\d{4}-\d{1,2}-\d{1,2}
12 一年的12個月(01～09和1～12)：^(0?[1-9]|1[0-2])$
13 一個月的31天(01～09和1～31)：^((0?[1-9])|((1|2)[0-9])|30|31)$
14 錢的輸入格式：
15    1.有四種錢的表示形式我們可以接受:"10000.00" 和 "10,000.00", 和沒有 "分" 的 "10000" 和 "10,000"：^[1-9][0-9]*$
16    2.這表示任意一個不以0開頭的數字,但是,這也意味着一個字符"0"不通過,所以我們采用下面的形式：^(0|[1-9][0-9]*)$
17    3.一個0或者一個不以0開頭的數字.我們還可以允許開頭有一個負號：^(0|-?[1-9][0-9]*)$
18    4.這表示一個0或者一個可能為負的開頭不為0的數字.讓用戶以0開頭好了.把負號的也去掉,因為錢總不能是負的吧.下面我們要加的是說明可能的小數部分：^[0-9]+(.[0-9]+)?$
19    5.必須說明的是,小數點后面至少應該有1位數,所以"10."是不通過的,但是 "10" 和 "10.2" 是通過的：^[0-9]+(.[0-9]{2})?$
20    6.這樣我們規定小數點后面必須有兩位,如果你認為太苛刻了,可以這樣：^[0-9]+(.[0-9]{1,2})?$
21    7.這樣就允許用戶只寫一位小數.下面我們該考慮數字中的逗號了,我們可以這樣：^[0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$
22    8.1到3個數字,后面跟着任意個逗號+3個數字,逗號成為可選,而不是必須：^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$
23    備注：這就是最終結果了,別忘了"+"可以用"*"替代如果你覺得空字符串也可以接受的話(奇怪,為什么?)最后,別忘了在用函數時去掉去掉那個反斜杠,一般的錯誤都在這里
24 xml文件：^([a-zA-Z]+-?)+[a-zA-Z0-9]+\\.[x|X][m|M][l|L]$
25 中文字符的正則表達式：[\u4e00-\u9fa5]
26 雙字節字符：[^\x00-\xff]    (包括漢字在內，可以用來計算字符串的長度(一個雙字節字符長度計2，ASCII字符計1))
27 空白行的正則表達式：\n\s*\r    (可以用來刪除空白行)
28 HTML標記的正則表達式：<(\S*?)[^>]*>.*?</\1>|<.*? />    (網上流傳的版本太糟糕，上面這個也僅僅能部分，對於復雜的嵌套標記依舊無能為力)
29 首尾空白字符的正則表達式：^\s*|\s*$或(^\s*)|(\s*$)    (可以用來刪除行首行尾的空白字符(包括空格、制表符、換頁符等等)，非常有用的表達式)
30 騰訊QQ號：[1-9][0-9]{4,}    (騰訊QQ號從10000開始)
31 中國郵政編碼：[1-9]\d{5}(?!\d)    (中國郵政編碼為6位數字)
32 IP地址：\d+\.\d+\.\d+\.\d+    (提取IP地址時有用)
33 IP地址：((?:(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d)\\.){3}(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d))

使用函數：REGEXP

9、Mysql事件

-- 函數
delimiter // -- 分隔符
CREATE PROCEDURE get_date ()
BEGIN
	INSERT INTO getdate 
SELECT
		now()
	FROM
		getdate ;
	END//

delimiter ;

-- 事件
delimiter //
CREATE EVENT `getDate` 
ON SCHEDULE EVERY 1 MINUTE STARTS "2019-10-22 14:46:00"  -- 調度時間 MINUTE 按分鍾運行
ON COMPLETION PRESERVE ENABLE DO
BEGIN
		INSERT INTO getdate 
SELECT
		UUID(),NOW() ;
DELETE FROM getdate WHERE NOW()
END//
delimiter ;

-- 事件狀態
SHOW VARIABLES LIKE 'event_scheduler' ;

SELECT	* FROM	getdate;
-- 打開事件
SET GLOBAL event_scheduler = 0 ;
-- 關閉事件
SET GLOBAL event_scheduler = 1 ;

10、Mysql查詢庫、表存儲量

1、要查詢表所占的容量，就是把表的數據和索引加起來就可以了。

SELECT SUM(DATA_LENGTH) + SUM(INDEX_LENGTH) FROM information_schema.tables WHERE table_schema='table_name';

2、查詢所有的數據大小

SELECT CONCAT(ROUND(SUM(DATA_LENGTH/1024/1024), 2), 'M') FROM
information_schema.tables;

3、查詢某個表的數據

SELECT CONCAT(ROUND(SUM(DATA_LENGTH/1024/1024),2),'M')
FROM information_schema.tables
WHERE table_schema='database_name' AND table_name='table_name';

----- 注：獲取結果是字節單位，轉換為M單位。

mysql中information_schema數據庫，存儲數據庫元數據，包括數據庫信息、數據庫中表的信息等。

schemata表：這個表里面主要是存儲在mysql中的所有的數據庫的信息
tables表：這個表里存儲了所有數據庫中的表的信息，包括每個表有多少個列等信息。
columns表：這個表存儲了所有表中的表字段信息。
statistics表：存儲了表中索引的信息。
user_privileges表：存儲了用戶的權限信息。
schema_privileges表：存儲了數據庫權限。
table_privileges表：存儲了表的權限。
column_privileges表：存儲了列的權限信息。
character_sets表：存儲了mysql可以用的字符集的信息。
collations表：提供各個字符集的對照信息。
collation_character_set_applicability表：相當於collations表和character_sets表的前兩個字段的一個對比，記錄了字符集之間的對照信息。
table_constraints表：這個表主要是用於記錄表的描述存在約束的表和約束類型。
key_column_usage表：記錄具有約束的列。
routines表：記錄了存儲過程和函數的信息，不包含自定義的過程或函數信息。
views表：記錄了視圖信息，需要有show view權限。
triggers表：存儲了觸發器的信息，需要有super權限。

1.查看所有數據庫容量大小

select
table_schema as '數據庫',
sum(table_rows) as '記錄數',
sum(truncate(data_length/1024/1024, 2)) as '數據容量(MB)',
sum(truncate(index_length/1024/1024, 2)) as '索引容量(MB)'
from information_schema.tables
group by table_schema
order by sum(data_length) desc, sum(index_length) desc;

2.查看所有數據庫各表容量大小

select
table_schema as '數據庫',
table_name as '表名',
table_rows as '記錄數',
truncate(data_length/1024/1024, 2) as '數據容量(MB)',
truncate(index_length/1024/1024, 2) as '索引容量(MB)'
from information_schema.tables
order by data_length desc, index_length desc;

3.查看指定數據庫容量大小

select
table_schema as '數據庫',
sum(table_rows) as '記錄數',
sum(truncate(data_length/1024/1024, 2)) as '數據容量(MB)',
sum(truncate(index_length/1024/1024, 2)) as '索引容量(MB)'
from information_schema.tables
where table_schema='mysql';

4.查看指定數據庫各表容量大小

select
table_schema as '數據庫',
table_name as '表名',
table_rows as '記錄數',
truncate(data_length/1024/1024, 2) as '數據容量(MB)',
truncate(index_length/1024/1024, 2) as '索引容量(MB)'
from information_schema.tables
where table_schema='mysql'
order by data_length desc, index_length desc;

10、SQL語句執行流程

from > where >group by >having >select >order by

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 《算法筆記》閱讀筆記【筆記】oracle 筆記 [筆記] 高數筆記 ceph筆記(一) eigen 筆記1 UGUI筆記 Kademlia筆記 Linux筆記 CoreDNS筆記 JCL筆記

筆記

1、MaxCompute SQL 中，使用 not in 后面接子查詢，子查詢返回的結果是上萬級別的數據量， 但阿里雲中 in 和 not in 后面的子查詢返回數量是 1000，那么在 not in 必須使用的情況下， 該如何實現此查詢？

1、