簡單定時任務解決方案:使用redis的keyspace notifications(鍵失效后通知事件) ;
(A)業務場景:
1、當一個業務觸發以后需要啟動一個定時任務,在指定時間內再去執行一個任務(如自動取消訂單,自動完成訂單等功能)
2、redis的keyspace notifications 會在key失效后發送一個事件,監聽此事件的的客戶端就可以收到通知
(B)服務准備:
1、修改reids配置文件(redis.conf)【window系統配置文件為:redis.windows.conf 】
redis默認不會開啟keyspace notifications,因為開啟后會對cpu有消耗
備注: E:keyevent事件,事件以__keyevent@<db>__為前綴進行發布;
x:過期事件,當某個鍵過期並刪除時會產生該事件;
原配置為:
notify-keyspace-events ""
更改 配置如下:
notify-keyspace-events "Ex"
保存配置后,重啟Redis服務,使配置生效
1 [root@chokingwin etc]# 2 service redis-server restart /usr/local/redis/etc/redis.conf 3 Stopping redis-server: [ OK ] 4 Starting redis-server: [ OK ]
window系統重啟redis ,先切換到redis文件目錄,然后關閉redis服務(redis-server --service-stop),再開啟(redis-server --service-start)
(C)文件代碼:
phpredis實現訂閱Keyspace notification,可實現自動取消訂單,自動完成訂單。以下為測試例子
創建4個文件,然后自行修改數據庫和redis配置參數
db.class.php
1 <?php 2 class mysql 3 { 4 private $mysqli; 5 private $result; 6 /** 7 * 數據庫連接 8 * @param $config 配置數組 9 */ 10 11 public function connect() 12 { 13 $config=array( 14 'host'=>'127.0.0.1', 15 'username'=>'root', 16 'password'=>'168168', 17 'database'=>'test', 18 'port'=>3306, 19 ); 20 21 $host = $config['host']; //主機地址 22 $username = $config['username'];//用戶名 23 $password = $config['password'];//密碼 24 $database = $config['database'];//數據庫 25 $port = $config['port']; //端口號 26 $this->mysqli = new mysqli($host, $username, $password, $database, $port); 27 28 } 29 /** 30 * 數據查詢 31 * @param $table 數據表 32 * @param null $field 字段 33 * @param null $where 條件 34 * @return mixed 查詢結果數目 35 */ 36 public function select($table, $field = null, $where = null) 37 { 38 $sql = "SELECT * FROM `{$table}`"; 39 //echo $sql;exit; 40 if (!empty($field)) { 41 $field = '`' . implode('`,`', $field) . '`'; 42 $sql = str_replace('*', $field, $sql); 43 } 44 if (!empty($where)) { 45 $sql = $sql . ' WHERE ' . $where; 46 } 47 48 49 $this->result = $this->mysqli->query($sql); 50 51 return $this->result; 52 } 53 /** 54 * @return mixed 獲取全部結果 55 */ 56 public function fetchAll() 57 { 58 return $this->result->fetch_all(MYSQLI_ASSOC); 59 } 60 /** 61 * 插入數據 62 * @param $table 數據表 63 * @param $data 數據數組 64 * @return mixed 插入ID 65 */ 66 public function insert($table, $data) 67 { 68 foreach ($data as $key => $value) { 69 $data[$key] = $this->mysqli->real_escape_string($value); 70 } 71 $keys = '`' . implode('`,`', array_keys($data)) . '`'; 72 $values = '\'' . implode("','", array_values($data)) . '\''; 73 $sql = "INSERT INTO `{$table}`( {$keys} )VALUES( {$values} )"; 74 $this->mysqli->query($sql); 75 return $this->mysqli->insert_id; 76 } 77 /** 78 * 更新數據 79 * @param $table 數據表 80 * @param $data 數據數組 81 * @param $where 過濾條件 82 * @return mixed 受影響記錄 83 */ 84 public function update($table, $data, $where) 85 { 86 foreach ($data as $key => $value) { 87 $data[$key] = $this->mysqli->real_escape_string($value); 88 } 89 $sets = array(); 90 foreach ($data as $key => $value) { 91 $kstr = '`' . $key . '`'; 92 $vstr = '\'' . $value . '\''; 93 array_push($sets, $kstr . '=' . $vstr); 94 } 95 $kav = implode(',', $sets); 96 $sql = "UPDATE `{$table}` SET {$kav} WHERE {$where}"; 97 98 $this->mysqli->query($sql); 99 return $this->mysqli->affected_rows; 100 } 101 /** 102 * 刪除數據 103 * @param $table 數據表 104 * @param $where 過濾條件 105 * @return mixed 受影響記錄 106 */ 107 public function delete($table, $where) 108 { 109 $sql = "DELETE FROM `{$table}` WHERE {$where}"; 110 $this->mysqli->query($sql); 111 return $this->mysqli->affected_rows; 112 } 113 }
index.php
1 <?php 2 3 require_once 'Redis2.class.php'; 4 5 $redis = new \Redis2('127.0.0.1','6379','','15'); 6 $order_sn = 'SN'.time().'T'.rand(10000000,99999999); 7 8 $use_mysql = 1; //是否使用數據庫,1使用,2不使用 9 if($use_mysql == 1){ 10 /* 11 * //數據表 12 * CREATE TABLE `order` ( 13 * `ordersn` varchar(255) NOT NULL DEFAULT '', 14 * `status` varchar(255) NOT NULL DEFAULT '', 15 * `createtime` varchar(255) NOT NULL DEFAULT '', 16 * `id` int(11) unsigned NOT NULL AUTO_INCREMENT, 17 * PRIMARY KEY (`id`) 18 * ) ENGINE=InnoDB AUTO_INCREMENT=27 DEFAULT CHARSET=utf8mb4; 19 */ 20 require_once 'db.class.php'; 21 $mysql = new \mysql(); 22 $mysql->connect(); 23 $data = ['ordersn'=>$order_sn,'status'=>0,'createtime'=>date('Y-m-d H:i:s',time())]; 24 $mysql->insert('order',$data); 25 } 26 27 $list = [$order_sn,$use_mysql]; 28 $key = implode(':',$list); 29 30 $redis->setex($key,3,'redis延遲任務'); //3秒后回調 31 32 33 34 $test_del = false; //測試刪除緩存后是否會有過期回調。結果:沒有回調 35 if($test_del == true){ 36 //sleep(1); 37 $redis->delete($order_sn); 38 } 39 40 echo $order_sn; 41 42 43 44 /* 45 * 測試其他key會不會有回調,結果:有回調 46 * $k = 'test'; 47 * $redis2->set($k,'100'); 48 * $redis2->expire($k,10); 49 * 50 */
psubscribe.php
1 <?php 2 ini_set('default_socket_timeout', -1); //不超時 3 require_once 'Redis2.class.php'; 4 $redis_db = '15'; 5 $redis = new \Redis2('127.0.0.1','6379','',$redis_db); 6 // 解決Redis客戶端訂閱時候超時情況 7 $redis->setOption(); 8 //當key過期的時候就看到通知,訂閱的key __keyevent@<db>__:expired 這個格式是固定的,db代表的是數據庫的編號,由於訂閱開啟之后這個庫的所有key過期時間都會被推送過來,所以最好單獨使用一個數據庫來進行隔離 9 $redis->psubscribe(array('__keyevent@'.$redis_db.'__:expired'), 'keyCallback'); 10 // 回調函數,這里寫處理邏輯 11 function keyCallback($redis, $pattern, $channel, $msg) 12 { 13 echo PHP_EOL; 14 echo "Pattern: $pattern\n"; 15 echo "Channel: $channel\n"; 16 echo "Payload: $msg\n\n"; 17 $list = explode(':',$msg); 18 19 $order_sn = isset($list[0])?$list[0]:'0'; 20 $use_mysql = isset($list[1])?$list[1]:'0'; 21 22 if($use_mysql == 1){ 23 require_once 'db.class.php'; 24 $mysql = new \mysql(); 25 $mysql->connect(); 26 $where = "ordersn = '".$order_sn."'"; 27 $mysql->select('order','',$where); 28 $finds=$mysql->fetchAll(); 29 print_r($finds); 30 if(isset($finds[0]['status']) && $finds[0]['status']==0){ 31 $data = array('status' => 3); 32 $where = " id = ".$finds[0]['id']; 33 $mysql->update('order',$data,$where); 34 } 35 } 36 37 } 38 39 //或者 40 /*$redis->psubscribe(array('__keyevent@'.$redis_db.'__:expired'), function ($redis, $pattern, $channel, $msg){ 41 echo PHP_EOL; 42 echo "Pattern: $pattern\n"; 43 echo "Channel: $channel\n"; 44 echo "Payload: $msg\n\n"; 45 //................ 46 });*/ 47
Redis2.class.php
1 <?php 2 3 class Redis2 4 { 5 private $redis; 6 7 public function __construct($host = '127.0.0.1', $port = '6379',$password = '',$db = '15') 8 { 9 $this->redis = new Redis(); 10 $this->redis->connect($host, $port); //連接Redis 11 $this->redis->auth($password); //密碼驗證 12 $this->redis->select($db); //選擇數據庫 13 } 14 15 public function setex($key, $time, $val) 16 { 17 return $this->redis->setex($key, $time, $val); 18 } 19 20 public function set($key, $val) 21 { 22 return $this->redis->set($key, $val); 23 } 24 25 public function get($key) 26 { 27 return $this->redis->get($key); 28 } 29 30 public function expire($key = null, $time = 0) 31 { 32 return $this->redis->expire($key, $time); 33 } 34 35 public function psubscribe($patterns = array(), $callback) 36 { 37 $this->redis->psubscribe($patterns, $callback); 38 } 39 40 public function setOption() 41 { 42 $this->redis->setOption(\Redis::OPT_READ_TIMEOUT, -1); 43 } 44 45 public function lRange($key,$start,$end) 46 { 47 return $this->redis->lRange($key,$start,$end); 48 } 49 50 public function lPush($key, $value1, $value2 = null, $valueN = null ){ 51 return $this->redis->lPush($key, $value1, $value2 = null, $valueN = null ); 52 } 53 54 public function delete($key1, $key2 = null, $key3 = null) 55 { 56 return $this->redis->delete($key1, $key2 = null, $key3 = null); 57 } 58 59 }
window系統測試方法:先在cmd命令界面運行psubscribe.php,然后網頁打開index.php。3秒后效果如下
使監聽后台始終運行(訂閱)
有個問題 做到這一步,利用 phpredis 擴展,成功在代碼里實現對過期 Key 的監聽,並在 psCallback()里進行回調處理。 開頭提出的兩個需求已經實現。 可是這里有個問題:redis 在執行完訂閱操作后,終端進入阻塞狀態,需要一直掛在那。且此訂閱腳本需要人為在命令行執行,不符合實際需求。
實際上,我們對過期監聽回調的需求,是希望它像守護進程一樣,在后台運行,當有過期事件的消息時,觸發回調函數。 使監聽后台始終運行 希望像守護進程一樣在后台一樣,
我是這樣實現的。
Linux中有一個nohup命令。功能就是不掛斷地運行命令。 同時nohup把腳本程序的所有輸出,都放到當前目錄的nohup.out文件中,如果文件不可寫,則放到<用戶主目錄>/nohup.out 文件中。那么有了這個命令以后,不管我們終端窗口是否關閉,都能夠讓我們的php腳本一直運行。
編寫psubscribe.php文件:
1 <?php 2 #! /usr/bin/env php 3 ini_set('default_socket_timeout', -1); //不超時 4 require_once 'Redis2.class.php'; 5 $redis_db = '15'; 6 $redis = new \Redis2('127.0.0.1','6379','',$redis_db); 7 // 解決Redis客戶端訂閱時候超時情況 8 $redis->setOption(); 9 //當key過期的時候就看到通知,訂閱的key __keyevent@<db>__:expired 這個格式是固定的,db代表的是數據庫的編號,由於訂閱開啟之后這個庫的所有key過期時間都會被推送過來,所以最好單獨使用一個數據庫來進行隔離 10 $redis->psubscribe(array('__keyevent@'.$redis_db.'__:expired'), 'keyCallback'); 11 // 回調函數,這里寫處理邏輯 12 function keyCallback($redis, $pattern, $channel, $msg) 13 { 14 echo PHP_EOL; 15 echo "Pattern: $pattern\n"; 16 echo "Channel: $channel\n"; 17 echo "Payload: $msg\n\n"; 18 $list = explode(':',$msg); 19 20 $order_sn = isset($list[0])?$list[0]:'0'; 21 $use_mysql = isset($list[1])?$list[1]:'0'; 22 23 if($use_mysql == 1){ 24 require_once 'db.class.php'; 25 $mysql = new \mysql(); 26 $mysql->connect(); 27 $where = "ordersn = '".$order_sn."'"; 28 $mysql->select('order','',$where); 29 $finds=$mysql->fetchAll(); 30 print_r($finds); 31 if(isset($finds[0]['status']) && $finds[0]['status']==0){ 32 $data = array('status' => 3); 33 $where = " id = ".$finds[0]['id']; 34 $mysql->update('order',$data,$where); 35 } 36 } 37 38 } 39 40 41 //或者 42 /*$redis->psubscribe(array('__keyevent@'.$redis_db.'__:expired'), function ($redis, $pattern, $channel, $msg){ 43 echo PHP_EOL; 44 echo "Pattern: $pattern\n"; 45 echo "Channel: $channel\n"; 46 echo "Payload: $msg\n\n"; 47 //................ 48 });*/
注意:我們在開頭,申明 php 編譯器的路徑:
#! /usr/bin/env php
這是執行 php 腳本所必須的。
然后,nohup 不掛起執行 psubscribe.php,注意 末尾的 &
1 [root@chokingwin HiGirl]# nohup ./psubscribe.php & 2 [1] 4456 nohup: ignoring input and appending output to `nohup.out'
說明:腳本確實已經在 4456 號進程上跑起來。
查看下nohup.out cat 一下 nohuo.out,看下是否有過期輸出:
1 [root@chokingwin HiGirl]# cat nohup.out 2 Pattern:__keyevent@0__:expired 3 Channel: __keyevent@0__:expired 4 Payload: name
運行index.php ,3秒后效果如上即成功
遇到問題:使用命令行模式開啟監控腳本 ,一段時間后報錯 :Error while sending QUERY packet. PID=xxx
解決方法:由於等待消息隊列是一個長連接,而等待回調前有個數據庫連接,數據庫的wait_timeout=28800,所以只要下一條消息離上一條消息超過8小時,就會出現這個錯誤,把wait_timeout設置成10,並且捕獲異常,發現真實的報錯是 MySQL server has gone away , 所以只要處理完所有業務邏輯后主動關閉數據庫連接,即數據庫連接主動close掉就可以解決問題
yii解決方法如下:
Yii::$app->db->close();
查看進程方法:
ps -aux|grep psubscribe.php
a:顯示所有程序
u:以用戶為主的格式來顯示
x:顯示所有程序,不以終端機來區分
查看jobs進程ID:[ jobs -l ]命令
www@iZ232eoxo41Z:~/tinywan $ jobs -l [1]- 1365 Stopped (tty output) sudo nohup psubscribe.php > /dev/null 2>&1 [2]+ 1370 Stopped (tty output) sudo nohup psubscribe.php > /dev/null 2>&1
終止后台運行的進程方法:
kill -9 進程號
清空 nohup.out文件方法:
cat /dev/null > nohup.out
我們在使用nohup的時候,一般都和&配合使用,但是在實際使用過程中,很多人后台掛上程序就這樣不管了,其實這樣有可能在當前賬戶非正常退出或者結束的時候,命令還是自己結束了。
所以在使用nohup命令后台運行命令之后,我們需要做以下操作:
1.先回車,退出nohup的提示。
2.然后執行exit正常退出當前賬戶。
3.然后再去鏈接終端。使得程序后台正常運行。
我們應該每次都使用exit退出,而不應該每次在nohup執行成功后直接關閉終端。這樣才能保證命令一直在后台運行。
很多PHPer在進階的時候總會遇到一些問題和瓶頸,業務代碼寫多了沒有方向感,不知道該從那里入手去提升,對此我整理了一些資料,包括但不限於:分布式架構、高可擴展、高性能、高並發、服務器性能調優、TP6,laravel,YII2,Redis,Swoole、Swoft、Kafka、Mysql優化、shell腳本、Docker、微服務、Nginx等多個知識點高級進階干貨需要的可以免費分享給大家,需要的加群(點擊→)677079770