Python 軟件熱更新
本篇文章涉及技術知識如下:
Redis
threading 多線程
PyQt5importlib 熱更新
場景
咱們在平時運行一些長時間都會一直運行的軟件(如:某些雲同步軟件)的時候,某些功能因為考慮的情況可能不充分,導致體驗不夠好的時候,很多人都會忽視這個問題,除非這個問題影響到他正常使用了。但是也有部分用戶會在軟件的反饋框里面將問題反饋給開發者,順帶將錯誤日志也一並提交給開發者。然后過了一天或者半天,你再運行那部分功能的時候,發現問題已經解決了。可是,我們都沒有更新軟件呀,甚至連軟件都沒有重啟,難道前面遇到的那個情況真的是因為自己太幸運踩中bug了嗎?
其實,我們之前遇到的問題,可能的確就是一個bug,但是在反饋問題給開發者后,開發者快速定位問題所在后,通過熱更新將問題解決了。相當於我們使用的軟件自動fix了一些bug,更新了一次版本。
那么,今天咱們聊一下熱更新這個東西怎么樣?我們也隨意做個小demo看看這個有意思的功能是怎么做到的。
什么是熱更新
熱更新就是可以在進程不重啟的情況下,讓其重新加載修改后的程序代碼,且能按照預期正確執行。在實際開發中,熱更新的最主要用途有,
- 可以提升開發效率,讓改動后的代碼效果立刻實現,避免頻繁重啟
- 對於bug修復來說,在CS模式下,如果不是大的bug而是小bug的修復就不用發布比較大的補丁和更新文件了,直接使用服務器修正問題后,通知客戶端重新加載修正后代碼即可。
Python的代碼是通過module進行組織的,所以,對某些功能的熱更新就是可以通過對module更新就可以了。
在Python中,如果重新import 一個已經被import的模塊時,並不會重新執行import新的模塊。所以,在這個時候,我們希望可以重新加載模塊的時候,就需要對模塊進行刪除后,再重新import進來。
而在sys.modules保存了已經加載過的模塊。

為了方便看到展示,我就沿用上次客戶端的界面,進行簡單修改后,展示給大家看,熱更新的效果。

左邊的按鈕是運行模塊加載進來的函數,右邊的按鈕是手動點一下熱更新。便於本地手動調試熱更新。在后面實現的“發布訂閱”情況中,服務端發布更新消息后,不用手動點 熱更新 就可以對軟件進行自動更新了。
簡單實現一個demo,引用myfunction這個模塊,運行里面的某個函數一兩次后,修改那個被運行的函數實現,然后對myfunction這個模塊進行熱更新,看看效果怎么樣?

在熱更新前,隨機產生的數字在原函數里面,版本號為0.0.1,是可以比較明顯看出 兩個數 是運行 “相加” 操作的。
點擊了熱更新Button后,軟件並未重啟,在更新后,可以 看到功能版本號發生了改變,變成了0.1.1,說明已經是熱更新完成了的。再點擊運行功能,可以看到結果已經變成了 兩個數字 進行了 “相減‘ 操作。
完成了本地測試熱更新成功后,就着手實現CS模式下的“發布訂閱”消息通知功能,利用服務器對客戶端推送一個更新指令,客戶端就會自動更新模塊。
用過Redis的同學應該都知道Redis本身就自帶了“發布訂閱”功能,借助它,可以很方便的實現出遠程推送消息的需求,我們甚至可以用這個功能實現一個簡單的聊天室軟件哦。
在Redis服務端中,創建一個 update頻道:
SUBSCRIBE update
然后在Python中導入Redis模塊后,鏈接到遠程Redis數據庫后,訂閱我們的update頻道,再啟動一個新的線程去監聽update頻道的消息。
因為如果直接在代碼里面用單線程去監聽消息的話,會造成線程阻塞在監聽消息哪里,導致界面刷新不出來。所以,我們只要導入threading庫,再把監聽消息做成一個函數,放到thread中去運行就可以了。由此避免線程阻塞問題。
接着我在本地修改一下myfunction模塊后,就到Redis服務的終端中,發布一個消息,reload。
這個時候,軟件就會收到reload消息,對剛才被我修改后的模塊進行熱更新,即刪掉源模塊,再重新導入一次。
在這里我就不寫一次從服務器中下載新的模塊文件的代碼了,假設我剛才修改后的那個文件就從服務器下載下來的。同學們可以借助前面兩篇寫軟件更新服務的文章來自己實現一個文件下載更新的代碼。很簡單的,只要你願意寫。
在Redis中發布重載的消息后,訂閱了這個頻道的客戶端,將會接收到更新信息,比如我這個客戶端,將會對模塊重新加載進行熱更新了。
在這里我給大家隨意扯一下“灰度測試”吧,這個灰度測試就是軟件即將要更新某個功能,但是可能這個功能還不夠穩定,不能向全部用戶推送新的功能。所以,這個時候,就需要對部分用戶更新這個功能,通過這部分用戶使用情況來決定灰度測試的范圍,比如將5%的范圍擴展到10%這樣。
至於怎么篩選出那些用戶為測試用戶呢?其中有個辦法是可以用個哈希函數對用戶某個值,如用戶名,進行處理,符合的就推送。當然還有很多很多的策略,實現執行起來的時候,也不會像我說的那么簡單,感興趣的同學可以自行查閱資料。
接下來,我們來測試一下發布更新功能的消息后,有沒正常熱更新功能。


在這里要提醒一下,如果你在熱更新前導入的模塊生成了一個對象x,這個時候,你熱更新了,然后又生成一個對象y。這個時候,你會發現,x指向的仍舊是舊的那個類,而y則指向了新的類。這個時候,可以通過修改x的__class__屬性來對 x 的類進行強制修改,可以這樣寫:
x.class == y.你的類
但是即使你是這樣寫,你x里面的數據仍舊不會發生改變的哦。我們只更改了代碼的執行邏輯。
代碼放這里了:
python 61行
# -*- coding: utf-8 -*-
# @Time : 4/12/2019 14:02
# @Author : MARX·CBR
# @File : __init__.py.py
import threading
import sys
from PyQt5 import QtWidgets
from updateServer.HotUpdate import myfunction
import redis
import random
import importlib
from updateServer.HotUpdate.HotFixSample import Ui_MainWindow
class MainWindow(QtWidgets.QMainWindow, Ui_MainWindow):
def __init__(self, parent=None):
super(MainWindow, self).__init__(parent)
self.setupUi(self)
self.fun = importlib.import_module("myfunction")
self.pushButton.clicked.connect(self.runFunction)
self.pushButton_2.clicked.connect(self.hotfix)
self.ip = "47.xxx.xxx.xx"
self.redisport = 2017
self.redis_manager = redis.StrictRedis(self.ip, port=self.redisport)
# self.textBrowser.append(str(sys.modules))
print(sys.modules)
self.tunnel = self.redis_manager.pubsub()
self.tunnel.subscribe(["update"])
self.threads = []
self.t1 = threading.Thread(target=self.autoReload, )
self.threads.append(self.t1)
self.threads[0].setDaemon(True)
self.threads[0].start()
def autoReload(self):
for k in self.tunnel.listen():
if k.get('data') == b'reload':
self.hotfix()
def runFunction(self):
version = self.fun.AllFunction().version
self.textBrowser.append("功能運行,當前版本為:" + version)
for i in range(4):
x = random.randint(-454, 994)
y = random.randint(-245, 437)
self.textBrowser.append(str(x) + "\tfunction version {}\t".format(version) + str(y) + " = " + str(
self.fun.AllFunction().second(x, y)))
# self.textBrowser.append(self.fun.AllFunction().first())
def hotfix(self):
del sys.modules["myfunction"]
self.fun = importlib.import_module('myfunction')
self.textBrowser.append("熱更新完畢")
if __name__ == "__main__":
app = QtWidgets.QApplication(sys.argv)
mainWindow = MainWindow()
mainWindow.show()
sys.exit(app.exec_())
總結
在本篇文章中,我們講到了Python的熱更新的一些簡單用法,以及一些值得注意的坑。順手應用了Redis的“發布訂閱”功能來通知客戶端更新功能,扯了一下“灰度測試”。本篇文章代碼已同步上傳到我GitHub中,歡迎大家fork使用,順手給個star就更好了,
項目鏈接:https://github.com/97CBR/SoftwareUpdateServer
其實,有心思的小伙伴肯定會有更多的想法。比如:我們既然可以動態重新加載一個類來fix bug,也肯定可以動態添加我們要的功能啦。這意味着,我們可以編寫出一個軟件,具有插件功能的軟件。在主體軟件上面,運行插件來擴展更加多的功能,和Chrome這樣的瀏覽器一樣,安裝插件什么的。
本文對你有沒幫助呀,喜歡的話,記得留言、點贊、轉發喲。謝謝各位!
掃碼關注微信公眾號