Python : Module


          在Python中,一個.py文件代表一個Module。在Module中可以是任何的符合Python文件格式的Python腳本。了解Module導入機制大有用處。

 

1 Module組成

         一個.py文件就是一個module。Module中包括attribute, function等。 這里說的attribute其實是module的global variable。

在一個ModuleTests.py文件中:

#!python
#-*- coding: utf-8 -*-

"""
全局變量
"""

# hello doc
global moduleName
moduleName = __name__
a = 1

def printModuleName():
    print(a+1)
    print(__name__)
    print(moduleName)

'''
if __name__ == '__main__' : 
    print('current module name is "' + __name__+'"')
'''


printModuleName()
print(a)
print(dir())

import __builtin__
print(__builtin__ == __builtins__)
print(__doc__)
print(__file__)
print(__name__)
print(__package__)
__name__ = 'hello'
print(__name__)
View Code

         除了你自己定義的那些全局變量和函數外,每一個module還有一些內置的全局變量。在這個module就包括了三個attribute:a,moduleName,printModuleName。如果該模塊被導入到另一個模塊,在另個一模塊中,就可以通過某種方式來訪問這三個attribute。

 

1.1 Module 內置全局變量

         每一個模塊,都會有一些默認的attribute(全局變量)。dir()函數 是python中的一個頂級函數,勇於查看模塊內容。例如上面的例子中,使用dir()查看結果是:

 ['__builtins__', '__doc__', '__file__', '__name__', '__package__', 'a', 'moduleName', 'printModuleName']。其中a, moduleName, printModuleName 是由用戶自定義的。其他的全是內置的。

        1)__name__ :模塊的名稱。例如上面的ModuleTests.py,模塊的名稱默認就是ModuleTests。在運行時,如果一個module是程序入口,那么__name__就是”__main__”。它是最常用的。

        2)__builtins__:在Python中有一個內置的module,叫做:__builtin__,它是一個Python的模塊。而任何一個Python的模塊都有一個__builtins__全局變量,它就是內置模塊__builtin__的引用。可以通過如下代碼測試:

import __builtin__
print(__builtin__ == __builtins__)

        // 測試結果是True

在Python代碼里,不需要我們導入就能直接使用的函數,類等,都是在這個內置模塊里的。例如:range(),bytes(),dir()。

        3)__doc__:module的文檔說明。即便是Python的初學者都知道Python中的多行注釋是用三對單引號或者雙引號包含的。網上有人說__doc__其實就是注釋,這句話呢說的太隨意容易給人誤解。經過測試,模塊的__doc__應該是:文件頭之后代碼(包含import)之前 第一個 多行注釋。 方法的__doc__是方法前的那個注釋。

在交換模式下,我們可以直接使用__doc__來查看方法的說明的。例如查看string.split方法的說明:str.split.__doc__就可以了。

 

        4)__file__:當前module所在的文件的路徑。

        5)__package__:當前module所在的包名。如果沒有,為None。

 

1.2 dir()的妙用 

        dir()是一個內置函數,用於查找指定的module中包括哪些attribute和method (或者function)。如果不指定參數,默認是當前module。上面說了range,dir,bytes等都是在內置模塊里的,那么到底是不是呢?

        dir(__builtins__)就可看到了:

 

 

2 Module導入

2.1 導入及其使用

         一個Module可以導入(import)到其他的Python腳本中使用。導入方式有多種:

        1)import module1

        2)import module1 as m1

        3)from module1 import xxx

        4)from module1 import xxx as yyy

        從包(package)導入,也分為類似的三種:

        1)import p1.p2.p3.module1 

        2)import p1.p2.p3.module1 as m1

        3)from p1.p2.p3.module1 import xxx

        4)from p1.p2.p3.module1 import xxx as yyy

        假設module1有兩個attribue: a1,a2, 兩個function: f1,f2下面來說明這幾種導入方式的區別:

         方式一是導入整個module1, 並將賦值給一個變量module1,來供使用。使用時,可以使用module1.a1, module1.a2, module1.f1(params), module.f2(params)

         方式二是在方式一的基礎上,重命名為m1,也就是說使用時得使用: m1.a1, m1.a2, m1.f1, m1.f2。

         方式三是導入模塊的部分內容(導入一個或者一些attribute或者function) 。例如 from module1 import a1,導入完成后,在當前的模塊中創建了一個 a1的變量。調用是直接調用a1即可。

         方式四對於導入一個attribute或者function時,可以重命名。例如 from module1 import a1 as msg,那么導入完畢,就是在當前的模塊中創建了一個msg的變量,指向了module1.a1。 我們在調用時,只能通過msg來調用。

  

2.2 一次加載多次導入

 

       對於上面的4種導入方式,不論哪一種,都有兩個階段:1)找到module對象,2)按需分配給變量。

       模塊本身就是為了復用的。在一個大的項目中,一些基礎的、公共的模塊通常會被大量使用,也就是說會被很多的module導入使用。我們也知道,module是放在py文件中的。如個一個module被大量導入時,難道要每一次導入,都去磁盤上找一py文件嗎?

       顯然不能這樣設計,如果真的這樣設計,程序的性能將是極差的了。

       對於同樣的問題,Java中的做法是,使用ClassLoader加載類,並采用父加載器委托機制。盡可能的保證,同一個ClassLoader下,在多次引用一個類時,都是同一個。我們可以將該方式稱為一次加載,多地使用。

       Python的設計者,也考慮到這個問題。也采用了類似方案,被我稱為一次加載,多次導入。我們假設它有一個Module Loader的存在,在首次加載(其實是首次import)時,執行流程如下:

       1)由Module Loader從檢索路徑下找出相應的模塊

       2)編譯或者找到合適的字節碼文件(.pyc結尾)

       3)解釋執行要導入的Module,並放入緩存。

       4)將導入的Module對象(或者其屬性)分配給當前Module下的變量。

      隨后整個程序中再有執行import該moudle時,只需要從緩存中拿到該module,然后執行4)。

 

       此外,對於過程2)有這樣4種情況:

       A: 若.py與.pyc都存在:會對.py文件的最后修改時間與.pyc文件的最后修改時間比較。執行時間靠后的那個。

       B: 若.py與.pyc都不存在,繼續找,如果最終都沒有找到,出錯。

       C: 若.py存在,.pyc不存在:編譯.py為.pyc。

       D:若.py不存在,.pyc存在,直接執行.pyc。

 

       再者還要說明2點:

       1)一次加載,多次導入的機制,在Python程序包中提供的交互式命令行里使用import是不管用的。在交互式下,一次加載只能用於一次導入。

       2)一般main py是不會被編譯成pyc的,一個模塊要想被編譯成pyc,需要import到其他模塊才行。

 

2.3 搜索路徑

       依據Java編程經驗來看,通常程序會將文件放在不同的地方。Python必然也不例外。Python的搜索順序為:

       1)  已加載模塊的緩存

       2)  內置模塊

       3)  sys.path

       其中sys.path包含以下幾部分:

       1)入口程序的目錄

       2)系統環境變量PYTHONPATH代表的目錄

       3)標准Python庫目錄

       4)任何.pth文件的內容(如果存在的話)

      

       下面使用命令看一下sys.path的目錄有哪些:

['',
'C:\\windows\\SYSTEM32\\python27.zip',
'D:\\Program Files\\Python\\Python27\\DLLs',
'D:\\Program Files\\Python\\Python27\\lib',
'D:\\Program Files\\Python\\Python27\\lib\\plat-win',
'D:\\Program Files\\Python\\Python27\\lib\\lib-tk',
'D:\\Program Files\\Python\\Python27',
'D:\\Program Files\\Python\\Python27\\lib\\site-packages']

        如果要加載的module不在上述目錄下,可以通過3鍾手段:

        1)  配置環境變量PYTHONPATH,配置是與環境變量PATH的風格一樣。

        2)  程序動態修改sys.path

        3)  放到site-packages目錄下。

 

2.4 reload()

        有些情況下,我們需要在程序運行是對程序代碼做修改。例如我們需要監控某一方法執行快慢,是否存在性能問題時。我們需要在function的開始、結束部分記錄一個startTime,endTime,依此來判定執行性能時。像這樣的場景下,因為Module的加載一次,多長調用的機制,我們修改完代碼,也不會生效。此時就需要一種機制來重新加載module,以達到期望效果。reload() 就可以解決這個問題。

        reload(module) 是一個函數,參數是一個module對象。執行reload,就會等於再一次進行加載。

 

3 Package

 

3.1 __init__.py

        每一個package下必須有一個__init__.py文件,該文件用於表明當前目錄可以作為一個package。

        __init__.py 也是一個python,當首次加載相應的package時,會執行__init__.py。

        __init__.py文件可以什么也沒有,也可以指定__all__或(和)__path。

 

3.2 __all__

       __all__的值是一個列表,用於當程序中使用 from pkg1.pkg2.pkg3 import * 時。

       就拿Python_HOME/Lib/下的json包來做實驗,由於該文件比較大,我就寫出主要部分:

__version__ = '2.0.9'
__all__ = [
    'dump', 'dumps', 'load', 'loads',
    'JSONDecoder', 'JSONEncoder',
]
__author__ = 'Bob Ippolito <bob@redivi.com>'

from .decoder import JSONDecoder
from .encoder import JSONEncoder

def dump(params):
    pass

def dumps(params):
    pass

def load(params):
    pass

def loads(params):
    pass

       目錄結構如下: 

 

       當程序中使用 from json import * 引起json包首次加載時,執行過程如下:

       1)找到json目錄,執行__init__.py 執行完畢后:包下會暴漏出:load,loads,dump.dumps, JSONDecoder, JSONEncoder

       2)查找* ,即從__all__找出要導出的變量。

 

       當程序使用Import json.encoder引起json包首次加載時,執行過程如下:

       1)找到json目錄,執行__init__.py 執行完畢后:包下會暴漏出:load,loads,dump.dumps, JSONDecoder, JSONEncoder (以供from json import * 使用)

       2)導入json包到一個變量里(此后程序可以直接使用json.encoder, json.decoder,json.scanner)

 

       上述結論,來源於下面的測試用例:

#!python
#-*- coding: utf-8 -*-

"""
Package Import Test
"""

#from json import *
from json import encoder
import json

print(json.encoder == encoder)
print(json.decoder is None)
print(json.scanner is None)
print(dir())

 

3.3 __path__ 

       該變量用於配置包下的搜索位置。例如:

       在Utils下增加2個目錄Linux和Windows, 並各有一個echo.py文件, 目錄如下 

 Sound/Utils/  
    |-- Linux        目錄下沒有__init__.py文件, 不是包, 只是一個普通目錄  
    |   `-- echo.py  
    |-- Windows      目錄下沒有__init__.py文件, 不是包, 只是一個普通目錄  
    |   `-- echo.py  
    |-- __init__.py  
    |-- echo.py  
    |-- reverse.py  
    `-- surround.py  

      如果__init__.py是空的,當使用import Sound.Utils.echo導入echo時,會導入的是Sound/Utils/echo.py。   

      接下來我將__init__.py做如下修改:

import sys 
import os 

print "Sound.Utils.__init__.__path__ before change:", __path__ 

dirname = __path__[0] 
if sys.platform[0:5] == 'linux': 
        __path__.insert( 0, os.path.join(dirname, 'Linux') ) 
else: 
        __path__.insert( 0, os.path.join(dirname, 'Windows') ) 
print "Sound.Utils.__init__.__path__ AFTER change:", __path__

      在Linux上執行import Sound.Utils.echo,那么搜索路徑就會變成了: 'Sound/Utils/Linux', 'Sound/Utils'。以此來達到自動化的按需加載響應的module的功能。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM