Python 2.7 cython cythonize py 編譯成 pyd 談談那些坑

前言

基於 python27 的 pyc 很容易被反編譯，於是想到了pyd，加速運行，安全保護

必要准備

安裝cython：pin install cython

下載安裝：VCForPython27.msi

Cython document：https://cython.readthedocs.io/en/stable/src/userguide/source_files_and_compilation.html

假如有以下目錄結構：

myPackage/

__init__.py

myModule.py

subFolder/

__init__.py

subModule.py

setup.py　　--這是用來 build python extension 的，也就是 pyd

setup.py代碼：

import setuptools  # important
from distutils.core import setup
from Cython.Build import cythonize
from distutils.extension import Extension
extensions = []
extensions.append(Extension('myModule',['myModule.py']))
extensions.append(Extension('subFolder.subModule',['subFolder/subModule.py']))

setup(
    ext_modules = cythonize(extensions, compiler_directives={'language_level': 2}),
    
)

在 myPackage/ 目錄下開啟cmd（win系統），編譯pyd

python.exe setup.py build_ext --inplace

給 setup.py 添加自定義參數

請參考：Python argparse 模塊

額外參考：https://stackoverflow.com/questions/677577/distutils-how-to-pass-a-user-defined-parameter-to-setup-py?noredirect=1&lq=1

編譯過程（如果順利）和 setup.py 代碼解析：

cythonize()：會在 py 文件所在的相應文件夾生成 .c 或者 .cpp 文件（這個取決於Extension() 的 language 參數，language = 'c' 或者 'c++'）

setup.py build_ext：在myPackage/目錄下生成一個build文件夾，里面有編譯的一些中間產物，最終把 pyd 復制到 py 文件所在的相應位置（pyd最終復制的路徑是由Extension()來決定的）

Extension()：它有很多參數，只說代碼中的參數

參數 1：這個參數就是 pyd 最終被拷貝的路徑，在編譯成功后，會看到 copying build\lib.win-amd64-2.7\xxx.pyd -> xxx\xxx，后面的 xxx\xxx 就是Extension的第一個參數：'xxx.xxx' （沒看錯，這里是用點 . 來分隔，簡直坑），而且路徑的前綴是cmd運行路徑，如果第一個參數是'*'（就像官方文檔里面的例子一樣），它代表cmd運行的當前路徑，也就是 myPackage/ ，也就是說，所有 pyd 都會被拷貝到這里來

參數 2：這是 py 或者 pyx（Cython格式）的相對路徑，是指 cmd（並非setup.py） 的所在路徑（因為我是在 waf 的 wscript 中 執行編譯的，waf 會把 cmd 的路徑改變到它的 build 路徑下，如果單獨使用setup.py，應該不會有這個問題）

編譯過程中會遇到的一些警告或者錯誤（如果不順利或者不完美）和 setup.py 代碼解析

error：unresolved external symbol init__init__

沒錯，__init__.py 似乎在這里不能被編譯成 pyd，所以可能要編譯成 pyc 或者干脆不編譯

error：unable to find vcvarsall.bat

出現這個錯誤，只會看到 .c 或者 .cpp，看不到 pyd

網上大多數的解決方法：http://www.cnblogs.com/lazyboy/p/4017567.html

下面是我另外找到的方法（鏈接：https://stackoverflow.com/questions/53172601/error-unable-to-find-vcvarsall-bat-when-compiling-cython-code）：

1.確保安裝：VCForPython27.msi

2.確保更新或者安裝 Python 的 setuptools：

安裝或者更新 setuptools：pin install -U setuptools

3.在 setup.py 中的第一行加 import setuptools，最新版的 setuptools 會自動找到 vcvarsall.bat

FutureWarning： Cython directive 'language_level' not set, using 2 for now (Py2). This will change in a later release!

在compiler_directives中指定：cythonize( compiler_directives = {'language_level': 2} )

is not a valid module name...Cython.Compiler.Errors.CompileError: 

注意文件的路徑文件夾命名，不要有中文，不要是純數字，不要有非法字符

py 和 pyx 編譯成 pyd 的注意點

如果編譯的是 .pyx ，而且這些文件中 include 一些自定義的頭文件，那么 setup() 還要加 library 相關的參數，就像我們編譯 c 語言一樣，這里只談 py ，所以不多說

pyd 的使用

就像 pyc 一樣正常使用（如果python安裝了 PySide 或者 PyQt，可以到它們的目錄下看看，它們的主要模塊也是 pyd，而且 __init__.py 沒有相應的 pyd）

import xxx

from myPackage import myModule

import myPackage.myModule as m

from myPackage.subFolder import subModule

pyd for maya

似乎用以上的流程編譯出來的 pyd 不能在 maya 中 import，似乎要用編譯maya的 python.exe 一致的 MSC(微軟C編譯器) 版本來編譯，參考鏈接：https://stackoverflow.com/questions/53683874/how-to-import-pyd-files-into-maya

這里我們用的是VCForPython27（不清楚這個到底是什么），而 maya2014 的 mayapy.exe 用的是 MSC v.1600

不過 maya 確實是可以 import 的 pyd 的，因為 maya 自身就集成了 PySide 的 pyd 模塊，所以，只要接下來要找出怎么編譯 maya 的 pyd 方法，或許 maya PySide 是用 C++ 來直接編寫，然后編譯成 pyd，不過 cythonize 已經把 py 生成了 c 或者 cpp，現在還不確定問題出在哪個階段。

如何編譯 maya 的 pyd ，請參考：Maya mayapy.exe 安裝 Cython，編譯 pyd

對 Python 的嚴謹性要求

由於 Cython 會把 py 轉為 c 或者 cpp，所以 python 上的一些隨性會導致編譯的錯誤，也就是變得和 C 或者 C++ 那樣嚴謹，尤其是一些 QT 事件的槽函數的參數一定要給足等等。