oVirt (Open Virtual) 之 VDSM 學習筆記 vdsm/vdsm (一)

簡介：

VDSM 是 oVirt 項目中的一個重要部分，oVirt 可以參見 oVirt 官網：http://www.ovirt.org/。

VDSM 可以通過 oVirt 官網找到，也可通過 GIT 倉庫下載：git clone http://gerrit.ovirt.org/p/vdsm.git。

VDSM 模塊開始運行的文件是： vdsm/vdsm。是 Python 語言編寫的。

 

Let's go!

loggerConfFile = constants.P_VDSM_CONF + 'logger.conf'

if config.getboolean('devel', 'python_warnings_enable'):
    warnings.simplefilter("always")
    if hasattr(logging, 'captureWarnings'):
        # Python 2.6 does not have captureWarnings
        logging.captureWarnings(True)


if __name__ == '__main__':
    try:
        main()
    except FatalError as e:
        syslog.syslog("VDSM failed to start: %s" % e)
        # Make it easy to debug via the shell
        raise

 

這是一個通用的寫法， 如果某個模塊是被通過關鍵字 import 導入的，那么其 __name__ 屬性將是模塊名。

如果是以通過 Python 解釋器直接執行，那么 __name__ 屬性將為：'__main__'。對於此種寫法，代碼：

if __name__ == '__main__':

部分的代碼一般用作測試此模塊代碼。“ vdsm/vdsm ” 將被 Python 直接解釋執行，所以將執行下面的代碼。

調用 main() 方法，main() 方法將是我們關注的對象。而 syslog.syslog 是調用了 syslog 模塊的 syslog()

方法，記錄日志。

小技巧：

查看 Python 代碼時，對於這種導入庫的使用，可以采用啟動 Python 解釋器后，通過 “ import <模塊名> ”，

再使用“ help(<模塊名>) ”的方式查看其幫助手冊。

出現異常的時候，使用 raise 來講程序掛起，便於調試（O__O 哥，從代碼注釋都能看出來的呢）。

 

Main 開始：

3個斷言( assert )語句，用於保證程序運行的基本條件；

根據配置 [vars] 里的 'core_dump_enable' 值來設置程序跑飛(DUMP/CORE)時的事件記錄資源設置；

設置組ID，保證運行，然后...， 跑。

def main():
    __assertVdsmUser()
    __assertLogPermission()
    __assertSudoerPermissions()

    if not config.getboolean('vars', 'core_dump_enable'):
        resource.setrlimit(resource.RLIMIT_CORE, (0, 0))

    if os.getsid(0) != os.getpid():
        # Modern init systems such as systemd can provide us a clean daemon
        # environment. So we setpgrp only when run by traditional init system
        # that does not prepare the environment.
        os.setpgrp()
    run()

 

斷言：

__assertVdsmUser(): 用於保證程序運行的用戶和用戶組為：vdsm/kvm。

def __assertVdsmUser():
    username = getpass.getuser()
    if username != constants.VDSM_USER:
        raise FatalError("Not running as %r, trying to run as %r"
                         % (constants.VDSM_USER, username))
    group = grp.getgrnam(constants.VDSM_GROUP)
    if (constants.VDSM_USER not in group.gr_mem) and \
       (pwd.getpwnam(constants.VDSM_USER).pw_gid != group.gr_gid):
        raise FatalError("Vdsm user is not in KVM group")

 

__assertLogPermission(): 用於保證程序具有對日志文件的寫的權限。

def __assertLogPermission():
    if not os.access(constants.P_VDSM_LOG, os.W_OK):
        raise FatalError("Cannot access vdsm log dirctory")

    logfile = constants.P_VDSM_LOG + "/vdsm.log"
    if not os.path.exists(logfile):
        # if file not exist, and vdsm has an access to log directory- continue
        return

    if not os.access(logfile, os.W_OK):
        raise FatalError("Cannot access vdsm log file")

 

__assertSudoerPermissions(): 用於保證程序具有調用某些特權命令(如：/sbin/multipath)的權限。

def __assertSudoerPermissions():
    rc = 1
    with tempfile.NamedTemporaryFile() as dst:
        # This cmd choice is arbitrary to validate that sudoes.d/50_vdsm file
        # is read properly
        cmd = [constants.EXT_CHOWN, "%s:%s" %
               (constants.VDSM_USER, constants.QEMU_PROCESS_GROUP), dst.name]
        rc, _, stderr = utils.execCmd(cmd, sudo=True)

    if rc != 0:
        raise FatalError("Vdsm user could not manage to run sudo operation: "
                         "(stderr: %s). Verify sudoer rules configuration" %
                         (stderr))

從注釋中可以注意到到 sudoes.d/50_vdsm 就是其特權命令的規則描述。

紅帽( RedHat )系列Linux 為 /etc/sudoes.d/50_vdsm。

 

基本配置：

config.getboolean('type', 'des')： 將讀取如下格式的配置文件，並返回“ = ”后面的值。

main() 函數里是設置程序DUMP（如 C 語言工程師討厭的：段錯誤）的時候，內核將對其問題

追蹤產生一些資源(文件)，對程序的資源進行限制。

# 模板
# [type]
# des=xxx

[vars]
core_dump_enable=True
# Comments

[string]
name=YBHello
addr=ChengDu

　　

跑：

檢查會話( Session ) ID 是否和進程 ID 相等：

如果相等，等價於此程序是一后台程序運行，使用 init 機制可以保證（注釋里都這樣說的）；

如果不等，將進程自己的 ID ( PID )設置為組 ID。

【使用舊版本的 service vdsmd restart 的方式重啟，程序部分日志將寫到終端】

因為 VDSM 的需要這樣的設置來保證環境（注釋翻譯）。

    if os.getsid(0) != os.getpid():
        # Modern init systems such as systemd can provide us a clean daemon
        # environment. So we setpgrp only when run by traditional init system
        # that does not prepare the environment.
        os.setpgrp()
    run()

 

run() 起來：

輸入：pidfile 將被寫入 vdsm 程序的 PID 的值。

日志配置文件的處理（日志配置文件為： etc/vdsm/logger.conf）

添加一個 TRACE 日志級別（作者說：這很粗魯但很有用 O__O "…）

導入 VDSM 調試插件

導入 覆蓋率測試 模塊（參見代碼覆蓋率測試）

將進程的 PID 寫入 pidfile 中（pidfile 作為 run() 函數的參數傳入），並記錄日志

調用  serve_clients(log) ，正常運行下，serve_clients 不會退出（將繼續追蹤下去）

如果 serve_clients(log) 返回了，將所有的線程關閉

def run():
    try:
        lconfig.fileConfig(loggerConfFile, disable_existing_loggers=False)
    except RuntimeError as e:
        raise FatalError("Cannot configure logging: %s" % e)

    logging.addLevelName(5, 'TRACE')
    logging.TRACE = 5  # impolite but helpful

    # Used to enable code coverage. On production machines
    # "coverage" should not exists and COVERAGE_PROCESS_START should not be
    # set.
    try:
        import coverage
        coverage.process_startup()
    except ImportError:
        pass

    log = logging.getLogger('vds')
    try:
        logging.root.handlers.append(logging.StreamHandler())
        log.handlers.append(logging.StreamHandler())

        sysname, nodename, release, version, machine = os.uname()
        log.info('(PID: %s) I am the actual vdsm %s %s (%s)',
                 os.getpid(), dsaversion.raw_version_revision, nodename,
                 release)

        __set_cpu_affinity()

        serve_clients(log)
    except:
        log.error("Exception raised", exc_info=True)

    log.info("VDSM main thread ended. Waiting for %d other threads..." %
             (threading.activeCount() - 1))
    for t in threading.enumerate():
        if hasattr(t, 'stop'):
            t.stop()
        log.info(str(t))

 

serve_clients()：

添加 SIGTERM、SIGUSR1 的信號處理函數

概要信息統計線程開始運行（包括：CPU 和內存兩部分）

開啟與 libvirt 的事件循環處理（線程）

根據配置文件的 [irs] 的 irs_enable 的值設置環境

scheduler（調度）實例線程

cif（Client InterFace ）實例線程

開啟周期執行線程

等待信號到來，如果信號到來，停止各個線程，函數放回，程序將結束

def serve_clients(log):
    cif = None
    irs = None
    scheduler = None
    running = [True]

    def sigtermHandler(signum, frame):
        log.debug("Received signal %s" % signum)
        running[0] = False

    def sigusr1Handler(signum, frame):
        if irs:
            log.debug("Received signal %s" % signum)
            irs.spmStop(
                irs.getConnectedStoragePoolsList()['poollist'][0])

    sigutils.register()
    signal.signal(signal.SIGTERM, sigtermHandler)
    signal.signal(signal.SIGUSR1, sigusr1Handler)
    zombiereaper.registerSignalHandler()

    profile.start()

    libvirtconnection.start_event_loop()

    try:
        if config.getboolean('irs', 'irs_enable'):
            try:
                irs = Dispatcher(HSM())
            except:
                utils.panic("Error initializing IRS")

        from clientIF import clientIF  # must import after config is read
        cif = clientIF.getInstance(irs, log)

        install_manhole({'irs': irs, 'cif': cif})

        scheduler = schedule.Scheduler(name="vdsm.Scheduler",
                                       clock=utils.monotonic_time)
        scheduler.start()
        cif.start()
        periodic.start(cif, scheduler)
        try:
            while running[0]:
                sigutils.wait_for_signal()

            profile.stop()
        finally:
            periodic.stop()
            cif.prepareForShutdown()
            scheduler.stop()
    finally:
        libvirtconnection.stop_event_loop(wait=False)