python之fabric(二):執行模式(轉)


執行模式

  • 執行模式可以讓你在多個主機上執行多個任務。

執行策略:

  • 默認fabric是單個有序地執行方法,其行為如下:

      1. 創建一系列任務,通過fab任務執行要執行的任務;

      2. 根據主機列表定義,去執行每一個任務;

      3. 沒有主機定義的任務,將在本地執行一次。

如:

from fabric.api import run, env

env.hosts = ['host1', 'host2']

def taskA():
    run('ls')

def taskB():
    run('whoami')

# 將在host1, host2都執行taskA, taskB
$ fab taskA taskB 

# 執行順序如下
taskA executed on host1
taskA executed on host2
taskB executed on host1
taskB executed on host2

定義任務:

  • 如何定義任務,詳情可見這里

定義主機列表:

  • 大多數時候你都需要根據目標,來定義多個遠程主機,而不是僅在本地。

主機:

  • python定義的主機字符串為:
username@hostname:port #用戶名和端口都可以省略
  • 主機定義也支持IPV6格式,如:
::1, [::1]:1222
user@2001:db8::1 
user@[2001:db8::1]:1222

角色:

  • 角色提供了可以定義一個字符串對應於一組主機列表,而不是每次都針對的是整個主機列表,如:
from fabric.api import env
#假如www1, www2, www3是你的web服務器, 你可以指定任務由特定的角色來執行
env.roledefs['webservers'] = ['www1', 'www2', 'www3']

# 定義多個角色
env.roledefs = {
    'web': ['www1', 'www2', 'www3'],
    'dns': ['ns1', 'ns2']
}

怎么構建hosts:

  • 通過全局的env:
from fabric.api import env, run

env.hosts = ['host1', 'host2']

def mytask():
    run('ls /var/www')
  • env配置會被每個任務檢查,因此你完全可以在方法中設置env,如:
from fabric.api import env, run

def set_hosts():
    env.hosts = ['host1', 'host2']

def mytask():
    run('ls /var/www')

# 調用
fab set_hosts mytask, set_hosts
  • 通過命令行參數指定:
$ fab -H host1,host2 mytask #會被env.hosts所重寫,類似角色也可以通過-R role1, role2, ...來定義
  • 你也可以擴展命令行定義的主機,如:
from fabric.api import env, run

env.hosts.extend(['host3', 'host4'])

def mytask():
    run('ls /var/www')

# 那么執行主機將merge為host1,host2,host3,host4
fab -H host1, host2 mytask
NOTE: env.hosts是python的list對象,所以你可以用list.append()方法添加host,或者其他方法。
  • 針對每個任務的命令行參數:這是fabric提供一種更細粒度的定制:
from fabric.api import run

def mytask():
    run('ls /var/www')

# 該定義將重寫其他任何hosts定義,mytask僅會在host1,host2上執行
fab mytask:hosts="host1;host2"
  • 針對每個任務進行修飾:
from fabric.api import hosts, run

@hosts('host1', 'host2')
def mytask():
    run('ls /var/www')

# 或者
my_hosts = ('host1', 'host2')
@hosts(my_hosts)
def mytask():
    # ...

# 這種修飾將重寫env.hosts設置, 但不會重寫上面通過命令行定義的任務。
  • 總結下上面這些host與task綁定定義的優先級:
# 由高到低
1. 命令行 fab mytask:host=host1
2. fabfile中修飾任務@hosts('host1')
3. 在fabfile中設置env.hosts = ['host1']
4. 在命令行中-H host1,host2,...
  • 主機列表組合
from fabric.api import env, hosts, roles, run

env.roledefs = {'role1': ['b', 'c']}

@hosts('a', 'b')
@roles('role1')
def mytask():
    run('ls /var/www')

# 若命令行不包含task定義,則上面的mytask家在a, b, c主機上執行
  • 排除特定的主機
# 若myrole被定義運行[host1, host2,...,host15], 則該命令將排除host2,host5
$ fab -R myrole -x host2,host5 mytask #該-x並不會修改env.hosts

 

用Execute智能地執行任務:

  • 看這么一個例子:
from fabric.api import run, roles

env.roledefs = {
    'db': ['db1', 'db2'],
    'web': ['web1', 'web2', 'web3'],
}

@roles('db')
def migrate():
    # Database stuff here.
    pass

@roles('web')
def update():
    # Code updates here.
    pass

# 在fabric1.2之前,我們需要fab migrate update來執行這兩個任務,
# 在fabric1.2之后,我們可以通過execute函數來執行這兩個任務:

from fabric.api import run, roles, execute

def deploy():
    execute(migrate)
    execute(update)

 

通過Execute訪問多主機的結果:

  • 一個范例
from fabric.api import env, roles, task, execute, run, runs_once

env.roledefs = {
    'zoo': ['zooserver'],
    'mysql': ['mysqlmaster'],
}

@task
def workhorse():
    return run("uname -a")

@roles('zoo')
@task
@runs_once
def go():
    results = execute(workhorse)
    print results

#執行
fab go

 

用Execute動態設置host列表:

  • 我們可以通過傳遞參數,動態設置hosts,如:
from fabric.api import run, execute, task

# For example, code talking to an HTTP API, or a database, or ...
from mylib import external_datastore

# This is the actual algorithm involved. It does not care about host
# lists at all.
def do_work():
    run("something interesting on a host")

# This is the user-facing task invoked on the command line.
@task
def deploy(lookup_param):
    # This is the magic you don't get with @hosts or @roles.
    # Even lazy-loading roles require you to declare available roles
    # beforehand. Here, the sky is the limit.
    host_list = external_datastore.query(lookup_param)
    # Put this dynamically generated host list together with the work to be
    # done.
    execute(do_work, hosts=host_list)

# 調用
fab deploy:app
fab deploy:other
  • 一個替代的方法:
from fabric.api import run, task

from mylib import external_datastore

# Marked as a publicly visible task, but otherwise unchanged: still just
# "do the work, let somebody else worry about what hosts to run on".
@task
def do_work():
    run("something interesting on a host")

@task
def set_hosts(lookup_param):
    # Update env.hosts instead of calling execute()
    env.hosts = external_datastore.query(lookup_param)

#調用
fab set_hosts:app do_work

#相比上一種方法,該方法可以輕易替換其他任務,如
fab set_hosts:db snapshot
fab set_hosts:cassandra,cluster2 repair_ring
fab set_hosts:redis,environ=prod status

故障處理:

  • 故障處理也是一個比較實用的東西,fabric默認是"快速失敗"的,一旦出現錯誤,就立即停止。
  • 我們可以通過settings上下文中的env.warn_only=True來臨時指定,失敗也繼續執行。

連接:

  • fab本身是不對任何主機做遠程連接的,她只會設置env.host_string的值(即當前的host)。
  • NOTE: 連接對象Connection會保存在fabric.state.connections中,並做緩存,以減少創建新連接的消耗。

懶連接:

  • fab在執行遠程操作前,並不會事先去連接遠程主機,如:
from fabric.api import *

@hosts('host1')
def clean_and_upload():
    local('find assets/ -name "*.DS_Store" -exec rm '{}' \;')
    local('tar czf /tmp/assets.tgz assets/')
    put('/tmp/assets.tgz', '/tmp/assets.tgz') //這里才會開始進行遠程連接相關的操作:cache.get() == null?new : cache.get()
    with cd('/var/www/myapp/'):
        run('tar xzf /tmp/assets.tgz')

關閉連接:

  • 連接緩存並不會關閉連接。fab工具會幫你管理連接,它會遍歷所有連接,並在其退出前關閉連接。你也可以調用fabric.network.disconnect_all()來確保關閉所有連接。

多次連接嘗試和跳過錯誤的主機:

密碼管理:

  • Fabric在內存中維護了兩層的密碼緩存管理,會記住你登錄的密碼和sudo時的密碼,以免以后再次輸入。
  • 第一層密碼由 env.password保存,其值為ssh默認密碼或sudo提示輸入密碼。第二層密碼保存在env.passwords中,主要用於緩存user/host/port:password。
  • Fabric還是建議使用密鑰進行ssh訪問,如無密登錄。

使用本地的SSH配置文件:

  • 你可以為Fabric指定特定的ssh配置文件(--ssh-config-path/env.ssh_config_path.),但默認Fabric並沒有開啟加載配置文件,需要設置env.use_ssh_config為True。
  • 若開啟了Fabric加載配置文件的選項,則Fabric為使用以下一些配置項:

      User/Port ,HostName, IdentityFile, ForwardAgent, ProxyCommand。

具體參考可見:

http://docs.fabfile.org/en/1.9/usage/execution.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM