aioysql(異步操作MySQL)-python


python異步IO初探

探索異步IO執之前,先說說IO的種類

  1. 阻塞IO最簡單,即讀寫數據時,需要等待操作完成,才能繼續執行。進階的做法就是用多線程來處理需要IO的部分,缺點是開銷會有些大。
  2. 非阻塞IO,即讀寫數據時,如果暫時不可讀寫,則立刻返回,而不等待。因為不知道什么時候是可讀寫的,所以輪詢時可能會浪費CPU時間。
  3. IO復用,即在讀寫數據前,先檢查哪些描述符是可讀寫的,再去讀寫。select 和 poll 就是這樣做的,它們會遍歷所有被監視的描述符,查看是否滿足,這個檢查的過程是阻塞的。而 epoll、kqueue 和/dev/poll 則做了些改進,事先注冊需要檢查哪些描述符的哪些事件,當狀態發生變化時,內核會調用對應的回調函數,將這些描述符保存下來;下次獲取可用的描述符時,直接返回這些發生變化的描述符即可。
  4. 信號驅動,即描述符就緒時,內核發送SIGIO信號,再由信號處理程序處理這些信號即可。不過信號處理的時機是從內核態返回用戶態時,感覺也得把這些事件收集起來才好處理,有點想模擬IO復用了。
  5. 最后時異步IO,即讀寫數據時,只注冊事件,內核完成讀寫后(讀取的數據會復制到用戶態),再調用事件處理函數。這整個過程都不會阻塞調用線程。

Python 3.4 開始,標准庫里又新增了 asyncio 這個模塊。
從原理上來說,它和 Tornado 其實差不多,都是注冊 IO 事件,然后在 IO loop 中等待事件發生,然后調用相應的處理函數。

aiomysql說明

 

1. poll

此庫提供一個簡單的連接對象用法:

import asyncio
import aiomysql

loop = asyncio.get_event_loop()

@asyncio.coroutine
def go()
    pool = yield from aiomysql.create_pool(host='127.0.0.1', port=3306,
                                           user='root', password='',
                                           db='mysql', loop=loop)

    with (yield from pool) as conn:
        cur = yield from conn.cursor()
        yield from cur.execute("SELECT 10")
        # print(cur.description)
        (r,) = yield from cur.fetchone()
       assert r == 10
    pool.close()
    yield from pool.wait_closed()

loop.run_until_complete(go())

解釋:
create_pool(minsize=1, maxsize=10, loop=None, **kwargs)
一個協程,創建連接池,連接database
參數:
minsize(int)最小的池子 , 反之maxsize(int)
loop一個可選的事件循環實例,若未循環,使用 asyncio.get_event_loop()
echo(bool)默認log執行SQL查詢
kwargs

Class pool:最重要的是獲得連接:

with (yield from pool) as conn:
    cur = yield from conn.cursor()

2.  aiomysql — API Reference

connection
該庫用來連接MySQL,使用簡單的aiomysql.connect(),可以連接一個數據庫或者關聯池子以連接更多

import asyncio   # 舉例說明
import aiomysql

loop = asyncio.get_event_loop()

@asyncio.coroutine
def test_example():
    conn = yield from aiomysql.connect(host='127.0.0.1', port=3306,
                                       user='root', password='', db='mysql',
                                       loop=loop)

    cur = yield from conn.cursor()
    yield from cur.execute("SELECT Host,User FROM user")
    print(cur.description)
    r = yield from cur.fetchall()
    print(r)
    yield from cur.close()
    conn.close()

loop.run_until_complete(test_example())

3. Cursors 游標

import asyncio
import aiomysql

loop = asyncio.get_event_loop()

@asyncio.coroutine
def test_example():
    conn = yield from aiomysql.connect(host='127.0.0.1', port=3306,
                                       user='root', password='',
                                       db='mysql', loop=loop)

    # create default cursor
    cursor = yield from conn.cursor()

    # execute sql query   # 執行sql查詢
    yield from cursor.execute("SELECT Host, User FROM user")

    # fetch all results
    r = yield from cursor.fetchall()

    # detach cursor from connection
    yield from cursor.close()

    # close connection
    conn.close()

loop.run_until_complete(test_example())

 




 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM