Laravel中chunk組塊結果集處理


如果你需要處理成千上萬個 Eloquent 結果,可以使用 chunk 命令。chunk 方法會獲取一個“組塊”的 Eloquent 模型,並將其填充到給定閉包進行處理。使用 chunk 方法能夠在處理大量數據集合時能夠有效減少內存消耗:

Flight::chunk(200, function ($flights) {
    foreach ($flights as $flight) {
        //
    }
});
        $all_ark=Arkvolume::chunk(50000, function ($flights) {
            foreach ($flights as $flight) {
               $GLOBALS['something'][] = $flight['id'];
            }
        });

        var_dump($GLOBALS['something'] );exit;

  這段代碼是執行一個100條的數據進行更新,當執行完成后繼續后面的另一百條數據……
也就是說他每次操作的是一個數據塊而不是整個數據庫。

需要注意的是:當使用帶篩選的條件的chunk時,如果是自更新,那么你會漏掉一些數據,接着看代碼:

User::where('approved', 0)->chunk(100, function ($users) {
  foreach ($users as $user) {
    $user->update(['approved' => 1]);
  }
});

  

如果要運行上面的代碼,並不會有報錯,但是where條件是篩選approved0user然后將approved的值跟新為1
在這個過程中,檔第一數據庫的數據被修改后,下一個數據塊的數據將是在被修改后的數據中選出來的,這個時候數據變了,而page也加了1。所以執行結束后,只對數據中一半的數據進行了更新操作。

如果沒有明白的話,我們來看一下chunk的底層實現。還以上面的代碼為例,假如一共有400條數據,數據被按照100條進行分塊處理。
page = 1: 最開始的時候page為1,選取1-100條數據進行處理;
page = 2: 這時候前一百數據的approved值全部為1,那么在次篩選的時候數據將從第101條開始,而這個時候的page=2,那么處理的數據將是第200-300之前的數據
之后依舊。

public function chunk($count, callable $callback)
{
    $results = $this->forPage($page = 1, $count)->get();

    while (count($results) > 0) {
        // On each chunk result set, we will pass them to the callback and then let the
        // developer take care of everything within the callback, which allows us to
        // keep the memory low for spinning through large result sets for working.
        if (call_user_func($callback, $results) === false) {
            return false;
        }

        $page++;

        $results = $this->forPage($page, $count)->get();
    }

    return true;
}

  




免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM