碼上快樂

相關內容    簡體    繁體

Spring線程池（同步、異步）

本文轉載自   查看原文   2020-11-21 11:48   493 

一、spring異步線程池類圖

 

 

二、簡單介紹

TaskExecutor：Spring異步線程池的接口類，其實質是java.util.concurrent.Executor。

以下是官方已經實現的全部7個TaskExecuter。Spring宣稱對於任何場景，這些TaskExecuter完全夠用了：

名字 特點
SimpleAsyncTaskExecutor 每次請求新開線程，沒有最大線程數設置.不是真的線程池，這個類不重用線程，每次調用都會創建一個新的線程。
SyncTaskExecutor 不是異步的線程.同步可以用SyncTaskExecutor，但這個可以說不算一個線程池，因為還在原線程執行。這個類沒有實現異步調用，只是一個同步操作。
ConcurrentTaskExecutor Executor的適配類，不推薦使用。如果ThreadPoolTaskExecutor不滿足要求時，才用考慮使用這個類。
SimpleThreadPoolTaskExecutor 監聽Spring’s lifecycle callbacks，並且可以和Quartz的Component兼容.是Quartz的SimpleThreadPool的類。線程池同時被quartz和非quartz使用，才需要使用此類。
ThreadPoolTaskExecutor 最常用。要求jdk版本大於等於5。可以在程序而不是xml里修改線程池的配置.其實質是對java.util.concurrent.ThreadPoolExecutor的包裝。
TimerTaskExecutor  
WorkManagerTaskExecutor

三、Spring的同步執行器

1、SyncTaskExecutor：同步可以用SyncTaskExecutor，但這個可以說不算一個線程池，因為還在原線程執行。這個類沒有實現異步調用，只是一個同步操作，一般不會用。

2、可以用ThreadPoolTaskExecutor結合FutureTask做到同步。

3、SyncTaskExecutor與ThreadPoolTaskExecutor區別：前者是同步執行器，執行任務同步，后者是線程池，執行任務異步。

四、Spring的異步執行器

異步執行用戶任務的SimpleAsyncTaskExecutor。每次執行客戶提交給它的任務時，它會啟動新的線程，並允許開發者控制並發線程的上限（concurrencyLimit），從而起到一定的資源節流作用。默認時，concurrencyLimit取值為-1，即不啟用資源節流。

SimpleAsyncTaskExecutor
<bean id="simpleAsyncTaskExecutor"   
    class="org.springframework.core.task.SimpleAsyncTaskExecutor">  
    <property name="daemon" value="true"/>  
    <property name="concurrencyLimit" value="2"/>  
    <property name="threadNamePrefix" value="simpleAsyncTaskExecutor"/>
</bean>

主要實現：

  • 支持限流處理：ConcurrencyThrottleSupport和ConcurrencyThrottleInterceptor實現。
  • 異步注冊線程返回結果：ListenableFutureTask主要是對JDK的FutureTask進行封裝,覆蓋了原始的run方法，在run中封裝可以獲取到線程的返回值。 
public class SimpleAsyncTaskExecutor extends CustomizableThreadCreator implements AsyncListenableTaskExecutor, Serializable {
    //限流主要實現
    private final SimpleAsyncTaskExecutor.ConcurrencyThrottleAdapter concurrencyThrottle = new SimpleAsyncTaskExecutor.ConcurrencyThrottleAdapter();
    private ThreadFactory threadFactory;
    //設置最大的線程數量
    public void setConcurrencyLimit(int concurrencyLimit) {
            this.concurrencyThrottle.setConcurrencyLimit(concurrencyLimit);
    }
    //是否開啟了限流 限流數量大於0？
    public final boolean isThrottleActive() {
            return this.concurrencyThrottle.isThrottleActive();
    }
    //1.是否開啟限流 否則不開啟限流處理
    //2.執行開始之前檢測是否可以滿足要求 當前數量++
    //3.開啟限流將執行的Runable進行封裝，執行完成調用final方法 當前數量--
    public void execute(Runnable task, long startTimeout) {
            Assert.notNull(task, "Runnable must not be null");
            if(this.isThrottleActive() && startTimeout > 0L) {
                this.concurrencyThrottle.beforeAccess();
                this.doExecute(new SimpleAsyncTaskExecutor.ConcurrencyThrottlingRunnable(task));
            } else {
                this.doExecute(task);
            }
      }
     //異步提交有返回值
    public Future<?> submit(Runnable task) {
          FutureTask future = new FutureTask(task, (Object)null);
          this.execute(future, 9223372036854775807L);
          return future;
      }

      public <T> Future<T> submit(Callable<T> task) {
          FutureTask future = new FutureTask(task);
          this.execute(future, 9223372036854775807L);
          return future;
      }

      public ListenableFuture<?> submitListenable(Runnable task) {
          ListenableFutureTask future = new ListenableFutureTask(task, (Object)null);
          this.execute(future, 9223372036854775807L);
          return future;
      }

      public <T> ListenableFuture<T> submitListenable(Callable<T> task) {
          ListenableFutureTask future = new ListenableFutureTask(task);
          this.execute(future, 9223372036854775807L);
          return future;
      }
      //擁有工廠？沒有的話調用父類可以設置各種參數的創建線程
      protected void doExecute(Runnable task) {
          Thread thread = this.threadFactory != null?this.threadFactory.newThread(task):this.createThread(task);
          thread.start();
      }
      //父類的方法，方便配置線程，方便xml設置線程參數CustomizableThreadCreator 
      public Thread createThread(Runnable runnable) {
            Thread thread = new Thread(getThreadGroup(), runnable, nextThreadName());
            thread.setPriority(getThreadPriority());
            thread.setDaemon(isDaemon());
            return thread;
        }


 }

實現類(ListenableFutureTask)可有返回值，可被監聽的，注冊監聽，這里可以注冊監聽者放在一個單獨的類中去處理，很好的分配工作ListenableFutureCallbackRegistry。

public class ListenableFutureTask<T> extends FutureTask<T> implements ListenableFuture<T> {
    private final ListenableFutureCallbackRegistry<T> callbacks = new ListenableFutureCallbackRegistry();

    public ListenableFutureTask(Callable<T> callable) {
        super(callable);
    }

    public ListenableFutureTask(Runnable runnable, T result) {
        super(runnable, result);
    }

    public void addCallback(ListenableFutureCallback<? super T> callback) {
        this.callbacks.addCallback(callback);
    }

    public void addCallback(SuccessCallback<? super T> successCallback, FailureCallback failureCallback) {
        this.callbacks.addSuccessCallback(successCallback);
        this.callbacks.addFailureCallback(failureCallback);
    }
    //FutureTask執行完成后的回調，調用監聽接口的實現類的方法
    protected final void done() {
        Object cause;
        try {
            Object ex = this.get();
            //回調實現類的方法
            this.callbacks.success(ex);
            return;
        } catch (InterruptedException var3) {
            Thread.currentThread().interrupt();
            return;
        } catch (ExecutionException var4) {
            cause = var4.getCause();
            if(cause == null) {
                cause = var4;
            }
        } catch (Throwable var5) {
            cause = var5;
        }

        this.callbacks.failure((Throwable)cause);
    }
} 

五、使用ThreadPoolTaskExecutor

乍一看，跟ThreadPoolExecutor很像。

ThreadPoolTaskExecutor是spring core包中的，而ThreadPoolExecutor是JDK中的JUC。ThreadPoolTaskExecutor是對ThreadPoolExecutor進行了封裝處理。

ThreadPoolExecutor和ThreadPoolTaskExecutor的類結構

 

ThreadPoolTaskExecutor 源碼及配置參數
public class ThreadPoolTaskExecutor extends ExecutorConfigurationSupport implements SchedulingTaskExecutor {
    private final Object poolSizeMonitor = new Object();
    private int corePoolSize = 1;
    private int maxPoolSize = 2147483647;
    private int keepAliveSeconds = 60;
    private boolean allowCoreThreadTimeOut = false;
    private int queueCapacity = 2147483647;
    private ThreadPoolExecutor threadPoolExecutor;   //這里就用到了ThreadPoolExecutor

這是ThreadPoolTaskExecutor用來初始化threadPoolExecutor的方法，BlockingQueue是一個阻塞隊列，這個我們先不管。由於ThreadPoolTaskExecutor的實現方式完全是使用threadPoolExecutor進行實現，我們需要知道這個threadPoolExecutor的一些參數。

public ThreadPoolExecutor(int corePoolSize,
                              int maximumPoolSize,
                              long keepAliveTime,
                              TimeUnit unit,
                              BlockingQueue<Runnable> workQueue,
                              ThreadFactory threadFactory,
                              RejectedExecutionHandler handler) {
        if (corePoolSize < 0 ||
            maximumPoolSize <= 0 ||
            maximumPoolSize < corePoolSize ||
            keepAliveTime < 0)
            throw new IllegalArgumentException();
        if (workQueue == null || threadFactory == null || handler == null)
            throw new NullPointerException();
        this.corePoolSize = corePoolSize;
        this.maximumPoolSize = maximumPoolSize;
        this.workQueue = workQueue;
        this.keepAliveTime = unit.toNanos(keepAliveTime);
        this.threadFactory = threadFactory;
        this.handler = handler;
    }
配置參數：
  • corePoolSize：線程池維護線程的最小數量。
  • maximumPoolSize：線程池維護線程的最大數量。
  • keepAliveTime：空閑線程的存活時間。
  • TimeUnit unit：時間單位,現有納秒,微秒,毫秒,秒枚舉值。
  • BlockingQueue<Runnable> workQueue：持有等待執行的任務隊列。
  • RejectedExecutionHandler handler：用來拒絕一個任務的執行，有兩種情況會發生這種情況。  　
    • 一是在execute方法中若addIfUnderMaximumPoolSize(command)為false，即線程池已經飽和；  　　
    • 二是在execute方法中, 發現runState!=RUNNING || poolSize == 0,即已經shutdown,就調用ensureQueuedTaskHandled(Runnable command)，在該方法中有可能調用reject。
ThreadPoolExecutor池子的處理流程如下：
  1. 當池子大小小於corePoolSize就新建線程，並處理請求。
  2. 當池子大小等於corePoolSize，把請求放入workQueue中，池子里的空閑線程就去從workQueue中取任務並處理。
  3. 當workQueue放不下新入的任務時，新建線程入池，並處理請求，如果池子大小撐到了maximumPoolSize就用RejectedExecutionHandler來做拒絕處理。
  4. 另外，當池子的線程數大於corePoolSize的時候，多余的線程會等待keepAliveTime長的時間，如果無請求可處理就自行銷毀。

其會優先創建  CorePoolSize 線程， 當繼續增加線程時，先放入Queue中，當 CorePoolSiz  和 Queue 都滿的時候，就增加創建新線程，當線程達到MaxPoolSize的時候，就會拋出錯 誤 org.springframework.core.task.TaskRejectedException

另外MaxPoolSize的設定如果比系統支持的線程數還要大時，會拋出java.lang.OutOfMemoryError: unable to create new native thread 異常。

Reject策略預定義有四種： 
  • ThreadPoolExecutor.AbortPolicy策略，是默認的策略,處理程序遭到拒絕將拋出運行時 RejectedExecutionException。 
  • ThreadPoolExecutor.CallerRunsPolicy策略 ,調用者的線程會執行該任務,如果執行器已關閉,則丟棄。
  • ThreadPoolExecutor.DiscardPolicy策略，不能執行的任務將被丟棄。
  • ThreadPoolExecutor.DiscardOldestPolicy策略，如果執行程序尚未關閉，則位於工作隊列頭部的任務將被刪除，然后重試執行程序（如果再次失敗，則重復此過程）。
線程池創建示例
ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
// 設置核心線程數,它是可以同時被執行的線程數量
executor.setCorePoolSize(2);
// 設置最大線程數,緩沖隊列滿了之后會申請超過核心線程數的線程
executor.setMaxPoolSize(4);
// 設置緩沖隊列容量,在執行任務之前用於保存任務
executor.setQueueCapacity(1000);
// 設置線程生存時間（秒）,當超過了核心線程出之外的線程在生存時間到達之后會被銷毀
executor.setKeepAliveSeconds(1);
// 設置線程名稱前綴
executor.setThreadNamePrefix("xxxx-");
// 設置拒絕策略
executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
// 初始化
executor.initialize();

六、關於Spring的Async

對於異步方法調用，從Spring3開始提供了@Async注解，該注解可以被標注在方法上，以便異步地調用該方法。調用者將在調用時立即返回，方法的實際執行將提交給Spring TaskExecutor的任務中，由指定的線程池中的線程執行。

在項目應用中，@Async調用線程池，推薦使用自定義線程池的模式。

前提是要添加@EnableAsync注解開啟異步調用。

@Async應用默認線程池

Spring應用默認的線程池，指在@Async注解在使用時，不指定線程池的名稱。查看源碼，@Async的默認線程池為SimpleAsyncTaskExecutor。

無返回值調用

基於@Async無返回值調用，直接在使用類，使用方法（建議在使用方法）上，加上注解。若需要拋出異常，需手動new一個異常拋出。

/**
     * 帶參數的異步調用 異步方法可以傳入參數
     *  對於返回值是void，異常會被AsyncUncaughtExceptionHandler處理掉
     * @param s
     */
    @Async
    public void asyncInvokeWithException(String s) {
        log.info("asyncInvokeWithParameter, parementer={}", s);
        throw new IllegalArgumentException(s);
    }
有返回值Future調用
/**
     * 異常調用返回Future
     *  對於返回值是Future，不會被AsyncUncaughtExceptionHandler處理，需要我們在方法中捕獲異常並處理
     *  或者在調用方在調用Futrue.get時捕獲異常進行處理
     *
     * @param i
     * @return
     */
    @Async
    public Future<String> asyncInvokeReturnFuture(int i) {
        log.info("asyncInvokeReturnFuture, parementer={}", i);
        Future<String> future;
        try {
            Thread.sleep(1000 * 1);
            future = new AsyncResult<String>("success:" + i);
            throw new IllegalArgumentException("a");
        } catch (InterruptedException e) {
            future = new AsyncResult<String>("error");
        } catch(IllegalArgumentException e){
            future = new AsyncResult<String>("error-IllegalArgumentException");
        }
        return future;
    }
有返回值CompletableFuture調用

CompletableFuture 並不使用@Async注解，可達到調用系統線程池處理業務的功能。

JDK5新增了Future接口，用於描述一個異步計算的結果。雖然 Future 以及相關使用方法提供了異步執行任務的能力，但是對於結果的獲取卻是很不方便，只能通過阻塞或者輪詢的方式得到任務的結果。阻塞的方式顯然和我們的異步編程的初衷相違背，輪詢的方式又會耗費無謂的 CPU 資源，而且也不能及時地得到計算結果。

  • CompletionStage代表異步計算過程中的某一個階段，一個階段完成以后可能會觸發另外一個階段
  • 一個階段的計算執行可以是一個Function，Consumer或者Runnable。比如：stage.thenApply(x -> square(x)).thenAccept(x -> System.out.print(x)).thenRun(() -> System.out.println())
  • 一個階段的執行可能是被單個階段的完成觸發，也可能是由多個階段一起觸發：在Java8中，CompletableFuture提供了非常強大的Future的擴展功能，可以幫助我們簡化異步編程的復雜性，並且提供了函數式編程的能力，可以通過回調的方式處理計算結果，也提供了轉換和組合 CompletableFuture 的方法。
  • 它可能代表一個明確完成的Future，也有可能代表一個完成階段（ CompletionStage ），它支持在計算完成以后觸發一些函數或執行某些動作。
  • 它實現了Future和CompletionStage接口
/**
* 數據查詢線程池
*/
private static final ThreadPoolExecutor SELECT_POOL_EXECUTOR = new ThreadPoolExecutor(10, 20, 5000,
    TimeUnit.MILLISECONDS, new LinkedBlockingQueue<>(1024), new ThreadFactoryBuilder().setNameFormat("selectThreadPoolExecutor-%d").build());

// tradeMapper.countTradeLog(tradeSearchBean)方法表示，獲取數量，返回值為int
// 獲取總條數
CompletableFuture<Integer> countFuture = CompletableFuture
        .supplyAsync(() -> tradeMapper.countTradeLog(tradeSearchBean), SELECT_POOL_EXECUTOR);
// 同步阻塞
CompletableFuture.allOf(countFuture).join();
// 獲取結果
int count = countFuture.get();
默認線程池的弊端

在線程池應用中，參考阿里巴巴java開發規范：線程池不允許使用Executors去創建，不允許使用系統默認的線程池，推薦通過ThreadPoolExecutor的方式，這樣的處理方式讓開發的工程師更加明確線程池的運行規則，規避資源耗盡的風險。Executors各個方法的弊端：

  • newFixedThreadPool和newSingleThreadExecutor：主要問題是堆積的請求處理隊列可能會耗費非常大的內存，甚至OOM。
  • newCachedThreadPool和newScheduledThreadPool：要問題是線程數最大數是Integer.MAX_VALUE，可能會創建數量非常多的線程，甚至OOM。

@Async默認異步配置使用的是SimpleAsyncTaskExecutor，該線程池默認來一個任務創建一個線程，若系統中不斷的創建線程，最終會導致系統占用內存過高，引發OutOfMemoryError錯誤。針對線程創建問題，SimpleAsyncTaskExecutor提供了限流機制，通過concurrencyLimit屬性來控制開關，當concurrencyLimit>=0時開啟限流機制，默認關閉限流機制即concurrencyLimit=-1，當關閉情況下，會不斷創建新的線程來處理任務。基於默認配置，SimpleAsyncTaskExecutor並不是嚴格意義的線程池，達不到線程復用的功能。

@Async應用自定義線程池

自定義線程池，可對系統中線程池更加細粒度的控制，方便調整線程池大小配置，線程執行異常控制和處理。在設置系統自定義線程池代替默認線程池時，雖可通過多種模式設置，但替換默認線程池最終產生的線程池有且只能設置一個（不能設置多個類繼承AsyncConfigurer）。自定義線程池有如下模式：

  • 重新實現接口AsyncConfigurer
  • 繼承AsyncConfigurerSupport
  • 配置由自定義的TaskExecutor替代內置的任務執行器

通過查看Spring源碼關於@Async的默認調用規則，會優先查詢源碼中實現AsyncConfigurer這個接口的類，實現這個接口的類為AsyncConfigurerSupport。但默認配置的線程池和異步處理方法均為空，所以，無論是繼承或者重新實現接口，都需指定一個線程池。且重新實現 public Executor getAsyncExecutor()方法。

實現接口AsyncConfigurer
@Configuration
public class AsyncConfiguration implements AsyncConfigurer {
    @Bean("kingAsyncExecutor")
    public ThreadPoolTaskExecutor executor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        int corePoolSize = 10;
        executor.setCorePoolSize(corePoolSize);
        int maxPoolSize = 50;
        executor.setMaxPoolSize(maxPoolSize);
        int queueCapacity = 10;
        executor.setQueueCapacity(queueCapacity);
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        String threadNamePrefix = "kingDeeAsyncExecutor-";
        executor.setThreadNamePrefix(threadNamePrefix);
        executor.setWaitForTasksToCompleteOnShutdown(true);
        // 使用自定義的跨線程的請求級別線程工廠類
        RequestContextThreadFactory threadFactory = RequestContextThreadFactory.getDefault();
        executor.setThreadFactory(threadFactory);
        int awaitTerminationSeconds = 5;
        executor.setAwaitTerminationSeconds(awaitTerminationSeconds);
        executor.initialize();
        return executor;
    }

    @Override
    public Executor getAsyncExecutor() {
        return executor();
    }

    @Override
    public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() {
        return (ex, method, params) -> ErrorLogger.getInstance().log(String.format("執行異步任務'%s'", method), ex);
    }
}
繼承AsyncConfigurerSupport
@Configuration
@EnableAsync
class SpringAsyncConfigurer extends AsyncConfigurerSupport {

    @Bean
    public ThreadPoolTaskExecutor asyncExecutor() {
        ThreadPoolTaskExecutor threadPool = new ThreadPoolTaskExecutor();
        threadPool.setCorePoolSize(3);
        threadPool.setMaxPoolSize(3);
        threadPool.setWaitForTasksToCompleteOnShutdown(true);
        threadPool.setAwaitTerminationSeconds(60 * 15);
        threadPool.initialize();
        return threadPool;
    }

    @Override
    public Executor getAsyncExecutor() {
        return asyncExecutor;
    }

    @Override
    public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() {
        return (ex, method, params) -> ErrorLogger.getInstance().log(String.format("執行異步任務'%s'", method), ex);
    }
}
配置自定義的TaskExecutor

由於AsyncConfigurer的默認線程池在源碼中為空，Spring通過beanFactory.getBean(TaskExecutor.class)先查看是否有線程池，未配置時，通過beanFactory.getBean(DEFAULT_TASK_EXECUTOR_BEAN_NAME, Executor.class)，又查詢是否存在默認名稱為TaskExecutor的線程池。所以可在項目中，定義名稱為TaskExecutor的bean生成一個默認線程池。也可不指定線程池的名稱，申明一個線程池，本身底層是基於TaskExecutor.class便可。

@EnableAsync
@Configuration
public class TaskPoolConfig {
    @Bean(name = AsyncExecutionAspectSupport.DEFAULT_TASK_EXECUTOR_BEAN_NAME)
    public Executor taskExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
         //核心線程池大小
        executor.setCorePoolSize(10);
        //最大線程數
        executor.setMaxPoolSize(20);
        //隊列容量
        executor.setQueueCapacity(200);
        //活躍時間
        executor.setKeepAliveSeconds(60);
        //線程名字前綴
        executor.setThreadNamePrefix("taskExecutor-");
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        return executor;
    }
    
    @Bean(name = "new_task")
    public Executor taskExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
         //核心線程池大小
        executor.setCorePoolSize(10);
        //最大線程數
        executor.setMaxPoolSize(20);
        //隊列容量
        executor.setQueueCapacity(200);
        //活躍時間
        executor.setKeepAliveSeconds(60);
        //線程名字前綴
        executor.setThreadNamePrefix("taskExecutor-");
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        return executor;
    }
}

@Async注解，使用系統默認或者自定義的線程池（代替默認線程池）。可在項目中設置多個線程池，在異步調用時，指明需要調用的線程池名稱，如@Async("new_task")。

注意事項：
  •  @Async異步任務需要添加事務支持步驟
    • @Async與@Transaction注解分開方法，即在@Async注解的方法內部再單獨去調用擁有@Transaction注解的方法。
    • 在調用擁有@Async注解的方法的父方法需要添加@Transaction注解。

參考：

https://www.cnblogs.com/keyi/p/11350531.html

https://www.cnblogs.com/wlandwl/p/async.html

 


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 同步異步 定時任務 Spring線程池 Spring @Async之四：Aysnc的異步執行的線程池 python 之 並發編程（進程池與線程池、同步異步阻塞非阻塞、線程queue） java 線程池——異步任務 java 線程池——異步任務 java學習：線程池和異步 CompletableFuture異步和線程池講解 spring boot:使用async異步線程池發送注冊郵件(spring boot 2.3.1) Spring集成線程池 spring線程池ThreadPoolTaskExecutor
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM