粒子群算法
粒子群算法是在1995年由Eberhart博士和Kennedy博士一起提出的，它源於對鳥群捕食行為的研究。它的基本核心是利用群體中的個體對信息的共享從而使整個群體的運動在問題求解空間中產生從無序到有序的演化過程，從而獲得問題的最優解。設想這么一個場景：一群鳥進行覓食，而遠處有一片玉米地，所有的鳥都不知道玉米地到底在哪里，但是它們知道自己當前的位置距離玉米地有多遠。那么找到玉米地的最佳策略，也是最簡單有效的策略就是搜尋目前距離玉米地最近的鳥群的周圍區域。
在PSO中，每個優化問題的解都是搜索空間中的一只鳥，稱之為"粒子"，而問題的最優解就對應於鳥群中尋找的"玉米地"。所有的粒子都具有一個位置向量（粒子在解空間的位置）和速度向量（決定下次飛行的方向和速度），並可以根據目標函數來計算當前的所在位置的適應值（fitness value）,可以將其理解為距離"玉米地"的距離。在每次的迭代中，種群中的例子除了根據自身的經驗（歷史位置）進行學習以外，還可以根據種群中最優粒子的"經驗"來學習，從而確定下一次迭代時需要如何調整和改變飛行的方向和速度。就這樣逐步迭代，最終整個種群的例子就會逐步趨於最優解。
上面的解釋可能還比較抽象，下面通過一個簡單的例子來進行說明
在一個湖中有兩個人他們之間可以通信，並且可以探測到自己所在位置的最低點。初始位置如上圖所示，由於右邊比較深，因此左邊的人會往右邊移動一下小船。
現在左邊比較深，因此右邊的人會往左邊移動一下小船
一直重復該過程，最后兩個小船會相遇
得到一個局部的最優解
將每個個體表示為粒子。每個個體在某一時刻的位置表示為，x(t),方向表示為v(t)
p（t）為在t時刻x個體的自己的最優解，g(t)為在t時刻所有個體的最優解，v(t)為個體在t時刻的方向，x(t)為個體在t時刻的位置
下一個位置為上圖所示由x,p,g共同決定了
種群中的粒子通過不斷地向自身和種群的歷史信息進行學習，從而可以找到問題的最優解。
但是，在后續的研究中表表明，上述原始的公式中存在一個問題：公式中V的更新太具有隨機性，從而使整個PSO算法的全局優化能力很強，但是局部搜索能力較差。而實際上，我們需要在算法迭代初期PSO有着較強的全局優化能力，而在算法的后期，整個種群應該具有更強的局部搜索能力。所以根據上述的弊端，shi和Eberhart通過引入慣性權重修改了公式，從而提出了PSO的慣性權重模型：
每一個向量的分量表示如下
其中w稱為是PSO的慣性權重，它的取值介於【0,1】區間，一般應用中均采用自適應的取值方法，即一開始令w=0.9，使得PSO全局優化能力較強，隨着迭代的深入，參數w進行遞減，從而使的PSO具有較強的局部優化能力，當迭代結束時，w=0.1。參數c1和c2稱為學習因子，一般設置為1,4961；而r1和r2為介於[0,1]之間的隨機概率值。
整個粒子群優化算法的算法框架如下：
step1種群初始化，可以進行隨機初始化或者根據被優化的問題設計特定的初始化方法，然后計算個體的適應值，從而選擇出個體的局部最優位置向量和種群的全局最優位置向量。
step2 迭代設置：設置迭代次數，並令當前迭代次數為1
step3 速度更新：更新每個個體的速度向量
step4 位置更新：更新每個個體的位置向量
step5 局部位置和全局位置向量更新：更新每個個體的局部最優解和種群的全局最優解
step6 終止條件判斷：判斷迭代次數時都達到最大迭代次數，如果滿足，輸出全局最優解，否則繼續進行迭代，跳轉至step 3。
對於粒子群優化算法的運用，主要是對速度和位置向量迭代算子的設計。迭代算子是否有效將決定整個PSO算法性能的優劣，所以如何設計PSO的迭代算子是PSO算法應用的研究重點和難點。
4. 對粒子群優化算法中慣性權重的認識
參數w被稱之為是慣性權重，顧名思義w實際反映了粒子過去的運動狀態對當前行為的影響，就像是我們物理中提到的慣性。如果w<<1，從前的運動狀態很少能影響當前的行為，粒子的速度會很快的改變；相反，w較大，雖然會有很大的搜索空間，但是粒子很難改變其運動方向，很難向較優位置收斂，由於算法速度的因素，在實際運用中很少這樣設置。也就是說，較高的w設置促進全局搜索，較低的w設置促進快速的局部搜索。
1 function z = Sphere(x) 2 z = sum(x.^2); 3 end 4 5 6 7 function out = PSO(problem, params) 8 %% Problem Definiton 9 CostFunction = problem.CostFunction; % Cost Function 10 nVar = problem.nVar; % Number of Unknown (Decision) Variables 11 VarSize = [1 nVar]; % Matrix Size of Decision Variables 12 VarMin = problem.VarMin; % Lower Bound of Decision Variables 13 VarMax = problem.VarMax; % Upper Bound of Decision Variables 14 %% Parameters of PSO 15 MaxIt = params.MaxIt; % Maximum Number of Iterations 16 nPop = params.nPop; % Population Size (Swarm Size) 17 w = params.w; % Intertia Coefficient 18 wdamp = params.wdamp; % Damping Ratio of Inertia Coefficient 19 c1 = params.c1; % Personal Acceleration Coefficient 20 c2 = params.c2; % Social Acceleration Coefficient 21 % The Flag for Showing Iteration Information 22 ShowIterInfo = params.ShowIterInfo; 23 MaxVelocity = 0.2*(VarMax-VarMin); 24 MinVelocity = -MaxVelocity; 25 %% Initialization 26 % The Particle Template 27 empty_particle.Position = []; 28 empty_particle.Velocity = []; 29 empty_particle.Cost = []; 30 empty_particle.Best.Position = []; 31 empty_particle.Best.Cost = []; 32 % Create Population Array 33 particle = repmat(empty_particle, nPop, 1); 34 % Initialize Global Best 35 GlobalBest.Cost = inf; 36 % Initialize Population Members 37 for i=1:nPop 38 % Generate Random Solution 39 particle(i).Position = unifrnd(VarMin, VarMax, VarSize); 40 % Initialize Velocity 41 particle(i).Velocity = zeros(VarSize); 42 % Evaluation 43 particle(i).Cost = CostFunction(particle(i).Position); 44 % Update the Personal Best 45 particle(i).Best.Position = particle(i).Position; 46 particle(i).Best.Cost = particle(i).Cost; 47 % Update Global Best 48 if particle(i).Best.Cost < GlobalBest.Cost 49 GlobalBest = particle(i).Best; 50 end 51 end 52 % Array to Hold Best Cost Value on Each Iteration 53 BestCosts = zeros(MaxIt, 1); 54 %% Main Loop of PSO 55 for it=1:MaxIt 56 for i=1:nPop 57 % Update Velocity 58 particle(i).Velocity = w*particle(i).Velocity ... 59 + c1*rand(VarSize).*(particle(i).Best.Position - particle(i).Position) ... 60 + c2*rand(VarSize).*(GlobalBest.Position - particle(i).Position); 61 % Apply Velocity Limits 62 particle(i).Velocity = max(particle(i).Velocity, MinVelocity); 63 particle(i).Velocity = min(particle(i).Velocity, MaxVelocity); 64 65 % Update Position 66 particle(i).Position = particle(i).Position + particle(i).Velocity; 67 % Apply Lower and Upper Bound Limits 68 particle(i).Position = max(particle(i).Position, VarMin); 69 particle(i).Position = min(particle(i).Position, VarMax); 70 % Evaluation 71 particle(i).Cost = CostFunction(particle(i).Position); 72 % Update Personal Best 73 if particle(i).Cost < particle(i).Best.Cost 74 particle(i).Best.Position = particle(i).Position; 75 particle(i).Best.Cost = particle(i).Cost; 76 % Update Global Best 77 if particle(i).Best.Cost < GlobalBest.Cost 78 GlobalBest = particle(i).Best; 79 end 80 end 81 end 82 % Store the Best Cost Value 83 BestCosts(it) = GlobalBest.Cost; 84 % Display Iteration Information 85 if ShowIterInfo 86 disp(['Iteration ' num2str(it) ': Best Cost = ' num2str(BestCosts(it))]); 87 end 88 % Damping Inertia Coefficient 89 w = w * wdamp; 90 end 91 92 out.pop = particle; 93 out.BestSol = GlobalBest; 94 out.BestCosts = BestCosts; 95 96 end 97 98 99 %% Problem Definiton 100 problem.CostFunction = @(x) Sphere(x); % Cost Function 101 problem.nVar = 5; % Number of Unknown (Decision) Variables 102 problem.VarMin = -10; % Lower Bound of Decision Variables 103 problem.VarMax = 10; % Upper Bound of Decision Variables 104 105 %% Parameters of PSO 106 params.MaxIt = 1000; % Maximum Number of Iterations 107 params.nPop = 50; % Population Size (Swarm Size) 108 params.w = 1; % Intertia Coefficient 109 params.wdamp = 0.99; % Damping Ratio of Inertia Coefficient 110 params.c1 = 2; % Personal Acceleration Coefficient 111 params.c2 = 2; % Social Acceleration Coefficient 112 params.ShowIterInfo = true; % Flag for Showing Iteration Informatin 113 114 %% Calling PSO 115 out = PSO(problem, params); 116 117 BestSol = out.BestSol; 118 BestCosts = out.BestCosts; 119 120 %% Results 121 figure; 122 % plot(BestCosts, 'LineWidth', 2); 123 semilogy(BestCosts, 'LineWidth', 2); 124 xlabel('Iteration'); 125 ylabel('Best Cost'); 126 grid on;
粒子群優化
引入收斂因子，不要慣性權重
Clerc引入收斂因子（contriction factor）保證收斂性
與使用慣性權重的PSO算法相比，使用收斂因子的PSO有更快的收斂速度。其實只要恰當的選取,兩種算法是一樣的。因此使用收斂因子的PSO可以看作使用慣性權重PSO的特例。恰當的選取算法的參數值可以改善算法的性能。
