缺月挂疏桐，漏断人初静。 谁见幽人独往来，缥缈孤鸿影。 惊起却回头，有恨无人省。 拣尽寒枝不肯栖，寂寞沙洲冷。---- 苏轼 更多精彩内容请关注微信公众号 “优化与算法” ISTA算法和 ...

1. 关于全局最优化求解   全局最优化是一个非常复杂的问题，目前还没有一个通用的办法可以对任意复杂函数求解全局最优值。上一篇文章讲解了一个求解局部极小值的方法——梯度下降法。这种方法对于求解精度不 ...

摘要： 　　1.算法概述 　　2.算法要点与推导 　　3.算法特性及优缺点 　　4.注意事项 　　5.实现和具体例子 　　6.适用场合 内容： 　　1.算法概述 　　FTRL是一种适 ...

分支定界法（branch and bound）是一种求解整数规划问题的最常用算法。这种方法不但可以求解纯整数规划，还可以求解混合整数规划问题。分支定界法是一种搜索与迭代的方法，选择不同的分支变量和子问 ...

深度学习中的优化问题通常指的是：寻找神经网络上的一组参数θ，它能显著地降低代价函数J(θ)。针对此类问题，研究人员提出了多种优化算法，Sebastian Ruder 在《An overview ...

以前搞数学建模的时候，研究过(其实也不算是研究，只是大概了解)一些人工智能算法，比如前面已经说过的粒子群算法(PSO),还有著名的遗传算法(GA),模拟退火算法(SA),蚁群算法(ACA） ...

上一次我们使用遗传算法求解了一个较为复杂的多元非线性函数的极值问题，也基本了解了遗传算法的实现基本步骤。这一次，我再以经典的TSP问题为例，更加深入地说明遗传算法中选择、交叉、变异等核心步骤 ...

世事短如春梦，人情薄似秋云。 不须计较苦劳心，万事原来有命。 幸遇三杯酒好，况逢一朵花新。 片时欢笑且相亲，明日阴晴未定。 ——《西江月》 朱敦儒 一、引子 有一辆汽车在马路上匀加速前进，随着时间 ...

　　　　这篇文章是之前写的智能算法（遗传算法（GA）、粒子群算法（PSO））的补充。其实代码我老早之前就写完了，今天恰好重新翻到了，就拿出来给大家分享一下，也当是回顾与总结了。 　　　　首先介绍一下 ...

优化算法经常要用到导数、梯度、Hesse矩阵等，因此编写了一个类用于实现这些功能 建立一个Function类，构造函数的参数是一个函数 其中part的功能是求偏导，var_index表示是第 ...