本文旨在探索求解有限和问题的随机优化算法，为此本文首先回顾了机器学习中的典型问题——有限和问题，然后综述了解决有限和问题的优化算法。特别地，针对欧氏空间中的有限和问题，我们从算法原理、算法收敛速率和算法优缺点这三个方面出发，主要回顾和总结了梯度下降算法、随机梯度下降算法、随机平均梯度算法、随机方差缩减梯度算法，并对其中一些算法进行了数值模拟；同时，针对矩阵流形（黎曼流形）中的有限和问题，我们从算法原理、算法收敛速率和算法优缺点这三个方面出发，回顾和总结了投影梯度下降算法、投影随机梯度下降算法以及黎曼流形上的随机方差缩减梯度算法，并对其中一些算法进行了数值模拟。在对优化算法理论层面和实验层面的探索中，我们得到如下结论：随机方差缩减梯度算法在欧氏空间和黎曼流形上均能较好的解决有限和问题，即能达到较小的计算量，也能达到一个较快的收敛速率。

本文主要工作

1)第二章将总结与比较欧氏空间上求解有限和问题的优化算法。总结的算法主要包括：梯度下降算法（FG），随机梯度下降算法（SGD），随机平均梯度算法

（SAG），随机梯度平均算法（SGA），随机方差缩减梯度算法（SVRG）。这一章将会从以下几个方面出发对这些优化算法进行说明：算法产生原因，算法的迭代格式， 算法的收敛性及收敛速度；并从算法的优缺点出发，将其中的若干方法和其相似算法进行进一步的对比。

2)第三章将总结与比较黎曼流形上求解有限和问题的优化算法。总结的算法主要包括：黎曼流形上的梯度下降算法（RGD），黎曼流形上的随机梯度下降算法

（RSGD），黎曼随机方差缩减梯度算法（RSVRG）。前两种算法我们将在 Hadamard 流形上（即一种特殊的黎曼流形）进行说明。这一部分将会从以下几个方面出发对这些优化算法进行比较详细的介绍：算法产生原因，算法的迭代格式，算法的收敛性分析，算法的优缺点说明。

第四章将对第二、三章中几种方法进行数值模拟，展示数值模拟的结果，并对产生的结果进行分析。

本文主要针对有限和问题的求解算法进行了初步探索，特别地，本文归纳总结了众多学者在寻求有限和问题的解时所得到的若干前沿算法，包括欧氏空间上的算法和黎曼流形上的算法，在此基础上成功复现了部分算法的数值模拟实验。

本文虽然对部分算法进行了数值模拟，但本文的重点还是在于对这些算法理论上的研究。本文主要有以下几点不足之处：

(1)本文没有成功实现随机方差缩减梯度算法的数值模拟实验；

(2)本文成功实现数值模拟实验的几个算法对应的图像并没有做到很明显的体现出几种算法的差别，而反观参考文献中的作出的图像，不仅有很明显的变化趋势，也有较强烈的对比效果；

(3)本文没能对算法提出改进方案，这是由于对算法的理解还不是很深刻，对算法的使用还不是很熟练。