来源：数学与物理学院 作者：潘立港 代钰 摄影：潘立港 牛悦 申洪雪
2024年5月18日上午，数学与物理学院邀请河北工业大学理学院黄亚魁教授在逸夫楼303报告厅为师生们作了题为“基于带宽步长的控制随机梯度方法的改进”的学术报告。本次报告由马国栋教授主持，数学与物理学院江羡珍、尹江华、刘建勋等老师和研究生参加。
本报告介绍了一种新的方法，即SCSG-BD，用于平滑非凸有限和优化问题。对于三种不同的边界函数，在某些条件下，SCSG-BD以比随机控制随机梯度（SCSG）方法更快的速率次线性收敛到一个驻点。此外，如果目标函数满足Polyak-Lojasiewicz条件，SCSG-BD能够线性收敛到解。还介绍了用于实际计算的1/t-Barzilai-Borwein步长。数值实验表明，SCSG-BD的性能优于SCSG及其变体。
2024年5月18日下午，数学与物理学院邀请大连理工大学数学科学学院张立卫教授、南京大学数学系杨俊锋教授和南京师范大学蔡邢菊教授，在逸夫楼303报告厅为师生们作学术报告。本次报告由简金宝教授主持，数学与物理学院江羡珍、马国栋、刘新武、尹江华、刘建勋等老师和研究生参加学术报告活动。
南京师范大学蔡邢菊教授作了题为“ODE视角下的几个优化算法”的学术报告。本报告首先介绍了ODE方程，之后详细的介绍了ODE方程的离散格式与优化算法之间密切的联系，并从ODE角度给出几个具有一阶和二阶收敛率的优秀的优化算法，给出了这些算法理论方面的证明，最后对于算法的实际效果，进行了详细的介绍。
大连理工大学数学科学学院张立卫教授作了题为“A stochastic linearized proximal method of multipliers for convex stochastic optimization with expectation constraints”的学术报告。报告介绍了一种可计算的随机逼近型算法，即乘法器的随机线性化近似方法，用以解决凸随机优化问题。该算法结合了随机逼近和传统乘法器近似方法的特点，提供了一种新的解决思路。在一定的温和条件下，证明了算法的收敛性。具体来说，当算法中的参数被恰当选择时，算法在目标函数的约简和约束条件的违反上都能展现出预期的收敛速度，其中K代表迭代步数。此外，还展示了在高概率情况下，算法能够维持约束违反界和目标函数界的性能。通过一些初步的数值实验，验证了该算法的有效性。这些结果不仅证明了算法的理论基础，也展示了其在实际应用中的潜力。
南京大学数学系杨俊锋教授作了题为“A Single-Loop Algorithm for Decentralized Bilevel Optimization”的学术报告。 本报告深入探讨了双层优化（BO）在机器学习领域的应用，并特别关注了分散式BO问题。近年来，由于其在多个领域的广泛应用，BO已经成为研究的热点。在本次报告中，介绍了一种创新的单循环算法，用于解决具有强凸性下层问题的BO问题。该算法设计为一种完全的单循环方法，它在每次迭代中仅通过两次矩阵向量乘法来近似超梯度，这一设计显著提高了算法的效率。与传统方法相比，该算法不依赖于梯度异质性的假设，这一点在算法的普适性上具有明显优势。此外，该算法在收敛率上达到了BO领域内公认的优异水平。
在本次报告中，四次位教授讲解风格不一，报告的内容有优化算法，随机优化，神经网络机器学习等，激发了师生们听报告的兴趣，听得非常认真，也感受到各位教授严谨的治学态度和刻苦钻研的科研精神。并且我们的师生和每位教授之间非常愉快的交流，面对提问，教授们尽自己所能解答疑惑、给出建议。各位教授讲述了近几年的科研经历和初心，令在座师生们感叹，在报告过程中讲解亲切严谨，以及对问题深刻的认识，让师生们受益匪浅。
专家简介
黄亚魁，河北工业大学教授、硕士生导师。2015年博士毕业于西安电子科技大学，2015年至2017年在中国科学院数学与系统科学研究院从事博士后研究。主要研究兴趣包括梯度类算法理论及应用、大规模机器学习和分布式优化等领域的一阶算法，相关成果发表在SIAM Journal on Optimization、Journal of Scientific Computing、Computational Optimization and Applications等期刊，主持国家自然科学基金、河北省自然科学基金、中国博士后基金等科研项目。现任中国运筹学会数学规划分会理事、中国运筹学会算法软件与应用分会常务理事、中国数学会计算数学分会理事、河北省运筹学会秘书长。
蔡邢菊，南京师范大学教授。主要从事最优化理论与算法、变分不等式、数值优化方向研究工作。主持国家青年基金1项、面上基金1项、省青年基金1项，参加国家重点项目1项，获江苏省科学技术奖一等奖1项。
张立卫，大连理工大学数学科学学院教授，运筹学与控制论专业博士生指导教师，金融数学与保险精算专业博士生指导教师。他于1989年，1992年，1998年分别在大连理工大学获得理学学士，硕士，博士学位，1999-2001在中科院计算数学所从事博士后工作。目前的研究兴趣是“矩阵优化”，“随机规划”与“均衡优化”。他完成和主持自然科学基金面上基金多项，重点基金子课题2项，目前主持国家科技部重点研发计划课题1项，面上基金1项。在国际顶级期刊Mathematical Programming, Operations Research，SIAM Journal on Optimization，Mathematics of Operations Research，INFORMS Journal on Computing，Mathematics of Computation，JMLR上发表论文十多篇。现任中国运筹学会常务理事，中国运筹学会金融工程与金融风险管理分会副理事长，《APJOR》和《运筹学学报》编委，2020年获得中国运筹学会运筹研究奖。
杨俊锋，南京大学数学系教授, 主要从事最优化计算方法及其应用研究，代表作发表在SIAM系列、Mathematics of Computation等，开发图像去模糊软代码包FTVd, 压缩感知一模解码代码包YALL1等。2012 年入选教育部新世纪优秀人才支持计划，2016年获中国运筹学会青年科技奖，2017年获国际华裔数学家联盟最佳论文奖，2019年获国家自然科学基金优秀青年项目，2020-2022连续三年入选爱思唯尔中国高被引学者。
初审：马国栋 复审：何朝丽 终审：邹同霞
