研究领域

数学优化、机器学习优化、大模型训练算法

个人简介

袁淦钊，2013年获华南理工大学博士学位。曾在南洋理工大学、新加坡高等数字科学中心以及阿卜杜拉国王科技大学（KAUST）开展合作研究，曾任中山大学副研究员、鹏城实验室副研究员。主要研究方向为机器学习优化理论、数值优化方法及其在人工智能领域的应用，近年来重点开展面向大规模机器学习和大语言模型的优化算法研究。相关成果发表于 ACM TODS、IEEE TPAMI、ICLR、ICML、VLDB、SIGKDD 等国际期刊和会议。作为项目负责人，主持国家自然科学基金面上项目两项、广东省自然科学杰出青年基金、广州市珠江科技新星人才项目等科研项目。长期从事国际人工智能领域重要会议及期刊的学术服务工作，包括 ICLR Area Chair，以及 ICML、JMLR、SIIMS、SISC 等国际期刊和会议审稿人。

主要研究方向

非凸优化算法是现代机器学习中的核心技术之一。相较于凸优化，非凸优化在面临高维度变量、大规模数据、多局部极值以及非光滑结构等问题时，挑战更为严峻；而其固有的计算复杂性和收敛难题，仍是当前领域的重要瓶颈。围绕这些问题，研究如何利用模型结构设计高效算法，并从理论上分析算法的收敛行为、计算复杂度与解的性质。
具体地说，主要提出增强型坐标下降算法、光滑化算子分裂算法(如光滑化近端梯度和交替方向乘子法)、互补约束优化算法、(近端)随机梯度算法等非凸优化框架，旨在提升算法的适用性，降低算法复杂度，改进算法求解精度。这些算法已被用在求解带有结构的非凸优化问题(如稀疏优化、低秩优化、离散优化、正交优化、差凸优化、分式优化、有限和优化、随机优化等)，在理论上具备良好的收敛性、迭代复杂度以及最优性等保证，在高维统计、差分隐私、信号恢复、矩阵填充、图像去噪、神经网络等机器学习关键任务中也表现出了实证优势。
近年来，重点开展面向大规模机器学习与大语言模型训练的自适应随机优化研究，研究算法如何根据训练过程中的优化轨迹信息自动调整更新方式。通过结合理论分析与数值实验，探索兼顾训练效率、稳定性和计算开销的优化方法，为人工智能模型训练提供算法与理论支撑。

学习经历

2010—2013年  华南理工大学，博士

2008—2010年  华南理工大学，硕士
2004—2008年  天津工业大学，学士

工作经历

2025年至今  深圳理工大学，副教授

2019—2025年  鹏城实验室，副研究员（2021年获聘长聘副研究员）
2017—2018年  中山大学，副研究员
2015—2016年  阿卜杜拉国王科技大学（KAUST），博士后
2013—2015年  华南理工大学数学学院，博士后
2012—2013年  新加坡南洋理工大学，研究助理
2011—2012年  新加坡高等数字科学中心，研究助理

学术服务

担任国际学习表征会议(ICLR)领域主席 (Area Chair)；担任ICML、ICLR、NeurIPS等会议及Journal of Machine Learning Research (JMLR)、SIAM Journal on Imaging Sciences (SIIMS)、SIAM Journal on Scientific Computing (SISC)等期刊审稿人。

荣誉与奖励

首届粤港澳大湾区(黄埔)国际算法算例大赛矩阵计算赛道第四名(2022年)。
广东省杰出青年科学基金获得者(2018年)。
广州市珠江科技新星人才计划入选者(2017年)。

代表性科研项目

[01] 国家自然科学基金面上项目：大语言模型的自适应非凸优化算法与理论(批准号：62676257)，2027.01—2030.12，50万元，主持。
[02] 广东省自然科学杰出青年基金：序列凸近似的非凸优化方法及其在机器学习中的应用(批准号：2018B030306025)，2018.06—2022.06，100万元，主持。
[03] 国家自然科学基金面上项目：基于互补约束的非凸优化方法及其应用(批准号：61772570)，2018.01—2021.12，64万元，主持。
[04] 广州市珠江科技新星项目：基于互补约束的非凸优化方法及其在机器学习中的应用(批准号: 201806010056)，2018/01-2020/12，30万元，主持.
[05] 国家自然科学基金青年基金：基于秩一近似的大规模矩阵优化算法及其应用(批准号: 61402182)，2015/01-2017/12，24万元，主持。

代表性文章

[01] Ganzhao Yuan. A Block Coordinate Descent Method for Nonsmooth Composite Optimization under Orthogonality Constraints. ICLR 2026.
[02] Da Chang, Ganzhao Yuan. MGUP: A Momentum-Gradient Alignment Update Policy for Stochastic Optimization. NeurIPS 2025. [Spotlight, Top 3%]
[03] Ganzhao Yuan. ADMM for Nonconvex Optimization under Minimal Continuity Assumption. ICLR 2025.
[04] Ganzhao Yuan. ADMM for Structured Fractional Minimization. ICLR 2025.
[05] Ganzhao Yuan. Smoothing Proximal Gradient Methods for Nonsmooth Sparsity Constrained Optimization: Optimality Conditions and Global Convergence. ICML 2024.
[06] Ganzhao Yuan. Coordinate Descent Methods for Fractional Minimization. ICML 2023.
[07] Ganzhao Yuan. Coordinate Descent Methods for DC Minimization: Optimality Conditions and Global Convergence. AAAI 2023.
[08] Ganzhao Yuan, Li Shen, Wei-Shi Zheng. A Block Decomposition Algorithm for Sparse Optimization. ACM SIGKDD 2020.
[09] Ganzhao Yuan, Bernard Ghanem. L0TV: A Sparse Optimization Method for Impulse Noise Image Restoration. IEEE TPAMI 2018.
[10] Ganzhao Yuan, Yin Yang, Zhenjie Zhang, Zhifeng Hao. Convex Optimization for Linear Query Processing under Approximate Differential Privacy. ACM SIGKDD 2016.
[11] Ganzhao Yuan, Zhenjie Zhang, Marianne Winslett, Xiaokui Xiao, Yin Yang, Zhifeng Hao. Optimizing Batch Linear Queries under Exact and Approximate Differential Privacy. ACM TODS 2015.
[12] Ganzhao Yuan, Zhenjie Zhang, Marianne Winslett, Xiaokui Xiao, Yin Yang, Zhifeng Hao. Low-Rank Mechanism: Optimizing Batch Queries under Differential Privacy. VLDB 2012.