English Version
学院简介 历史沿革 机构设置 现任领导 院长寄语 历任领导 咨询委员会
学科工作 学科采风 科研工作 科研项目 博士后科研流动站
本科教学 专业学位 研究生教学 高端培训 继续教育
招生信息 专业介绍 招聘信息 职业规划 毕业生信息 毕业生去向(Placement of Graduates) EFMD国际人才网
国际交流 合作项目 国际认证 办事指南
学工在线 研究生学工
党建巡礼 学院简报 学习参考 管理制度 教工之家
校友名录 杰出校友 历史名人 MBA联合会 EMBA校友会
 
经济学高级研究论坛第119期

  讲座题目:An algorithmic view of L_2 regularization and some path-following Algorithms

  报告人: 刘仁雄 博士候选人

  报告时间:2019年5月15日(周三)下午:15点30分

  报告地点:经管院B127

  主办单位:数理经济与数理金融系

  主持人:李汛

  摘要: We establish an equivalence between L_2-regularized solution path and the solution of an ordinary differentiable equation (ODE).Importantly, this equivalence reveals that the solution path can be viewed as the flow of a hybrid of gradient descent and Newton method applying to the empirical loss, which is similar to a widely used optimization technique called trust region method. This provides an interesting algorithmic view of  L_2 regularization, and is in contrast to the conventional view that the L_2 regularization solution path is similar to the gradient flow of the empirical loss. Interestingly, the limit of the solution path is shown to coincide with the minimum L_2 norm minimizer of the empirical loss provided that it is finite.Path-following algorithms based on homotopy method and numerical ODE solvers are considered to numerically approximate the solution path. In particular, we consider Newton update and gradient descent update as the basis algorithm  for the homotopy method, and establish their the global approximation error rates. In terms of computational cost, these path-following algorithms are shown to require roughly thesame computational cost needed for computing a single solution on the path. Finally, we use L_2-regularized logistic regression as an illustrating example to demonstrate  the effectiveness of the proposed path-following algorithms.

  报告人简介:刘仁雄,武汉大学数理金融实验班本科毕业,现就读于美国俄亥俄州立大学统计系,研究方向为机器学习,计算统计和最优化。

发布时间:2019-05-14 09:23:14 浏览人数:
相关链接
 
查询服务:2019普通本科生转专业成绩查询 | 本科教务系统 | 研究生教务系统 | 科研管理系统 | E科之家 | 校历查询 | 交通查询 | 网站管理
相关链接:《经济评论》 | 《珞珈管理评论》 | 《珞珈MBA》 | 《武汉大学EMBA》 | 康腾实践中心
博评网