报告题目:非中心化联邦学习的统计推断
报告人:陈松蹊 中国科学院院士 北京大学
主持人:郑志明 中国科学院院士 北京航空航天大学
报告时间:2024年9月8日(星期日)11:00
报告地点:久久精品国产精品九九99研究生院报告厅
报告摘要:
This paper considers decentralized Federated Learning (FL) under heterogeneous distributions among distributed clients or data blocks for the M-estimation. The mean squared error and consensus error across the estimators from different clients via the decentralized stochastic gradient descent
algorithm are derived. The asymptotic normality of the Polyak-Ruppert (PR) averaged estimator in the decentralized distributed setting is attained, which shows that its statistical efficiency comes at a cost as it is more restrictive on the number of clients than that in the distributed M-estimation. To overcome the restriction, a one-step estimator is proposed which permits a much larger number of clients while still achieving the same efficiency as the original PR-averaged estimator in the non-distributed setting. The confidence regions based on both the PR-averaged estimator and the proposed one-step estimator are constructed to facilitate statistical inference for decentralized Federated Learning.
报告人简介:
陈松蹊,中国科学院院士,全国政协委员,北京大学讲席教授,北京大学数学科学学院和光华管理学院教授,中国概率统计学会理事长。主要研究方向为超高维大数据统计分析、环境统计、非参数统计方法等,在超高维假设检验方法和非参数经验似然方法方面取得丰硕成果;注重数理统计的应用,以国家大气污染防治的重大需求为出发点,从事统计学与大气环境交叉学科研究,提出了去除大气监测数据中的气象因素干扰的方法,为精准度量污染排放和评估大气治理效果提供了科学方法。曾获教育部自然科学一等奖,被选为美国科学促进会会士、美国统计学会会士、数理统计学会会士。
湖南国家应用数学中心
湖南韶峰应用数学研究院
到家集团
久久精品国产精品九九99数学与计算科学学院
湖南省数学学会
湘潭市国家高新技术产业开发区
湘潭市大数据和产业创新发展中心
“智能计算与信息处理”教育部重点实验室
“科学工程计算与数值仿真”湖南省重点实验室
“计算科学”湖南省科技创新国际合作基地