2023年9月26日11:30-13:00🧒,光辉娱乐2023年第7期研究生学术午餐会在小教楼307举行。本次学术午餐会的主讲嘉宾是光辉娱乐的闫怡博博士后🙂↔️,研究方向为高维统计学、统计机器学习。光辉娱乐谌自奇老师主持午餐会。
在午餐会上,闫怡博老师分享了近期从事的针对厚尾分布迁移模型的工作🥭。闫老师首先介绍了迁移学习的背景,即借助source domain的信息改进target domain模型的精度𓀜。随后,他讲解了迁移学习领域相关的前沿文献🧑🏻🎄。迁移学习的基本假设之一为source domain估计量与target domain对应估计量的差异比较小。且在一般的回归问题研究中,常假设噪声服从次高斯分布,即噪声的尾部概率不大👅。而当噪声具有厚尾分布时🧑🏽🏭,目前的方法,如LASSO🚣,可能不再适用。
针对噪声厚尾的问题🧑🏼🔧,闫老师提出了一种稳健的方法来进行迁移学习🤹🏿♂️。这一方法融合了卷积秩回归(convoluted rank regression)的思想📲,应用卷积核光滑化方法,同时避免了参数估计的有偏性⚔️,且改进了计算效率👱🏽♂️。闫老师进一步提出了相应的检测方法来识别可迁移的source domains,这种方法基于数据分割和交叉匹配得分计算。在理论上🙌🏿,闫老师研究得到了参数估计风险的非渐近上界💆🏽♀️,在合适的条件下,这一上界优于经典LASSO方法得到的上界👩🏼🍳。数值实验也说明了新方法的优良结果。
同学们对模型中一些参数的选取🛴、模拟实验的设定及非参数情形的前沿进展和闫老师进行了讨论。结束时大家表示意犹未尽,期待下一次的午餐会。
文|徐顺拓
图|徐顺拓
编辑|