AIRS in the AIR
AIRS in the AIR | NeurIPS 2023论文分享会

第62期AIRS in the AIR邀请三位在NeurIPS 2023发表论文的一作进行分享,主题涵盖后门缓解、无监督图表示学习、多智能体强化学习中的信息设计等。
魏少魁,香港中文大学(深圳)数据科学学院博士生,其导师为查宏远教授与吴保元教授。他的主要研究方向为人工智能安全与公平、计算机视觉与优化,包括核方法、强化学习、机器学习在经济/市场营销中的应用。
孙子恒,香港中文大学(深圳)数据科学学院博士生,其导师为丁宏强教授,其大数据研究院合作导师为樊继聪教授。他的研究领域为人工智能在图结构数据的应用,包括图神经网络,图表示学习,图论,以及各种图相关的嵌入方法和核方法。
林越,香港中文大学(深圳)数据科学学院科研助理,由王趵翔教授指导。他的科研兴趣是多智能体强化学习和信息设计,以及其他相关的计算经济学领域中的机制设计问题。
-
庞旭芳AIRS特种机器人中心副研究员主持人
-
魏少魁香港中文大学(深圳)数据科学学院博士生Backdoor Mitigation via Adversarial Training Techniques
Shaokui Wei is currently a Ph.D. candidate in the School of Data Science (SDS), the Chinese University of Hong Kong, Shenzhen (CUHKSZ) under the supervision of Professor Hongyuan Zha and Professor Baoyuan Wu. Previously, he received a Bachelor's degree (rank No.1, first-class honor) in Electronic Information Engineering from the School of Science and Engineering (SSE), CUHKSZ. His research interest lies in in AI Security and Fairness, Computer Vision and Optimization, but also include Kernel Methods, Reinforcement Learning, and the application of Machine Learning in economics/marketing.
Backdoor attacks are a serious threat to the security and reliability of machine learning models. In this talk, I will present two novel methods for defending against backdoor attacks using a small clean dataset. The first method, Shared Adversarial Unlearning (SAU), leverages the connection between backdoor risk and adversarial risk, and aims to mitigate the backdoor effect by unlearning the shared adversarial examples between the backdoored model and the purified model. The second method, Neural Polarizer, is inspired by the mechanism of the optical polarizer, and aims to purify the poisoned samples by filtering out the trigger information while preserving the benign information. Both methods are formulated as bi-level optimization problems, which can be solved efficiently using adversarial training techniques. I will demonstrate the effectiveness and efficiency of our methods on various benchmark datasets and network architectures, and show that they outperform existing fine-tuning-based defense methods, especially in the case of very limited clean data. I will also discuss some open challenges and future directions for backdoor defense research.
-
孙子恒香港中文大学(深圳)数据科学学院博士生Lovász Principle for Unsupervised Graph Representation Learning
孙子恒,本科毕业于浙江大学电气工程学院电子信息工程专业,现在为港中大(深圳)数据科学学院2020级博士生,其导师为丁宏强教授 Professor Chris Ding,其大数据研究院合作导师为樊继聪教授。孙子恒的研究领域为人工智能在图结构数据的应用,包括图神经网络,图表示学习,图论,以及各种图相关的嵌入方法和核方法。他对传统机器学习方法,特别是特征选择,聚类,主成成分分析(PCA)等方面也有一定的研究。在数学方面,他擅长矩阵分析,交替乘子优化,离散优化等方法,并且对组合数学,图论,信息论也有一定的了解。
本文侧重于图级表示学习,旨在将图表示为可直接用于图分类等下游任务的向量。我们受到了图论中Lovász数的启发并提出了一种名为Lovász原理的新型图级表示学习原理。Lovász数是一个实数,是图Shannon容量的上界,与图的各种全局特征密切相关。具体而言,我们展示了用于计算Lovász数的伞柄向量可能是图表示的合适选择,因为它捕捉了图的全局特性。为了处理直接应用伞柄向量带来的困难和问题,我们将Lovász 原理应用于图神经网络来解决这些问题。此外,我们提出了一个增强版的Lovász原理来更高效地利用子图的Lovász数。实验证明,我们的Lovász原理在无监督和半监督图级表示学习任务中与基线方法相比取得了具有竞争力的表现。
-
林越香港中文大学(深圳)数据科学学院科研助理Information Design in Multi-Agent Reinforcement Learning
林越,目前是香港中文大学(深圳)数据科学学院的科研助理,由王趵翔教授指导。其科研兴趣是多智能体强化学习和信息设计,以及其他相关的计算经济学领域中的机制设计问题。个人主页是https://yuelin301.github.io/。
强化学习(RL)受到了人类和动物与环境互动的启发。这种设定有些理想化,因为在实际任务中,环境中的其他智能体有自己的目标,并会根据自我智能体的行为适应性地行动。为了在这些环境中获得优秀的表现,智能体需要影响其他智能体,使得他的行为变得更有助益且不那么有害。计算经济学的研究总结了两种直接影响他人的方法:通过提供有形商品(机制设计)和通过提供信息(信息设计)。这篇工作研究了一组RL智能体的信息设计问题。主要的挑战有两方面。一方面是提供的信息会立即影响智能体轨迹的转换,这引入了额外的非平稳性。另一方面是信息可能会被忽略,所以发送者必须提供接收者愿意尊重的信息。我们制定了马尔可夫传信博弈,并发展了传信梯度和扩展服从约束的概念来应对这些挑战。我们的算法在各种混合动机任务上都很高效,并为计算经济学提供了进一步的见解。我们的代码已经提交到https://github.com/YueLin301/InformationDesignMARL
时间 | 环节 | 嘉宾与题目 |
---|---|---|
16:00-16:20 |
主题报告 |
魏少魁 , 香港中文大学(深圳)数据科学学院博士生 |
16:20-16:40 |
主题报告 |
孙子恒 ,香港中文大学(深圳)数据科学学院博士生 |
16:40-17:00 |
主题报告 |
林越 ,香港中文大学(深圳)数据科学学院科研助理 |
视频回顾