近日,第42届国际机器学习大会(International Conference on Machine Learning 2025,简称 ICML 2025)录用结果发布。学校网络与信息安全学院陈晓峰教授团队最新研究成果“PoisonedEye: Knowledge Poisoning Attack on Retrieval-Augmented Generation based Large Vision-Language Models”被大会收录。该论文的第一作者为张肖瑜副教授指导的2023级硕士生张晨阳。ICML是机器学习领域最权威的会议之一,被中国计算机学会(CCF)列为A类会议,其收录的论文代表了该领域最前沿的研究成果。
检索增强生成(RAG)系统通过引入外部知识库来增强大语言模型的生成能力,但其依赖的外部数据接口也带来了潜在的安全风险。在视觉-语言检索增强生成系统中,攻击者可能通过污染知识库的方式,诱导系统生成攻击者指定的恶意内容。本文提出了首个针对视觉-语言RAG系统的知识投毒攻击方案PoisonedEye。该方法的核心思想在于精心构造具有双重特性的投毒样本:既能被检索模块高效检索,又能引导生成模型输出攻击者预设的恶意结果,从而达到即时高效的投毒效应。此外,本文还提出了类查询目标投毒策略,将攻击范围从单一查询扩展至整个语义类别,显著提升了投毒攻击的覆盖面和实用性。实验结果表明,攻击者仅需在知识库中植入单个投毒样本,即可在目标查询时成功操控系统输出。且该方案在多种查询数据集、检索模型和大型视觉-语言模型上均展现出了较好的投毒效果。
该成果是睿云数据安全团队在人工智能安全领域取得的重要成果之一,揭示了多模态RAG系统在实际部署中面临严峻的安全挑战,为后续的防御工作提供了重要研究基础,对于提升学校在相关领域的学术影响力起到了一定的推动作用。