奇富科技PrAd框架：大模型微调新方案，入选国际顶会EMNLP 2025
在自然语言处理与人工智能技术的全球竞技场上，一项源自中国企业的创新技术正引领着大模型高效微调的新风潮。奇富科技近期宣布，其在大模型微调领域的最新研究成果——针对解码器架构语言模型的“提示自适应微调”（PrAd）技术，已被自然语言处理领域的顶级盛会EMNLP 2025 Findings接纳发表。这一成就标志着中国科技企业在人工智能基础科研领域的实力再次获得国际权威认可。
EMNLP，即自然语言处理经验方法会议，与ACL和NAACL并称为NLP领域的三大旗舰会议，以其严格的评审流程和极低的接纳率闻名于世，是全球NLP研究者展示最新成果、交流前沿思想的顶级舞台。奇富科技此次的研究成果能够入选，无疑是对公司长期以来在人工智能基础研究与技术创新方面不懈努力的肯定。
随着大语言模型在各行各业的应用日益广泛，如何以高效且低成本的方式实现多任务适配成为了业界亟待解决的难题。传统的全参数微调方法虽效果显著，但所需计算和存储资源庞大；而现有的参数高效微调方法，如提示微调和适配器微调等，又面临着训练不稳定、推理延迟高以及序列膨胀等问题。
针对这些挑战，奇富科技的研究团队开创性地提出了PrAd框架，专为解码器架构的大模型设计。这一方法巧妙地将结构优化与推理流程相结合，仅在预填充阶段引入轻量级的适配器模块对提示进行特征变换，而在解码阶段则保持模型原始结构不变，从而避免了额外的计算开销。
PrAd框架在多个方面实现了突破性的进展：在训练效率上，它无需增加输入长度，初始化简便，训练稳定性强，效果甚至超越了主流基线方法；在推理效率上，它仅在生成第一个标记时产生微小延迟，后续解码过程无额外开销，并支持多任务共享批推理，实测速度在多任务场景下较LoRA提升最高可达10倍以上；在运维成本上，它显著降低了适配器管理规模和显存占用，降幅可达50%，大大简化了多任务模型的部署与批量推理流程。
实验数据表明，PrAd在六项多样化的NLP任务上均表现出色，与最优方法相比毫不逊色甚至更胜一筹，同时在推理效率和资源利用率方面展现出显著优势。这一技术尤其适用于金融领域，能够满足多任务、高并发、低延迟的复杂应用场景需求。
奇富科技首席算法科学家费浩峻对此表示：“PrAd不仅是我们团队在技术研发上的一次重大突破，更是奇富‘以科技驱动金融服务创新’理念的生动实践。我们致力于将大模型技术高效、可靠地应用于金融场景，推动金融行业的智能化升级。”