欧洲初创公司Pruna AI宣布将于本周四开源其AI模型压缩算法优化框架。这家专注人工智能模型优化的企业,开发出一套集成多种效率提升技术的系统解决方案。
该框架通过整合缓存、剪枝、量化和知识蒸馏等技术,可对各类AI模型进行全方位优化。公司联合创始人兼首席技术官约翰·拉赫万(John Rachwan)向TechCrunch表示:"我们不仅实现了压缩模型的标准化存取,还支持多种压缩方法组合应用,并在压缩后对模型性能进行系统评估。"框架的核心优势在于能精准评估模型压缩后的质量损耗与性能增益。
拉赫万用行业标杆作类比:"我们就像是效率优化领域的Hugging Face——正如他们为Transformers和Diffusers模型建立标准体系,我们也为各类效率提升方法构建了统一规范。"当前主流AI实验室已普遍采用模型压缩技术,例如OpenAI通过知识蒸馏开发出更高效的GPT-4 Turbo版本,而黑森林实验室(Black Forest Labs)的Flux.1-schnell图像生成模型也源自Flux.1模型的蒸馏优化。
知识蒸馏作为核心技术,采用"教师-学生"模式从大型模型中萃取知识。开发者通过记录教师模型的输出结果,结合数据集验证准确性,最终训练出近似教师行为的学生模型。"大公司通常自建内部系统,而开源世界往往只有单一方法。"拉赫万强调,"Pruna的突破在于整合所有优化方法,提供统一易用的组合工具。"
虽然Pruna框架支持大语言模型、扩散模型、语音转文本模型及计算机视觉模型的全品类优化,但当前重点聚焦图像和视频生成领域。现有用户包括Scenario和PhotoRoom等知名企业。除开源版本外,Pruna还提供包含优化代理等高级功能的企业版服务。
"即将推出的压缩代理系统最值得期待。"拉赫万透露,"开发者只需设定'提速但精度损失不超过2%'等参数,系统会自动寻找最佳方案。"企业版采用按时计费模式,类似AWS的GPU租赁方案。经优化的Llama模型体积缩小8倍仍保持性能,公司希望客户将其视为高性价比的技术投资。
Pruna AI数月前完成650万美元种子轮融资,投资方包括EQT Ventures、Daphni、Motier Ventures和Kima Ventures等机构。创始团队成员包括拉扬·奈特·马齐(Rayan Nait Mazi)、伯特兰·夏彭蒂耶(Bertrand Charpentier)、约翰·拉赫万(John Rachwan)和斯蒂芬·金尼曼(Stephan Günnemann)。