生活知识小技巧网logo.png生活知识小技巧网

生活知识小技巧网
生活知识小技巧网是中国最大的生物技术、生物科学门户网站。
生活知识小技巧网

新的LLM极限压缩方法将AI部署成本降低8倍

导读 36氪获悉,Yandex Research、IST Austria(奥地利科学技术研究所)、Neural Magic和KAUST开发并开源了两种大型语言模型(LLM)压缩方法...

36氪获悉,Yandex Research、IST Austria(奥地利科学技术研究所)、Neural Magic和KAUST开发并开源了两种大型语言模型(LLM)压缩方法,AQLM和PV-Tuning,将模型大小减少多达8倍,同时保留95%的响应质量。据介绍,新方法将设备成本降低最多8倍,大幅降低AI部署的进入门槛。

来源:36氪

免责声明:本文由用户上传,如有侵权请联系删除!

相关推荐

最新文章