atom


Atom:一种低位量化技术,可实现高效、准确(LLM)服务
Atom 是一种低比特量化技术,通过使用低比特操作符和低比特量化来减少内存使用,从而显著提高吞吐量而不损失准确性。它使用了细粒度和混合精度量化的特殊组合,以保持卓越的准...
2023-11-24 新闻资讯
40