测量大模型所需内存的神器，误差仅0.5MB，免费试用

?最新资讯?
HuggingFace最新推出了一款名为Model Memory Calculator的工具，可以测量大模型所需的内存，测量误差仅为0.5MB。使用该工具非常简单，只需输入模型名称和选择数据类型即可。现在，你可以提前预估GPU内存是否足够，并且误差非常小。该工具支持在HuggingFace Transformers库和TIMM库中搜索模型。当模型规模达到百亿参数时，内存需求急剧增加。在实际推理中，EleutherAI发现需要在预测数据基础上，预留20%的内存。如果你对该工具感兴趣，可以点击链接了解更多信息：[链接](https://huggingface.co/spaces/hf-accelerate/model-memory-usage)
来源：https://www.qbitai.com