本地运行 LLM 内存需求评估

本地运行LLM所需内存由权重、KV缓存和开销组成，需小于可用内存的80%。

在本地运行模型前，需要评估模型所需内存是否小于设备可用内存的80%。内存需求包括权重、KV缓存和开销。