GitHub 热门项目：ComfyUI-GGUF

GitHub 项目：ComfyUI-GGUF 仓库地址：https://github.com/city96/ComfyUI-GGUF 星级：3953 | 作者：city96 项目描述：GGUF 对原生 ComfyUI 模型的量化支持 =================================================== 自述文件内容： #ComfyUI-GGUF 对本机 ComfyUI 模型的 GGUF 量化支持 目前这还处于 WIP 阶段。这些自定义节点为以 [llama.cpp](https://github.com/ggerganov/llama.cpp) 流行的 GGUF 格式存储的模型文件提供支持。 虽然量化对于常规 UNET 模型 (conv2d) 不可行，但转换器/DiT 模型（例如通量）似乎受量化的影响较小。这允许在低端 GPU 上以低得多的每权重可变比特率量运行它。为了进一步节省 VRAM，还包括一个用于加载 T5 文本编码器的量化版本的节点。  注意：“强制/设置 CLIP 设备”**不是**此节点包的一部分。如果您只有一个 GPU，请勿安装它。如果您不明白它的用途，请勿将其设置为 cuda:0 然后抱怨 OOM 错误。无需复制上面的工作流程，只需使用您自己的工作流程并将库存的“Load Diffusion Model”替换为“Unet Loader (GGUF)”节点即可。 ## 安装 > [!重要] > 确保您的 ComfyUI 版本足够新，以便在加载仅 UNET 时支持自定义操作。 要正常安装自定义节点，请 git 将此存储库克隆到自定义节点文件夹（`ComfyUI/custom_nodes`）中，并安装唯一的推理依赖项（`pip install --upgrade gguf`） ```` git 克隆 https://github.com/city96/ComfyUI-GGUF ```` 要在独立的 ComfyUI 版本上安装自定义节点，请在“ComfyUI_windows_portable”文件夹（“run_nvidia_gpu.bat”文件所在的位置）内打开 CMD 并使用以下命令： ```` git 克隆 https://github.com/city96/ComfyUI-GGUF ComfyUI/custom_nodes/ComfyUI-GGUF .\python_embeded\python.exe -s -m pip install -r .\ComfyUI\custom_nodes\ComfyUI-GGUF\requirements.txt ```` 在 MacOS sequoia 上，似乎需要 torch 2.4.1，因为 2.6.X nightly 版本会导致“M1 缓冲区不够大”错误。有关更多信息/解决方法，请参阅[此问题](https://github.com/city96/ComfyUI-GGUF/issues/107)。 ## 用法 只需使用“bootleg”类别下的 GGUF Unet 加载程序即可。将 .gguf 模型文件放入“ComfyUI/models/unet”文件夹中。 LoRA 加载是实验性的，但它应该仅适用于内置 LoRA 加载器节点。 预量化模型： - [flux1-dev GGUF](https://huggingface.co/city96/FLUX.1-dev-gguf) - [flux1-schnell GGUF](https://huggingface.co/city96/FLUX.1-schnell-gguf) - [stable-diffusion-3.5-large GGUF](https://huggingface.co/city96/stable-diffusion-3.5-large-gguf) - [stable-diffusion-3.5-large-turbo GGUF](https://huggingface.co/city96/stable-diffusion-3.5-large-turbo-gguf) 最近还添加了对量化 T5 的初始支持，可以使用各种“*CLIPLoader (gguf)”节点来使用这些节点，这些节点可以代替常规节点。对于 CLIP 模型，请使用您之前用于 CLIP 的任何模型。加载器可以处理两种类型的文件 - `gguf` 和常规的 `safetens