英语· 中文
> **新增:[社区基准](#community-benchmarks-b)** — 浏览来自实际用户的真实性能数据。按“b”查看任何 GPU(不仅仅是您的 GPU)的测量 tok/s、TTFT 和 VRAM。使用“H”从 27 多个硬件预设(RTX 5090 到 Apple M1)中进行选择,以便在购买或构建之前比较实际数字。 **数百个模型和提供商。一个命令即可查找您的硬件上运行的内容。** 一个终端工具,可根据系统的 RAM、CPU 和 GPU 调整 LLM 模型的大小。检测您的硬件,对每个模型的质量、速度、适合度和上下文维度进行评分,并告诉您哪些模型实际上可以在您的计算机上运行良好。 附带交互式 TUI(默认)和经典 CLI 模式。支持多 GPU 设置、MoE 架构、动态量化选择、速度估计和本地运行时提供程序(Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio)。 **新增:[社区基准](#community-benchmarks-b) (`b`)** — 查看与您运行相同硬件的其他用户的真实 tok/s、TTFT 和 VRAM 使用情况。由 [localmaxxing.com](https://localmaxxing.com) 提供支持,这弥补了估计性能和实际性能之间的差距。 另外:[下载管理器](#download-manager-d) (`D`)、[高级配置](#advanced-configuration-a) (`A`) 和 [硬件模拟](#hardware-simulation-s) — 按 `D` 来管理下载、查看历史记录、删除模型和配置下载目录。按“A”调整 TPS 效率、运行模式系数和评分权重。按“S”来模拟不同的硬件。 > **姐妹项目:** > - [sympozium](https://github.com/sympozium-ai/sympozium/) — 在 Kubernetes 中管理代理。 > - [llmserve](https://github.com/AlexsJones/llmserve) — 一个用于服务本地 LLM 模型的简单 TUI。选择一个模型,选择一个后端,为其提供服务。 > - [llama-panel](https://github.com/AlexsJones/llama-panel) — 用于管理本地 llama-server 实例的本机 macOS 应用程序。 ![演示