骆驼.cpp

llama .cpp AI 存在于您的计算机上。开源、私有且始终本地化。完全在您的机器上运行前沿人工智能。没有 API 密钥、没有遥测、没有限制。拥有您的模型和对话数据。卷曲-LsSf https://llama.app/install.sh | sh 更喜欢 Brew 还是 Winget？包管理器 · 宁愿从源代码构建？按照说明将其与本地编码代理配对。运行 llamaserve ，安装 pi-llama 插件并启动 Pi 。它将自动发现您的本地模型。没有配置，没有 API 密钥。文件保留在您的计算机上，请求永远不会离开它。 # 1. 提供 llama 模型服务 # 2. 安装 pi-llama 插件 pi install git:github.com/huggingface/pi-llama # 3. 运行 Pi，一切都已设置 pi 针对任何硬件进行了优化。从您的笔记本电脑到集群，llama.cpp 可以在您拥有的任何设备上运行。每个 GPU 和 CPU 都有相同的二进制文件、相同的模型、相同的手动调整内核。 Apple Silicon M Ultra RTX 5090 CPU Jetson H100 MI300 RTX 4090 A100 M Pro M Max DGX Spark T4 Radeon RX B200 Intel Arc RTX 3090 运行您的第一个模型 Qwen 3.6 阿里巴巴的下一代原生多模态推理模型。 Dense 和 MoE 变体在编码和视觉任务上可与其大小数倍的模型相媲美。 Gemma 4 Google 最强大的开放模型，采用 Gemini 3 技术构建。支持多模式推理、代理工作流程和 140 多种语言。 GPT-OSS OpenAI 自 GPT-2 以来的第一个开放权重模型。专为推理、代理任务和开发人员使用函数调用和工具使用功能而构建。 Gemma 3 Google 采用 Gemini 技术构建的多模式模型。支持 140 多种语言、视觉和文本任务，具有高达 128K 上下文，适用于边缘到云部署。浏览所有型号