Rondine

为您的硬件运行合适的本地 LLM

Rondine 是一款开源的本地大语言模型控制平面，能自动检测设备的内存和显存，推荐合适的模型并应用硬件优化的配置，一键下载权重并启动兼容 OpenAI 接口的本地服务。它支持 Apple Silicon、NVIDIA GPU 以及 DGX Spark，底层整合了 llama.cpp、MLX-LM 和 vLLM 等成熟推理引擎，并在每次启动前向用户清晰展示完整的执行计划，让本地部署大模型变得简单透明。