LM Studio是一個專注于本地大語言模型交互的桌面應用程序，為在本地設備上運行大型語言模型提供了創(chuàng)新且高效的解決方案。

LM Studio基于llama.cpp開發(fā)，提供圖形界面，無需命令行操作，專注桌面端用戶體驗。

LM Studio

軟件特點

模型管理：支持從Hugging Face等資源庫中拉取、存儲、運行各類GGUF格式模型，用戶可以在軟件內方便地瀏覽、搜索和選擇自己需要的模型。

硬件協(xié)同優(yōu)化：依托l(wèi)lama.cpp底層架構，針對NVIDIA系列GPU運用GPU卸載技術，合理分配運算任務，突破顯存局限；在內存管理方面，借助模型量化手段降低內存占用量，確保設備內存有限的情況下也能平穩(wěn)加載運行大型模型。

參數(shù)調控：用戶可靈活調整“溫度”“重復懲罰”等參數(shù)，精準定制模型輸出。比如“溫度”參數(shù)可調整輸出文本的靈活度，“重復懲罰”參數(shù)可把控文本多樣性。

文本嵌入強化檢索：借助POST/v1/embeddings端點生成文本嵌入向量，融入檢索增強生成（RAG）架構體系，在海量文檔、知識庫搜索場景表現(xiàn)卓越。

內置兼容OpenAI的本地服務器功能：無縫銜接既有基于OpenAI API搭建的應用與本地模型，極大縮短開發(fā)適配周期，助力創(chuàng)新應用高效落地。

LM Studio下載