LM Studio(本地大型语言模型运行平台) 0.4.24-1 电脑版

LM Studio 是一款专注于本地大语言模型交互的桌面应用程序，为在本地设备上运行大型语言模型提供了创新且高效的解决方案。LM Studio 基于 llama.cpp 开发，提供图形界面，无需命令行操作，专注桌面端用户体验。无论你是开发者、研究者还是对 AI 技术感兴趣的普通用户，都可以通过 LM Studio 轻松下载、加载和运行各类 GGUF 格式模型，在完全离线的环境下与 AI 进行对话、生成文本或构建检索增强生成应用。LM Studio 内置兼容 OpenAI 的本地服务器功能，能够无缝衔接既有基于 OpenAI API 搭建的应用与本地模型，极大缩短开发适配周期，助力创新应用高效落地。

LM Studio 怎么用

如何设置简体中文模式？

下载安装LM Studio并启动进入主页，点击右下角的设置按钮；

点击Settings-Languae-简体中文(Beta)即可完成切换。

1、模型安装

打开“Model Search”页面，输入模型名字进行搜索安装：

模型下载进度：

2、本地模型列表(Windows)

模型文件路径在：C:\Users\Administrator\.lmstudio\models\lmstudio-community

3、模型对话

回到 Chats 页面，选择一个模型进行对话：

可以看到模型的思考模式开关，并且响应速度是很快的。

4、卸载模型

直接点击“Eject”卸载模型，腾出系统资源可以加载更大的模型：

LM Studio 支持哪些模型格式

1. LM Studio 主要支持 GGUF 格式的模型文件，这是目前本地运行大语言模型最常用的格式之一。

2. 软件内置了模型浏览器功能，可以直接从 Hugging Face 资源库中搜索和拉取 GGUF 格式的模型。

3. 除了 GGUF，LM Studio 也在逐步扩展对其他格式的支持，但 GGUF 是兼容性最好、使用最广泛的选择。

4. 用户可以在软件内看到模型的大小、量化等级、参数规模等信息，方便根据自己设备的硬件条件进行选择。

5. 下载后的模型会存储在本地指定目录中，可以随时切换和加载，无需重复下载。

6. 对于已经拥有 GGUF 模型文件的用户，也可以通过手动导入的方式在 LM Studio 中加载使用。

LM Studio 如何调整模型参数

1. 在 LM Studio 的聊天界面右侧或设置面板中，可以找到参数调控区域。

2. 温度参数用于调整输出文本的灵活度，数值越高输出越随机，数值越低输出越确定。

3. 重复惩罚参数用于把控文本多样性，适当提高可以减少模型重复输出相同内容的情况。

4. 还可以调整 Top P、Top K 等采样参数，进一步精细控制模型的生成行为。

5. 上下文长度参数决定了模型能够记忆的对话轮数，根据显存和内存情况合理设置。

6. 调整参数后可以即时测试效果，找到最适合当前任务和模型的配置组合。

7. 软件支持保存不同的预设配置，方便在不同场景下快速切换。

LM Studio 的 GPU 卸载功能怎么用

1. GPU 卸载是 LM Studio 依托 llama.cpp 底层架构实现的一项重要功能，针对 NVIDIA 系列 GPU 进行优化。

2. 在加载模型时，软件会显示 GPU 卸载层数的选项，用户可以根据显存大小决定将多少层模型运算交给 GPU 处理。

3. 合理分配运算任务可以突破显存局限，让部分层在 GPU 上运行，部分层在 CPU 上运行。

4. 如果显存充足，可以将所有层都卸载到 GPU 上，获得最快的推理速度。

5. 如果显存有限，适当减少卸载层数，虽然速度会有所下降，但可以保证模型平稳加载运行。

6. 软件会实时显示 GPU 和 CPU 的负载情况，帮助用户找到最佳平衡点。

LM Studio 的本地服务器功能怎么开启

1. 在 LM Studio 的左侧导航栏中找到本地服务器选项，点击进入服务器设置页面。

2. 选择一个已经加载的模型，然后点击启动服务器按钮。

3. 服务器默认运行在本地端口上，软件会显示具体的地址和端口号。

4. 该服务器兼容 OpenAI API 格式，可以直接替换 OpenAI 的接口地址来调用本地模型。

5. 在服务器设置中还可以配置跨域访问、API 密钥等选项，满足不同应用的接入需求。

6. 启动后可以在浏览器中访问对应地址，查看服务器状态和可用模型列表。

7. 这项功能极大缩短了开发适配周期，让既有基于 OpenAI API 搭建的应用可以无缝衔接本地模型。

LM Studio 文本嵌入功能有什么作用

1. 文本嵌入是 LM Studio 提供的一项强化检索功能，借助 POST /v1/embeddings 端点生成文本嵌入向量。

2. 生成的嵌入向量可以融入检索增强生成架构体系，提升信息检索的准确性和效率。

3. 在海量文档、知识库搜索场景中，文本嵌入功能表现卓越，能够快速找到与查询最相关的内容。

4. 用户可以将嵌入向量存储到向量数据库中，构建自己的知识问答系统。

5. 结合本地大语言模型，可以实现完全离线的 RAG 应用，保障数据隐私和安全。

6. 该功能同样兼容 OpenAI 的嵌入接口格式，方便与现有工具链集成。

LM Studio 常用快捷键有哪些

LM Studio 对电脑配置有什么要求