Ollama 环境变量
13
2024-10-22
Ollama 环境变量
| 参数 | 标识与配置 |
|---|---|
| OLLAMA_MODELS | 表示模型文件的存放目录，默认目录为当前用户目录即C:\Users%username%.ollama\modelsWindows 系统 建议不要放在C盘，可放在其他盘（如 D:\ollama\models） |
| OLLAMA_HOST | 表示ollama 服务监听的网络地址，默认为127.0.0.1 如果想要允许其他电脑访问 Ollama（如局域网中的其他电脑），建议设置成 0.0.0.0 |
| OLLAMA_PORT | 表示ollama 服务监听的默认端口，默认为11434 如果端口有冲突，可以修改设置成其他端口（如8080等） |
| OLLAMA_ORIGINS | 表示HTTP 客户端的请求来源，使用半角逗号分隔列表如果本地使用不受限制，可以设置成星号 * |
| OLLAMA_KEEP_ALIVE | 表示大模型加载到内存中后的存活时间，默认为5m即 5 分钟（如纯数字300 代表 300 秒，0 代表处理请求响应后立即卸载模型，任何负数则表示一直存活）建议设置成 24h ，即模型在内存中保持 24 小时，提高访问速度 |
| OLLAMA_NUM_PARALLEL | 表示请求处理的并发数量，默认为1（即单并发串行处理请求）建议按照实际需求进行调整 |
| OLLAMA_MAX_QUEUE | 表示请求队列长度，默认值为512建议按照实际需求进行调整，超过队列长度的请求会被抛弃 |
| OLLAMA_DEBUG | 表示输出 Debug 日志，应用研发阶段可以设置成1（即输出详细日志信息，便于排查问题） |
| OLLAMA_MAX_LOADED_MODELS | 表示最多同时加载到内存中模型的数量，默认为1（即只能有 1 个模型在内存中） |
参考
handy-ollama/docs/C2/2. Ollama 在 Windows 下的安装与配置.md at main · datawhalechina/handy-ollama
- 0
- 0
-
分享