Ollama 是一个开源的大型语言模型（LLM）服务工具，旨在为用户提供本地化的运行环境，满足个性化的需求。它通过简化在 Docker 容器中部署和管理大型语言模型（LLM）的过程，使得用户能够快速地在本地计算机上运行大型语言模型，如 Llama 2 等。Ollama 提供了一个简单的命令行界面（CLI），用户可以通过它下载、管理和运行模型，而无需复杂的配置或依赖云服务。Ollama 0.10.1 版本正式上线可视化图形界面，不用对着命令行工具敲命令也可以部署。
Ollama 官网：https://ollama.com/
下载地址：https://ollama.com/download
Ollama 的核心目标是让本地化运行 LLM 变得低成本、高效率、高隐私。它支持多种操作系统，包括 Windows、macOS 和 Linux，并且已经发布了预览版。Ollama 的主要特点包括：
- 简化部署：将模型权重、配置和数据捆绑到一个包中，优化了设置和配置细节，包括 GPU 使用情况，简化了在本地运行大型模型的过程。
- 跨平台支持：兼容 Windows、Linux、MacOS 系统。
- 易用性：提供了简洁的命令行界面，使得模型的下载、安装和运行变得非常简单。
- 灵活性：支持多种模型格式，包括但不限于 GGUF、Safetensors 等。
- 可扩展性：允许用户自定义模型，添加新的功能或优化现有功能。
- 社区支持：拥有活跃的开发社区，不断更新和完善工具的功能。
Ollama 的安装过程可以在其官方网站上找到。模型可以从 Ollama 的库中获取，这些模型在集群、工作站或笔记本电脑上本地运行，因此不会发生信息泄露。模型本身是开源的，无需支付许可费、订阅费或其他费用。
Ollama 的 CLI 提供了一系列命令，用于启动推理模型并进行最终的模型配置。它支持各种操作系统和硬件配置，并提供丰富的预训练模型库，包括 Llama、Mistral 和 Phi 等。此外，Ollama 还支持 RAG（检索增强生成）方法，该方法通过结合外部文档来增强模型的响应。
Ollama 的安装和基本配置包括：
- 获取桌面软件：可以去官网下载 Ollama 的桌面软件。
- 命令行安装：可以通过命令行工具安装 Ollama，例如在 Linux 系统上使用
curl -s [https://ollama.com/install ](https://ollama.com/install ) | bash命令。 - Docker 镜像：可以使用 Ollama 的 Docker 镜像进行安装，启动命令为
sudo docker run -d --gpus all --name ollama -p 11434:11434 -v /opt/apps/ollama_data:/root/.ollama ollama/ollama:0.6.6。
Ollama 提供了多种命令，方便用户进行模型管理和推理。例如，ollama list 可以查看可用模型，ollama pull 可以拉取模型，ollama remove 可以删除模型，ollama ps 可以检查模型状态。
Ollama 的环境变量配置允许用户自定义推理设备（GPU/CPU）、缓存路径、并发数、日志级别等。例如，可以通过 export OLLAMA_MODEL_PATH=\~/ollama_models 指定模型存储路径，export OLLAMA_DEVICE=gpu 选择推理使用的设备，export OLLAMA_LOG_LEVEL=debug 设置日志级别。
Ollama 还提供了 Web UI 工具和 GUI 前端，使用户能够更直观地与 AI 模型交互。此外，Ollama 的 API 接口允许用户通过 Python 和 Java 客户端应用进行集成。
Ollama 是一个强大的开源工具，专为构建和部署大型语言模型（LLM）设计。它提供了一个直观的命令行界面和服务器支持，使用户能够轻松下载、运行和管理各种流行的开源 LLM。与需要复杂配置和强大硬件的传统 LLM 不同，Ollama 让使用大模型变得像操作手机 App 一样简单便捷