什么是Foundry‑Local

Foundry‑Local 是微软 Azure AI Foundry 的本地化运行时，旨在让开发者无需 Azure 订阅即可在本地设备（Windows、macOS）上直接执行生成式 AI 模型。它把云端的大模型推理能力搬到端侧硬件，实现 低延迟、数据隐私、成本可控 的 AI 体验。

核心特性

• 本地推理：模型在用户设备上运行，所有数据留在本地，避免网络传输和云端存储。
• OpenAI 兼容 API：提供标准的 REST/CLI 接口，开发者可像调用 OpenAI 服务一样使用本地模型。
• 硬件加速：自动检测 CPU、GPU、NPU 等硬件，利用 ONNX Runtime 进行高效执行，支持 Intel、Qualcomm 等 NPU 驱动。
• 模型管理：通过 CLI、SDK 或 VS Code AI 工具套件进行模型下载、缓存、加载、卸载等全生命周期管理。
• 多模型支持：预置 Phi、Qwen、DeepSeek 等主流开源模型，也可自行编译自定义模型。
• 跨平台：支持 Windows、macOS，兼容多语言（Python、JavaScript） SDK，便于在各种应用中集成。
• 企业级优势：提供隐私保护、离线运行、成本节约以及与 Azure AI Foundry 云端的平滑迁移路径。

典型使用场景

1. 敏感数据处理：在金融、医疗等需要严格数据保密的行业，模型全程在本地运行，避免数据泄露。
2. 离线或边缘设备：无网络或网络不稳定的环境（工厂、车载、物联网）仍能使用强大 LLM。
3. 低延迟交互：对实时性要求高的聊天机器人、智能助理等场景，省去云端往返的网络时延。
4. 成本优化：利用已有硬件执行推理，减少云端计算费用，适合预算受限的研发或原型验证。
5. 模型研发与调试：在本地快速迭代模型、量化、优化后再部署到云端，提升研发效率。

安装与快速上手

• Windows：使用 winget install foundry-local 或直接下载 MSI 安装包。
• macOS：通过 Homebrew brew install foundry-local。
• 安装后运行 foundry local start 启动本地服务，随后可使用 foundry local run <model-alias> 下载并执行模型。
• Python 示例（使用 SDK）：

from foundry_local import FoundryLocalManager

manager = FoundryLocalManager()
model_info = manager.init("phi-2")
print("模型信息:", model_info)

# 调用 OpenAI 兼容接口
import openai
client = openai.OpenAI(base_url=manager.endpoint, api_key=manager.api_key)
resp = client.chat.completions.create(
    model="phi-2",
    messages=[{"role": "user", "content": "介绍一下 Foundry‑Local"}],
    stream=True,
)
for chunk in resp:
    print(chunk.choices[0].delta.content, end="")

（代码示例来源于官方文档）

官方文档与资源链接

• 概览页面（What is Foundry‑Local）
  https://learn.microsoft.com/zh-cn/azure/ai-foundry/foundry-local/what-is-foundry-local
• 架构与原理
  https://learn.microsoft.com/zh-tw/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture
• 快速入门（Windows）‍
  https://learn.microsoft.com/zh-cn/windows/ai/foundry-local/get-started
• GitHub 项目（官方）‍
  https://github.com/microsoft/foundry-Local
• 技术博客与案例
  https://devblogs.microsoft.com/foundry/unlock-instant-on-device-ai-with-foundry-local/
  https://spknowledge.com/2025/10/29/mastering-azure-foundry-local-powerful-features-comparison-with-ollama-other-local-llm-tools/
• 中文教程（一步步配置 Qwen3‑0.6B）
  https://www.sohu.com/a/930060036_121124363

通过上述特性与资源，开发者可以在本地安全、快速地部署并使用大语言模型，满足从个人实验到企业级生产的多层次需求。