本地部署AI工具教学

以下是本地部署AI工具的详细教学指南，综合了主流工具的部署方法及注意事项：

一、Stable Diffusion部署（图像生成）

1. WebUI部署流程

环境准备：需安装Python 3.8+、Git及GPU驱动（推荐NVIDIA显卡）

步骤：

下载模型文件（如v1.5版本，约4.27GB或7.7GB）

克隆仓库：git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

运行启动脚本：python launch.py ，首次运行会自动下载依赖

模型加载：将模型文件放入models/stable-diffusion目录

优化建议：启用–lowvram参数降低显存占用，或使用–xformers加速推理

1. ComfyUI部署（节点式生成）

特点：支持自定义工作流，适合高级用户

步骤：

安装依赖：pip install torch torchvision torchaudio。

克隆仓库：git clone https://github.com/comfyanonymous/ComfyUI 。

运行：python app.py ，通过浏览器访问http://localhost:

二、大语言模型（LLM）本地部署

1. Ollama部署（多模型支持）

适用场景：DeepSeek、Llama等模型的快速部署

步骤：

下载Ollama二进制文件并解压

安装模型：ollama install deepseek-r1:14b（自动下载并量化模型）

调用API：curl http://localhost:11434/generate -d ‘{“model”:“deepseek-r1:14b”, “prompt”:“你好”}’

1. Flowy部署（可视化界面）

特点：无需命令行，支持拖拽操作

步骤：

下载Flowy安装包并运行。

在“本地模型”中选择DeepSeek-R1等模型，自动完成部署

1. Llama.cpp 部署（轻量化推理）

适用场景：低算力设备（如核显）

步骤：

编译代码：makeGGUF（支持GGUF格式模型）。

运行推理：./main -m models/7B.gguf -n

三、性能优化与硬件要求

显存优化：

使用bitsandbytes量化模型（如4-bit精度）

启用–medvram或–lowvram参数

多卡并行：

Stable Diffusion支持–multi_gpu参数

Ollama可通过CUDA_VISIBLE_DEVICES指定多卡

硬件建议：

GPU显存：Stable Diffusion需至少8GB VRAM（14B模型需32GB+）

处理器：Intel酷睿Ultra平台（如i5-5225H）可优化推理速度

四、常见问题与解决方案

模型下载失败：更换镜像源（如清华Tuna）或手动下载后解压

CUDA版本冲突：通过conda管理环境，指定CUDA版本

API调用超时：增加超时时间参数（如–timeout 60）

五、扩展资源

图像生成工具：ComfyUI工作流包、Stable Diffusion模型库

大模型学习：DeepSeek部署教程、Ollama官方文档

性能监控：使用nvidia-smi或LLMOps工具跟踪显存和计算负载

如需更详细的步骤或特定工具的配置，可参考原文链接获取完整教程。