这是一份面向生产级的AI 智能体（Agent）/大模型私有化部署 Linux 基座建设清单，涵盖系统选型、分区规划、内核参数调优与容器运行时配置，可直接作为交付基线参考。

一、操作系统选型建议

1. 主流发行版对比与推荐

决策结论：无特殊合规约束时，Ubuntu 22.04 LTS（内核 5.15+）​ 是 AI Agent/推理服务私有化部署的最优解；追求更新的硬件支持可选 24.04 LTS。

二、硬件与存储分区规划（裸金属前置准备）

1. 硬件基线建议（参考）

• CPU：推荐至强可扩展（Ice Lake+/Sapphire Rapids）或 EPYC，支持 AVX-512/VNNI 可加速部分预处理逻辑

• 内存：推理节点建议 ≥256GB（视模型大小而定），优先 ECC 内存

• GPU：NVIDIA 系列（A 系列/H 系列/L 系列/消费级 RTX 4090 等），需确认电源与 PCIe 通道拓扑

• 存储：系统盘用 SATA SSD；模型/数据盘强烈推荐 NVMe SSD（加载百 GB 级模型权重时 I/O 是主要瓶颈之一）

2. 磁盘分区与挂载建议（示例）

三、系统初始化与内核参数调优清单

以下为可直接落地的调优项，适配大模型推理 + Agent API 高并发场景。

1. Sysctl 核心调优（写入 /etc/sysctl.conf或 /etc/sysctl.d/99-ai.conf）

# ===== 内存管理 =====
# 降低 swap 倾向，避免模型权重被换出造成推理卡顿
vm.swappiness = 5
# 保留更多 inode/dentry 缓存，加快模型文件反复读取
vm.vfs_cache_pressure = 50
# 允许内存超额分配（大模型启动时预分配常见）
vm.overcommit_memory = 1
# 大页根据推理框架选择：vLLM 等通常建议 madvise；部分数据库/向量DB 场景可开 always
# 透明大页建议先设为 madvise，观察是否有碎片问题再决定是否 never
# kernel.shmmax / kernel.shmall 按需调大

# ===== 网络与高并发 =====
# 提升 TCP 连接队列与文件描述符承载能力
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 32768
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30
# 可选：高带宽长肥管道场景可开启 BBR
net.ipv4.tcp_congestion_control = cubic

# ===== 文件/进程限制 =====
fs.file-max = 2097152
fs.nr_open = 2097152

应用：sysctl -p /etc/sysctl.d/99-ai.conf

2. 资源限制（打开文件数等）

写入 /etc/security/limits.d/99-ai.conf：

* soft nofile 65535
* hard nofile 131072
* soft nproc 65535
* hard nproc 65535

3. CPU 调度与性能模式

• 安装并配置 cpupower/内核工具，将 governor 切为性能模式，减少推理时变频抖动：

# 查看当前
cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
# 设置为 performance（不同发行版工具略有差异）
cpupower frequency-set -g performance

• 多 NUMA 节点 GPU 服务器建议后续配合 numactl做 CPU-GPU 亲和绑定，降低跨 NUMA 访存延迟。

4. 透明大页（THP）策略

• 通用推理节点：推荐先设为 madvise（框架主动申请才用大页）

echo madvise > /sys/kernel/mm/transparent_hugepage/enabled

• 若你观察到 THP defrag 导致 CPU 抖动，可改为 never（常见于部分 Redis/向量DB 混部场景）。

• 持久化可按发行版用 systemdservice 或 /etc/default/grub内核参数控制。

5. 文件系统与 I/O 优化

• 模型盘挂载建议选项：noatime,nodiratime，减少元数据更新开销

• NVMe SSD 调度器：推荐 none或 mq-deadline（多数新内核默认已较优）

cat /sys/block/nvme0n1/queue/scheduler
# 如需调整（示例）
echo none > /sys/block/nvme0n1/queue/scheduler

• 定期启用 fstrim（SSD 环境）：

systemctl enable --now fstrim.timer

四、GPU / 容器运行时环境基线

1. NVIDIA 驱动与 CUDA

• Ubuntu 推荐走官方仓库 .deb安装，版本需与推理框架（PyTorch/vLLM/TensorRT-LLM）对齐

• 验证：nvidia-smi可见 GPU、显存、驱动/CUDA 版本即合格

2. Docker / Container Runtime

• 安装 Docker CE + nvidia-container-toolkit

• 配置 daemon.json 默认 runtime 为 nvidia（推理容器必需）

{
  "default-runtime": "nvidia",
  "runtimes": {
    "nvidia": {
      "path": "nvidia-container-runtime",
      "runtimeArgs": []
    }
  }
}

• Agent 编排推荐：docker-compose（单机）或 K3s/K8s（集群），模型服务与 Agent 服务拆分部署更稳定

五、安全与运维加固要点

1. SSH：禁 root 直连、换端口/密钥认证、安装 fail2ban

2. 防火墙：仅暴露 Agent API 端口、向量库端口对内网，管理口做 IP 白名单

3. 日志：统一采集 Docker 容器日志（json-file限大小轮转），避免日志写满磁盘

4. 监控：部署 dcgm-exporter（GPU 指标）+ node_exporter+ Prometheus + Grafana，重点盯：GPU 显存/利用率/温度、VRAM 碎片、推理延迟 P95/P99、OOM Kill 事件

六、最小落地执行顺序（Checklist）

1. 裸金属 RAID/BIOS 设置（如有）→ 安装 Ubuntu 22.04 LTS

2. 磁盘分区、LVM（可选）、文件系统挂载（noatime）

3. 系统初始化：源替换、安全加固、sysctl/limits 调优、CPU governor 切 performance

4. NVIDIA 驱动/CUDA → Docker → nvidia-container-toolkit

5. 部署模型推理服务（vLLM/Ollama/TGI 等）→ 部署 Agent 应用（Dify/LangGraph/CrewAI 等）

6. 接入监控告警，压测验收（并发/长文本/工具调用链路）

继续阅读：AI   智能体私有化部署   裸金属服务器   Linux   系统

此文由 怡心湖 编辑，若您觉得有益，欢迎分享转发！：首页 > 常识论 » AI 智能体私有化部署：从裸金属服务器到 Agent 上线的 Linux 系统选型与调优清单