换卡不是重写，是重映射
- 能等价替换的算子直接换
- 不能的走回退：前处理 + 等价替换
PRIVATE LLM INFRASTRUCTURE
把大模型，
变成企业自有基础设施
观弈科技 · 大模型私有化部署与调优专家
从算力适配到长期运维，系统全程运行在客户机房之内。
异构算力推理平台框架优化长期运维
01 / WHAT WE DELIVER
八项能力，五类目标
交付物与验收方式，见 05 与 06 两节。
| 模块 | 算力利用率 | 数据合规 | 推理成本 | 上线速度 | 存量替换 |
|---|---|---|---|---|---|
| 大模型私有化部署 | 主力● | 主力● | 非主力— | 主力● | 主力● |
| 异构算力适配 | 主力● | 非主力— | 主力● | 非主力— | 主力● |
| 推理平台建设 | 主力● | 主力● | 主力● | 主力● | 非主力— |
| 大模型推理运维 | 主力● | 主力● | 主力● | 非主力— | 非主力— |
| 推理框架优化 | 主力● | 非主力— | 主力● | 非主力— | 非主力— |
| 智能体平台定制 | 非主力— | 主力● | 非主力— | 主力● | 非主力— |
| 大模型微调 | 非主力— | 主力● | 非主力— | 主力● | 非主力— |
| 国产化适配 | 主力● | 主力● | 非主力— | 非主力— | 主力● |
- 大模型私有化部署算力利用率 · 数据合规 · 上线速度 · 存量替换
- 异构算力适配算力利用率 · 推理成本 · 存量替换
- 推理平台建设算力利用率 · 数据合规 · 推理成本 · 上线速度
- 大模型推理运维算力利用率 · 数据合规 · 推理成本
- 推理框架优化算力利用率 · 推理成本
- 智能体平台定制数据合规 · 上线速度
- 大模型微调数据合规 · 上线速度
- 国产化适配算力利用率 · 数据合规 · 存量替换
02 / WHY US
能改引擎，才谈得上调优
推理性能不是买来的，是一层一层调出来的。
分片与精度，决定显存下限
- 权重按 4 卡分片，KV 按 2 卡分片
- 精度档位在加载时确定，不在推理时漂移
上下文是按显存买的
- 4K → 1.3 GB · 16K → 5.4 GB
- 64K → 21.5 GB · 128K → 43.0 GB
- 按 80 层 / 8 个 KV 头 / 128 维 / FP16
- 70B 模型 FP16 权重约 140 GB，单张 80 GB 卡放不下，至少需要 2 卡张量并行。
- 同一模型 INT8 量化后，权重约为 FP16 的一半（近似值，取决于具体实现）。
262,144上下文上限，单卡 24 GB（KV 4-bit）
121tok/s单流 decode
0.12s长 prompt 排队时，短请求首字（调优前：prefill 单 lane → 49.8 s）
测试环境：RTX 3090 24 GB ×1 · Qwen3.8-27B · 单用户 · NInfer 栈 · KV 4-bit（rk4v4）（上方数值）
推理性能不靠猜，靠算。
03 / HARDWARE & STACK
硬件与栈，按客户环境选
从消费级到数据中心，从 CUDA 到 ROCm 与国产平台，同一套方法适用；各平台适配工作量不同，以评估为准。
- 推理栈
- vLLM / SGLang / NInfer / llama.cpp
- 量化格式
- FP16 / FP8 / AWQ / GPTQ / GGUF
- 加速平台
- NVIDIA / AMD / Intel / Apple Silicon / 昇腾、寒武纪、海光、摩尔线程
专业卡 · 单卡典型部署
| 设备 | 容量 | 带宽 | 可承载 |
|---|---|---|---|
| RTX 3090 | 24 GB | 936 GB/s | 27B INT4 · 256K 上下文 |
| RTX 5090 | 32 GB | 1.8 TB/s | 32B INT4 / 27B FP8 |
| L40 / L40S | 48 GB | 864 GB/s | 70B INT4 / 32B FP8 |
| A100 | 80 GB | 2.0 TB/s | 70B INT4 / 32B FP8 |
| H100 | 80 GB | 3.35 TB/s | 70B INT4 / 32B FP8 |
| RTX PRO 6000 | 96 GB | 1.79 TB/s | 70B FP16 单卡 / 70B INT8 + 长上下文 |
| RTX PRO 5500 | 84 GB | 1.40 TB/s | 70B INT8 / 32B FP16 + 长上下文 |
| RTX PRO 5000 | 48 GB | 1.34 TB/s | 70B INT4 / 32B FP8 |
| RTX PRO 5000 72 GB | 72 GB | 1.34 TB/s | 70B INT8 / 32B FP16 |
| H200 | 141 GB | 4.8 TB/s | 70B INT8 / 32B FP16 + 长上下文 |
| AMD MI300X | 192 GB | 5.3 TB/s | 70B FP16 单卡 |
| AMD MI325X | 256 GB | 6.0 TB/s | 70B FP16 + 长上下文 |
| AMD Radeon PRO W7900 | 48 GB | 864 GB/s | 70B INT4 / 32B FP8 |
| Intel Gaudi 3 | 128 GB | 3.7 TB/s | 70B INT8 / 32B FP16 |
| 国产加速卡 | 按型号 | 按型号 | 昇腾 / 海光 / 寒武纪 / 摩尔线程，按信创目录选型 |
小型算力主机 · 统一内存
| 设备 | 容量 | 带宽 | 可承载 |
|---|---|---|---|
| NVIDIA DGX Spark（GB10） | 128 GB | 273 GB/s | 70B INT4；双机 256 GB 可上 405B MoE |
| Mac Studio M5 Ultra | 256 / 512 GB | 约 1.2 TB/s | 70B FP16；671B MoE INT4 |
| Mac Studio M5 Max | 最高 128 GB | 614 GB/s | 70B INT4 |
| AMD Strix Halo（AI Max+ 395） | 128 GB | 256 GB/s | 70B INT4 |
统一内存设备适合「模型大、并发低」的分支机构与现场场景：decode 受带宽限制，prefill 受算力限制；静音、低功耗，可整机进客户机房。
显存与带宽为厂商公开规格；「单卡典型部署」按权重与 KV 预算估算。表内配置均可交付，可按需验证。
多卡与多机
| 方案 | 容量 | 可承载（4-bit 权重） |
|---|---|---|
| 2 × RTX 3090 | 48 GB | 70B dense（INT4） |
| 4 × RTX 3090 | 96 GB | 70B dense（INT8 / FP8） |
| 2 × DGX Spark | 256 GB | Hy3 295B、GLM-5.3 Flash 320B |
| 4 × DGX Spark | 512 GB | DeepSeek V4.1 Flash 552B |
| 2 × RTX PRO 6000 | 192 GB | 70B FP16 单机 |
| 4 × RTX PRO 6000 | 384 GB | DeepSeek V4.1 Flash 552B |
| 4 × RTX PRO 5500 | 336 GB | Hy3 295B、GLM-5.3 Flash 320B |
| 4 × H200 | 564 GB | 同上，并为长上下文留余量 |
| 2 × Mac Studio M5 Ultra | 1 TB | DeepSeek V4.1 Flash（长上下文） |
| 4 × Mac Studio M5 Ultra | 2 TB | Kimi K3 2.8T |
| 8 × MI325X | 2 TB | Kimi K3 2.8T |
容量按 4-bit 权重约 0.6 GB / 十亿参数估算，另留 KV 与运行时余量；MoE 模型按专家并行分片。
官方基准：MLPerf Inference v5.x · Llama-2-70B · 8×H200 服务器场景约 33,000 tok/s（TensorRT-LLM）。
04 / WHERE DATA STAYS
数据留在你的网里，运维走约定的通道
数据面与运维面分开设计，是私有化部署能长期运行的前提。
- 数据面 · 客户网络边界内模型权重 · 语料与向量 · 推理服务 · 业务系统（字段级权限）· 审计日志全量留存
- 运维面 · 约定通道日常：专线 / VPN / 跳板远程支持；定期：带升级包进场；专属服务档提供驻场
05 / HOW IT RUNS
四步，每一步都有交付物
从评估到运维，客户知道每一步该投入谁、拿到什么。
- 评估典型 1–2 周
读环境：算力、网络、模型、业务系统
客户：业务方 + 信息化部门
交付：部署方案与风险清单
- 试点典型 4–6 周
选一个真实场景，把模型跑进流程
客户：场景负责人 + 数据接口人
交付：可验收的试点实例与评测报告
- 上线典型 2–4 周
从试点扩到生产：权限、监控、回滚
客户：运维值班 + 安全审核
交付：上线清单与运行手册
- 运维按年
升级、巡检、容量与性能调优
客户：接口人一名
交付：季度运行报告与升级记录
专属服务档 · 专属通道
需要驻场的时候，我们在现场
专属服务档：固定团队直接对接，关键阶段驻场，按合同约定的响应档位。
- 专属交付通道项目直接对接固定团队
- 驻场服务关键阶段现场支持
- 优先响应按合同约定的响应档位
- 专属模型优化按业务负载单独调优
06 / WHERE WE STOP
先说边界，再谈合作
范围、验收标准，以及我们承诺兑现的东西。
我们做什么
- 私有化部署与调优验收：试点场景达到约定的工程指标
- 推理平台与长期运维验收：上线清单逐项通过，季度报告可查
- 框架级优化验收：同环境前后对比可复现
我们承诺什么
- 系统交付在客户机房模型、语料与推理服务都在内网运行
- 指标可测量、可复现只承诺能在同环境重新跑出来的工程指标
- 上线后长期运维专属服务档提供驻场与专属通道
服务级别按合同约定分档。
07 / WHAT BLOCKS YOU
停在试点的项目，缺的不是模型
算力、数据、成本、运维 —— 四处都卡，项目就走不到生产。
01
算力买得到，用不满
表现：卡到位了，利用率长期上不去
后果：单位推理成本压不下来
02
数据不能出域
表现：业务数据无法离开内网
后果：公有云方案在评审阶段就被否
03
推理成本不可控
表现：并发一上来，账单跟着涨
后果：预算立不住项
04
上线即终点
表现：模型能跑，没人能维护
后果：几个月后悄悄回退
08 / HOW WE SOLVE IT
一条链，从算力到运维
六个环节，缺任何一个都跑不起来。
客户侧环境 我们承担
- 异构算力国产卡与通用卡适配
- 推理平台统一接入与调度
- 框架优化算子与并行策略
- 模型微调领域数据与评测
- 智能体业务系统对接
- 长期运维升级 · 监控 · 驻场
09 / WHO WE ARE
大模型私有化部署与调优专家
从算子到调度：读得懂、改得动、能复现。
读源码，改引擎
团队的工作方式是：先读代码，再改代码，改完自己验证。
对推理引擎、调度与算子这一层，我们读得懂、改得动、能复现。
我们把判断写下来
做过的判断、走过的弯路、被自己推翻的结论，都有留痕。
对客户的意义很直接：同样的坑，不会在你的项目里再踩一次。
预约技术交流
带上你的环境和场景，直接和做交付的人聊。
资质与项目材料可在评估阶段按需提供。