我前段时间做了一轮端侧大模型（3B-7B 级 LLM/VLM）硬件选型调研，目标是在 ARM 嵌入式平台上跑实时推理。这篇文章只留方法论：怎么定对比维度、怎么核实数据、怎么下结论，剔除掉了当时项目相关的全部商务信息。
先定架构：单 SoC 还是主控 + 协处理器
端侧跑大模型有两条路线：
- 单强 SoC：一颗芯片同时扛系统调度和 AI 推理（如高通 QCS8550、NVIDIA Jetson 系列、地瓜 RDK S100 系列）
- 主控 + 协处理器：成熟主控 SoC（如 RK3588）负责系统、外设、调度，AI 推理卸载到专用协处理器（如瑞芯微 RK1828，20 TOPS NPU、自带 5GB DDR、SODIMM 形态、PCIe 与主控互联）
第二条路线的现实意义在于：主控选型不被 AI 算力绑架。RK3588 这类主控生态成熟、供货稳定、外围驱动齐全，但自带 NPU 只有 6 TOPS，跑不动 7B 模型；加一颗协处理器后，官方数据 Qwen3-8B decode 可达 61 TPS，进入可用区间。代价是多一个部件的采购、散热、联调，以及协处理器 SDK 的成熟度风险。
对比维度：别只看 TOPS
各家宣传页都突出 TOPS，实际对比至少要看这几列：
| 维度 | 说明 |
|---|---|
| AI 算力（密集值） | 见下文口径陷阱 |
| CPU 性能 | DMIPS，决定系统调度、前后处理的余量 |
| 内存容量与带宽 | 7B 模型量化后也要 4-5GB，协处理器自带内存是关键加分项 |
| 模型推理实测 | TTFT / TPOT / Decode TPS，按目标模型（如 Qwen 系列）查官方数据 |
| 软件生态 | SDK 成熟度、模型转换工具链、Model Zoo 覆盖 |
| 供货与形态 | 是芯片、核心板还是标准接口模组，直接影响结构设计 |
口径陷阱：稀疏 vs 密集，FP4 vs INT8
这是调研里最大的坑：各厂标称算力的口径不统一，数字不能直接比。
- NVIDIA Jetson Orin 全系（Ampere 架构）标的是稀疏算力——硬件支持 2:4 结构化稀疏，密集值约为标称的一半。Orin Nano Super 标 67 TOPS，实际按 ~34 TOPS 密集值参与对比
- 瑞芯微、地瓜、华为、高通标的就是密集值，标多少是多少
- 更新的平台开始用 FP4 标称（如 AGX Thor 的 2070 FP4 TFLOPS），同硬件吞吐约为 INT8 的 2 倍，换算后才能和 INT8 TOPS 放一张表里
统一换算成密集 INT8 口径再排名，否则结论会错。
另一个口径问题在 CPU：DMIPS 只在 ARM 同架构内有可比性（A76 vs A78），而且各厂标称方式不同——有的是 ARM 标准线性估算，有的含异构加速收益，跨厂对比时要看清楚来源口径。
数据核实方法：来源分级
调研中我给信息分了级，每条数据标来源：
| 级别 | 来源 | 处理 |
|---|---|---|
| 一手 | 芯片厂官网、Datasheet、官方 SDK 发布稿 | 直接采信 |
| 二手-A | 官方合作伙伴的 Wiki/规格书（如核心板厂商） | 高可信 |
| 二手-B | 分销商/方案商页面 | 仅参考，需交叉验证 |
| 二手-C | 第三方评测、社区文章 | 仅参考 |
这个分级是有实际用处的：调研 RK1828 时，分销商页面把它写成 M.2 2280 算力卡、标注了功耗 10-15W，而官方合作伙伴的 Wiki 明确是 SODIMM 形态、且硬件不支持软件查询功耗。两处都采信分销商就会带着错误的结构设计和功耗预算往下走。无官网一手数据的芯片，我直接从候选里剔除了——选型报告不能建立在无法核实的数字上。
用实测数据收口
参数表只能筛出候选，收口要靠目标负载的实测：
- 查官方 SDK 发布数据里你的目标模型的 TTFT / Decode TPS（RKNN3 SDK 就公布了 Qwen2.5-3B 102 TPS、Qwen3-8B 61 TPS 这类数据）
- 列出风险清单逐项验证：多卡扩展是否开放、功耗能否监控、物理形态与结构设计是否兼容、SDK 新旧版本是否兼容（RKNN3 与旧版 RKNN-Toolkit 不兼容，存量代码迁移要算成本）
- 拿开发套件实测，别停留在纸面
我的一轮结论（2025-05 时点数据）
- CPU 性价比最优是 NVIDIA Orin Nano Super（~34 TOPS 密集 + 78K DMIPS，约 2070 元开发板）
- 国产路线、主控不被算力绑架的组合是 RK3588 + RK1828 协处理器
- CPU 最强单 SoC 是高通 QCS8550（~105K DMIPS），但主要走方案商渠道
- 地瓜 RDK S100 / S100P 在"CPU + AI 双高"维度性价比突出，适合预算够、想单芯片解决的场景
结论会随 SDK 迭代和新品发布过期，但上面的维度和核实方法不会。