不同AI任务对存储的要求有很大差异

研究报告节选:

AI 推理与训练的 IO 需求差距很大。AI 训练依赖海量数据的批量传输，单轮数据块尺寸通常在 MB 级以上，控制路径的延迟占比极低；而 AI 推理完全不同，LLM 推理的 KV 缓存访问粒度仅 8KB-4MB，向量数据库检索、推荐系统的特征读取更是低至 64B-8KB，但需要支持数千条并行线程的并发请求。LLM 推理的存储需求已突破 10TB 级，向量数据库和推荐系统的存储规模更是达到 1TB-1PB，这种“小块高频”的访问模式，让传统存储架构不堪重负。图14：不同 AI 任务对存储的要求有很大差异

阅读研究报告

最后更新: 2025-12-17

图表内容

图14：不同AI任务对存储的要求有很大差异
Area
Usage model
Applications
Access granularity
Total size /worker
Training
Checkpoint save/restore
LLM pretraining
fine tuning
10MB-1sGB
1-10TB
KV context caching across
LLM inference
8KB-4MB
queries
docs
>10sTB
Inference
LLM+GNN
GNN+LLM
Contextual LLMs
512B-8KB
5TB-400TB
Dynamic Index build
64B-4KB
6.4Gb-20TB
LLM RAG doc retrieval
512B-8KB
400GB-1PB
Vector database
Graph RAG
64B-8KB
400GB-1PB
Recommenders
64B-4KB
5TB-400TB
Predictive Al
GNN induced subgraphs
eCommerce
fraud
social networks
512B-8KB
>2TB
Anomaly detection
eCommerce
fraud
social networks
512B-8KB
>10TB
Relational graphs
Data Science Automation
8B-4KB
>100sTBs