课后思考 #7 - 计算、存储与通信的瓶颈
题目
围绕计算、存储、通信三者之一,说明 AI 芯片或 GPU 在运行模型时可能在哪里遇到瓶颈。你可以选择一个具体场景,例如矩阵运算、读取模型参数、多个芯片之间同步数据,并解释这个瓶颈会怎样影响速度、成本或能耗。
提交要求
- 在 Canvas 直接用文本提交。
- 建议正文 100-200 字。
- 请围绕一个具体例子展开,写清楚你的观察和解释。
- 如果 Canvas 临时要求上传文件,一页普通文档即可。
围绕计算、存储、通信三者之一,说明 AI 芯片或 GPU 在运行模型时可能在哪里遇到瓶颈。你可以选择一个具体场景,例如矩阵运算、读取模型参数、多个芯片之间同步数据,并解释这个瓶颈会怎样影响速度、成本或能耗。