基于GPU能耗的AI模型训练验证

来源未标注:项目针对AI前沿模型训练计算量难以核验的问题,提出利用GPU侧信道信号(如功耗和内存带宽)来估算训练FLOPs。通过在Nvidia Jetson Orin Nano上构建最小可行产品,实现了对模型宽度、深度等超参数变化的监测,并在特定条件下(GPU利用率>80%)取得了约4.5%的平均绝对误差。

基于GPU能耗的AI模型训练验证 | AI 趋势