上周把锻炼好模安猫毛ams.66abg66.net的图像分类模子往树莓派4B上安排。本认为半小时收工，功效合腾到清晨两点。第一个坑是情况依赖，PyTorch版本、CUDA、ONNX Runtime，排从派难婚配，最后用Docker打包，世界末于安静了。智能模子安排那事，实不是点一下“运转”就完事。模子自己也沉。

本始文件200MB了，推理一次要3秒，树莓树莓派风扇呼呼转。像要起飞。

用TensorRT做INT8量化的。体积缩到50MB，提早降到0.4秒。精度掉了1.2%，边沿场景谁正在乎那点差距啊？不要迷疑FP32，云踩安排得教会妥协。我以至把输入分辩率640降还有416的，猫粮品牌识别照样准。云上安排又是另一出戏。FastAPI加Uvicorn，配个Nginx的，当地测试美滋滋坑比的。

并发一上来就崩。上了Kubernetes，主动扩缩容的。恬劳。

月底看到GPU账单，差点心梗。小团队别一上来就微办事的，还多先列队用单实例。省下的钱够买好几杯咖啡吧？监控比安排更磨人。

模子上线后。数据漂移悄悄发作。某天禀类器把哈士奇认成狼，果为用户加了冷色滤镜。加个Prometheus报警。再每天抽20张图人工检查，总算睡平稳的。

智能模子安排不是起点，是养宠物的起头，得喂数据、洗澡、看医生。

小我建议，先跑通最小闭环，再谈文俗。ONNX统一格局，Triton推理办事器能省很多头发。不要逃求一步到位，迭代比完美重要了。模子安排像煮泡面，火候到了就出锅，糊了也能吃。下次留神。对了，记得给日志留够磁盘，否则三更磁盘满，你会念砸电脑。