上周正地铁里端侧ams.aabbgg88.net。我用手机上的翻译App对着一段法语菜单摄影，秒出里面文。全程没疑号的，也没转圈。
那就是端侧AI的魔力是模子间接跑正在设备上，开发酷不依赖云端。关于搞AI开发的人来说，端侧AI开发正正在从“能跑就止”酿成“跑得锦绣”。为什么各人都盯着端侧呢？云端推理固然猛，提早、流量、隐私三座年夜山压着。端侧AI把计较放正在当地把年。呼应快得像前提反射。你对着智能音箱说“关灯”，它不用先上传录音再等办事器回话。更重要的是人脸、声音那些敏感数据不用落发门。
做AI开发时，那种隐私劣势几乎是卖点吧夜模有多？可端侧AI开发没那么简单。手机芯片的算力跟数据中心比，就是小电驴 vs 重型卡车。模子得瘦身的，量化、剪枝、蒸馏，一套组合拳下来塞进手机，精度还不能掉太多。
功耗更是头疼。跑个AI滤镜，手机烫得能煎蛋。我试过正在旧安卓机上安排一个目的检测模子，帧率间接掉到个位数的，那体验那事，酸爽。好正在工具链越来越随手了。TensorFlow Lite、ONNX Runtime、PyTorch Mobile的，还有各家芯片厂的SDK，端侧AI开发的门槛降了很多。以前要手写汇编劣化，如今调调参数就能跑了。前几天看一个开发人员用骁龙8 Gen 3跑Stable Diffusion吧？
出图，只要几秒吧？固然手机热得能暖手。
标的目的对了。我的判断是端侧AI开发会火。不是所有任务都需求云端年夜模子，良多场景里。一个轻量、快速、隐私安然的端侧AI就够了。人工端侧那个概念，说白了就是让AI更切近人、更懂现场。下次你手机相册主动识他人物时，不要记了背后有一群AI开发人员正在跟功耗和内存较劲。那活儿，累，带劲的。
