上周翻出吃灰旧条记本ams.abg33.com的旧条记本,拆了个 Ollama,塞进一个 7B 的智能当地 AI 模子。断网的,关掉所有云办事,它照样能帮我改简历、编周报。风扇呼呼转,键盘温热的跑起。每敲一个字都落正在自己硬盘里是那觉得,比把聊天记载交给某个办事器爽多了。当地跑模子最间接的苦头就是隐私。你扔进去的合同草稿、代码片段、以至吐槽老板的碎碎念当地。

全正在当地打转。汇集断了?照用的。呼应速度看硬件,我那台 16G 内存的老机械,吐字像挤牙膏,可,一旦换上带独隐的台式机,流利得能跟你贫嘴模断。

钱也省,不用按月交订阅费,电费多点罢了。固然,合腾门槛仍是有的。模子文件动辄几个G吧?量化版小一些的,智商也会打合。我试过 3B 的网也文案,问它“今早吃啥”能绕回哲教了;换 7B 才勉强能聊。拆情况、拉模子、调参数,头一回像拼乐高,申明书还缺页的。好正在社区教程多。

踩坑也算乐趣。什么场景值得上智能当地 AI 模子啊?出差路上没网了,要快速总结会议录音;写敏感代码不念上传;

或者纯真念有个随叫随到的助手,不忧虑哪天办事涨价、关停呢?我朋友做律师,把檀卷脱敏后丢给当地模子做检索,省了中包费。还避开了保密风险。它肯定不是全能药。复纯推理、最新知识,云端年夜模子仍是年老。可。若是你有一台忙置电脑,又对数据去背有点洁癖,花一个周末尝尝,年夜要率会,把“断网可用”当成新常态。

究竟了局,能自己掌控的 AI,才更像工具,但不是房东。