“我是个只有一台旧电脑的人,我想在花钱之前知道它能跑什么,这样就不会买用不上的硬件。”
先做评估,再看哪个系统配得上这台机器。
我帮人把本地 AI 助理装到现有硬件上,再交回一套能自己维护的东西。下面是做过的几个项目、能接的方向,以及排障时记的笔记。
$ free -h total used free Mem: 31Gi 9.2Gi 18Gi $ nvidia-smi --query-gpu=name,memory.total --format=csv name, memory.total [MiB] NVIDIA GeForce RTX 3060, 12288 MiB $ df -h /srv /dev/nvme0n1p2 1.8T 612G 1.1T 36% /srv # 32 GB 内存 + 12 GB 显存:14B Q4 的舒适区
挑一个和你最像的,具体的下一步跟在故事后面。
“我是个只有一台旧电脑的人,我想在花钱之前知道它能跑什么,这样就不会买用不上的硬件。”
先做评估,再看哪个系统配得上这台机器。
“我是个自托管用户,我想要一个入口和会自动续期的证书,这样加一个服务不会把其他服务弄坏。”
先看 Traefik,再看暴露之前的那些安全底线。
“我有块显卡,我想让 dsh 扛得住重启和升级,这样我能用它,而不是天天守着它。”
先看 Harness,再算显存和上下文。
“我是个在小团队里做事的人,我想要一套共用的本地 AI 和监控,这样在用户发现之前我们先知道。”
多节点看 k3s,告警看 Grafana。
把配置填进来。结果是沟通用的粗略起点,不是跑分;所有计算都在浏览器里,不会上传。
填写表单,点击“生成评估”。 结果在本地计算,不会上传。 它会列出:内存、磁盘、GPU/显存、上行带宽、 粗略的模型档位,以及下一步该检查什么。
评估结果只留在当前标签页。只有你主动点击发送时,邮件才会发出。
六个方向。先定范围再动手,然后报价。一台 Proxmox 跑一个容器,和三节点集群加监控,不是一样的工作量。
服务一多,端口和证书就散得到处都是。把入口收到一处,按域名转发,证书自动续。
查看范围 →镜像只留在本机,换台机器就得重新构建。自建仓库以后,多台机器拉同一个版本。
查看范围 →不开入站端口,也能从外面访问家里的服务;顺手把 Access 策略和源站校验配上。
查看范围 →把 dsh 和它的依赖装进容器,重启不用重配,升级也能退回。
查看范围 →从一台 Docker 主机走到多节点,练 Ingress、存储和监控,但先判断值不值得上。
查看范围 →磁盘满、证书过期、容器反复重启,至少让手机先响一声。
查看范围 →不是课程,也不是长期合作。一次评估,一份书面计划,一张“先改什么”的清单。
远程看一遍你的硬件、系统和服务,给一份能照着做的书面建议:能跑什么、卡在哪、先改什么。
现在不开在线付款。先看范围,再把配置发到邮箱。
实际排障和部署时记下来的。它们说明我怎么看问题,不是主产品,也不是推销页。
评估免费,在浏览器里算。后面的每一步,都先定范围再开始。
用首页的评估器填 CPU、内存、磁盘、显卡和带宽,得到一段可以粘贴的文本。
读 Cloudflare、安全和系统三篇,判断瓶颈在硬件、网络还是系统。
把评估文本和目标发邮件。确认范围后给报价;不合适就直接说。
交付配置、文档和验证步骤,下次改动你自己能来。
大部分坑不是缺一个高级技巧,而是基础概念对不上。
先知道手上这套能干什么,再决定买什么。
免费文章不给结论式承诺;付费项目也不接管账号、不做 7×24。
每页都有 Markdown 版本和结构化信息,方便你自己的助手引用。
不做什么,比“我们很专业”有用。
不挂商家链接,也不拿返佣。
同一个模型换驱动、换量化、换上下文,速度就不一样。只给档位和验证方法。
活在你自己的机器上干,密码和令牌不留在我手里。
概念和判断顺序能看懂。真要动手,先找台不重要的机器练,别直接上主力机。
不到跑分的程度。它按显存、内存、磁盘和带宽给个大概档位,够你判断值不值得试、先查哪儿。
课程很难覆盖每家不一样的硬件和网络。判断方法免费,具体环境里的活按项目算。
不能。能在你的环境里验证的会验证;第三方服务、驱动和模型本身的限制不打包票。
有,页头可以切到 /en。
不会。评估在浏览器里算,不上传、不写 cookie、不接统计。你发邮件时,信息才离开浏览器。
本地 AI 卡住的地方,通常不是 CPU 慢,而是显存、内存、磁盘或网络先到顶。把配置写成一段固定格式的文本,自己查资料、发邮件问人都省事。
评估器只做数量级判断:不会告诉你每秒多少 token,但会说大概落在哪个档位、内存和磁盘是不是明显不够、多卡和带宽值不值得投入。
三篇基础按主题维护,不挂“永远最新”的标签。发现错误就发邮件,确认后会改。付费项目按项目报价,范围写在报价单里。
[email protected]。Accept: text/markdown 即可拿到镜像。