我为这五个任务切换到了本地大型语言模型，自那以后云版本就不值得用了

当你每个月支付订阅费用时，你期望服务能够完美运行。当你使用人工智能工具时，在工作中途遇到速率限制可能会非常令人沮丧。更不用说你所有的工作，以及你处理的任何敏感文件或文档，都将被发送到未知的服务器上。

值得庆幸的是，有很多应用程序可以让你使用本地的LLM。本地LLM也取得了长足的进步，以至于你几乎可以在任何设备上运行轻量级的AI模型。它们并不是在所有方面都很出色，但它们在某些任务上表现得如此出色，以至于你会想立即取消那个云AI订阅。

编写 shell 脚本而不查阅每个命令

将普通英语转换为可运行的bash脚本

这就是我最常用本地 LLM 的用途。用简单的英语描述一个平凡而重复的系统任务，然后在几秒钟内得到一个可运行的 Bash 或 Python 脚本，这比你想象的节省的时间还要多。它非常适合快速编写脚本来重命名多个文件、压缩和移动文件夹，或者自动化基本的系统维护。AI 模型还可以解释每个标志和参数的作用，这意味着它们对于任何你熟悉但不一定会使用的命令行工具也非常有用。

此外，当这些脚本涉及到你的文件系统、目录结构、定时任务或内部服务器路径时，这些信息都不会离开你的机器，如果你关心工具能看到你的设置的多少，这是非常重要的。向云端 AI 描述这些命令或任务可能会暴露文件路径、命名约定，甚至你的服务器拓扑的线索。本地模型看到的是相同的信息，而且这些信息永远不会离开你的系统。

在不发送任何地方的情况下总结敏感文件

让私人文件真正保密

本地大型语言模型的另一个相当有说服力的用途是总结私人文件。你不必将合同、工作中的机密报告、医疗记录或个人财务报表上传到在线服务器。无论云 AI 系统的隐私政策如何，你的数据都需要离开设备并在外部基础设施上处理。本地 AI 完全消除了这种风险。

像 Ollama 这样的工具与 LangChain 配合使用，可以创建完全在你的硬件上运行的私人文档摘要流程。你只需将模型指向一个 PDF，它就会读取并进行总结，而且在整个过程中，该内容不会传输到第三方服务器。对于任何对数据敏感性有顾虑的人来说，这是一个不可谈判的优势。

离线编码帮助，了解你的设置

无网络（且无限制）的调试

使用人工智能工具进行编码总是有风险的，尤其是当你处理内部 API、客户数据或专有逻辑时。你不会想把原始的、敏感的代码发送到第三方的服务器，甚至是其基础设施。对于爱好者或业余项目来说没问题，但对于任何商业敏感内容来说，这就显得鲁莽了。

解决方案就是简单地自己制作一个本地的编码AI。我已经为自己在VS Code上构建了一个本地编码AI，而且效果惊人。它可能没有基于云的AI服务那么快，但根据你的硬件和使用的模型，本地AI编码助手可以非常接近。由于没有网络流量在服务器之间来回传输，每行代码的补全也会感觉更迅速。对于日常大量的编码任务——编写工具函数、调试堆栈、生成模板代码或解释不熟悉的库语法，本地编码AI都能非常有效地工作。

将杂乱的会议转化为清晰、可用的笔记

无需上传，无延迟，无尴尬的隐私问题

就像你不希望专有代码经过第三方的服务器基础设施一样，你也不希望你的会议和工作对话经过那里。幸运的是，你可以轻松地建立一个本地的 AI 转录和摘要管道，围绕例如 Whisper 的语音转文字工具以及用于生成摘要的本地大语言模型构建。

请注意，这确实需要一些设置，但在大多数消费级硬件上运行效率很高。最终的工作流程可以确保一切都在你的控制之下。使用映射-归约分块方法的摘要质量很好，这种方法本质上是将长的文字记录拆分成更小的部分，各自进行摘要，然后再合并，对于大多数文档和文字记录来说，整个过程耗时远低于10秒，并且足够用于内部使用。它还显著减少了记笔记的时间。

一个从不需要网络连接的个人助理

无需速率限制或登录的快速回答

我们每天使用云 AI 做的许多事情都是低风险的问题或日常任务，你不想在这些事情上消耗太多的脑力。让 AI 解释错误信息、解读 Linux 命令以及重写电子邮件，都是本地大语言模型同样可以胜任的任务，当本地模型能够在几秒钟内给出同样答案时，没有任何理由让这些任务传到云服务器。一旦本地模型运行，查询成本基本为零——没有订阅费用，也没有速率限制。

通过 LM Studio 或 Ollama 运行像 Mistral 7B 或 Gemma 这样的模型，可以让你拥有一个快速且持久的离线 AI 助手，它启动迅速，并且不在乎你每天向它抛出多少问题。对于占我们大多数与在线 AI 工具交互的常规生产力使用来说，这已经绰绰有余。

本地人工智能并不完美，但它比你想象的更强大

这些都并不意味着本地大语言模型在所有情况下都更好。对于更复杂的推理任务、最先进的代码生成、处理非常大的上下文或访问互联网，云模型仍然具有真正的优势。硬件要求也是一个需要考虑的因素。你可能不需要强大的 GPU 来运行 AI 模型，但如果你在做高需求的工作，你将需要支持足够强大 AI 模型的硬件。

话虽如此，价值主张已经发生了变化。随着像 Llama、Mistral 和 DeekSeek 这样的开源模型逐渐成熟，与云端 AI 的质量差距持续缩小，至少在基本的日常任务中如此。作为回报，你所获得的——对数据的完全控制、零重复成本、离线能力以及零速率限制——是非常值得付出的交换。