OpenJarvis 提供云端AI代理的本地优先替代方案

斯坦福大学的一个新开源框架正在挑战个人AI必须存在于云端的观念。由Hazy Research和Scaling Intelligence实验室构建的OpenJarvis，允许用户在自有硬件上运行AI代理，并使云端连接成为可选而非强制。

今天发布的1.0版本内置了对热门本地模型运行器Ollama的支持。该框架是实验室更广泛的“每瓦特智能”研究议程的一部分，该议程专注于让本地AI足够高效，以处理现实世界任务，而不牺牲性能或耗尽电池续航。

本地优先设计

大多数个人AI助手, , 从Apple Intelligence到Microsoft Copilot, , 都将每个查询发送到远程服务器，即使是起草电子邮件或总结会议等简单任务。OpenJarvis颠覆了这种模式。默认情况下，所有推理都在用户本地机器上运行。云端作为可选附加功能，而非核心。

该框架内置了监控功能，在追踪准确性的同时，还追踪能耗、成本和延迟。这种透明度是一个故意的设计选择：用户可以看到每个查询在瓦特和美分上的确切成本，而不仅仅是精确度指标。

开始使用Ollama

OpenJarvis直接与Ollama集成，Ollama现在可在macOS、Windows和Linux上运行。在macOS和Linux上，一条curl命令即可检测现有的Ollama安装并自动设置框架。Windows用户可以在WSL2内运行安装程序或下载专用桌面应用。

安装后，命令行工具允许用户拉取任何与Ollama兼容的模型并用于查询。该框架还支持在配置文件中设置默认模型，使命令行界面更像个人助手，而非实验工具。

预制代理预设

OpenJarvis附带多个可直接运行的代理预设，每个预设集成了特定任务所需的引擎和工具：

• 晨间简报：从用户的日历、电子邮件和当日新闻中提取信息，生成摘要。在macOS上，它连接到Google Drive和本地邮件。
• 深度研究：通过搜索网络和本地文档来回答复杂问题，并返回带有引用的结果。
• 本地代码助手：一个代码编写代理，在用户机器上编写并运行Python脚本以完成任务。

每个预设都可通过一条简单命令初始化，并可通过框架的插件系统进一步自定义。

与云端巨头竞争

OpenJarvis进入了一个由OpenAI、Google和Microsoft的云产品主导的领域，在这些产品中，本地推理被视作次要功能而非主要设计目标。该框架对透明度和能耗追踪的关注，可能吸引注重隐私的用户、离线工作的开发者，以及因合规原因无法将数据发送至第三方服务器的组织。

尽管如此，本地AI代理的实际实用性仍然高度依赖于用户的硬件。在本地运行一个350亿参数的模型需要一台配备足够RAM和强大GPU的机器。该项目承认了这一局限性，在高端硬件上启动体验更顺畅，但框架的模块化设计允许用户在日常任务中替换为更小的模型，仅在需要时才使用更大的模型。

OpenJarvis目前以开源许可证形式提供。该项目正处于积极开发中，斯坦福团队预计将在未来几个月内发布额外的预设和模型集成。