小众AI

Jan
Jan - 让你的电脑成为人工智能的电脑
这是一个支持在本地运行开源 LLMs 和连接 ChatGPT 服务的 AI 对话桌面应用,它开箱即用、界面清爽、不挑硬件,支持设置代理、接入 ChatGPT、一键下载/接入适配当前电脑配置的大模型、离线运行等功能,适用于 Windows、Linux、macOS 操作系统。
  官网   代码仓

Jan 是一款创新性的开源软件解决方案,作为 ChatGPT 的有力替代品,它致力于为用户提供一个安全、私密且完全离线的自然语言处理环境。这款强大的工具可以在用户的个人计算机上独立运行,无论是基于 Windows、Mac 还是 Linux 操作系统,均能实现无缝兼容,充分满足不同用户群体的需求。

Jun.webp

主要特性

  • 离线使用:Jan 允许用户在不连接互联网的情况下,本地化运行当前主流且备受赞誉的一系列开源大语言模型,例如 Mistral、Llama 等。。
  • 无代码运行环境:非专业开发人员也能轻松驾驭复杂的大规模语言模型应用,极大地降低了技术门槛。
  • 隐私保护与数据安全:离线状态下运行,意味着用户的输入数据不会在网络传输过程中面临潜在风险,所有处理过程均在本地完成,确保了用户信息的高度私密性。

开始使用 🚀

安装

可以按照桌面版本,或者服务器版本:

  • 桌面:https://jan.ai/docs/desktop
  • 服务器:https://jan.ai/docs/server

GPU加速(可选)

如果你有一块显卡,可以通过启用GPU加速来提升模型性能:

  • 打开Jan应用程序。
  • 转到“设置”->“高级设置”->“GPU加速”。
  • 点击滑块并选择你偏好的GPU。
  • 当GPU加速被激活时,会出现一条成功通知,内容是“已成功打开GPU加速”。

请确保你已安装适用于你的GPU的适当驱动程序,以便GPU加速能够正常工作。如果你还没有安装或更新驱动程序,建议访问你的GPU制造商的官方网站下载并安装最新版本的驱动程序。

下载模型

Jan提供了各种针对不同需求的本地AI模型,都可以直接下载到你的设备上:

  • 前往Hub。
  • 选择你想要安装的模型。要查看模型详细信息,请点击下拉菜单按钮。
  • 你还可以在搜索框中粘贴Hugging Face模型的ID或URL。

更多...


gptme
终端中的个人 AI 助手,带有工具,因此它可以:使用终端、运行代码、编辑文件、浏览 Web、使用视觉等等; 通过简单但功能强大的 CLI 协助各种知识工作,尤其是编程。
AstrBot
AstrBot 是一个松耦合、异步、支持多消息平台部署、具有易用的插件系统和完善的大语言模型(LLM)接入功能的聊天机器人及开发框架。
xiaozhi-esp32
xiaozhi-esp32是一款基于 ESP-IDF 开发框架的开源硬件项目,旨在利用低成本硬件打造个人专属的 AI 聊天机器人。它通过 WebSocket 或 UDP 协议与 LLM、TTS API 服务连接,实现实时语音交互功能,无需在设备上运行 LLM,支持中文在内的多国语言、语音识别用户身份、自定义提示词和音色等功能,兼容多款 ESP32 开发板。