功能强大、用户友好的自托管 AI 平台，支持完全离线运行。它集成了多种大型语言模型运行器，如 Ollama 和 OpenAI 兼容的 API，支持网页搜索、本地 RAG 集成、权限管理、适配移动端、Markdown 和 LaTeX 等功能。
`aisuite`使开发人员能够通过标准化接口轻松使用多个 LLM。使用类似于 OpenAI 的界面，可以轻松地与最流行的 LLM 进行交互并比较结果。它是 python 客户端库的精简包装器，允许创建者无缝交换和测试来自不同 LLM 提供程序的响应，而无需更改其代码。如今，该库主要专注于聊天完成。我们将在不久的将来将其扩展到更多使用案例。
够利用日常家用设备（如手机、笔记本电脑、台式机等）来搭建家庭 AI 集群。它通过整合现有的设备，无需昂贵硬件，即可构建一个低成本、可扩展的 GPU 计算集群，支持动态模型分区、自动发现设备、ChatGPT API、P2P 连接和多种推理引擎。
将各种 AI 大模型和服务的接口，统一转换成 OpenAI 的格式，简化了在不同 AI 服务/大模型切换和管理的工作。此外，它还支持设置预算、限制请求频率、管理 API Key 和配置 OpenAI 代理服务器等功能。
帮助开发者用 Python 快速搭建和运行基于 LangGraph 框架的 AI 代理服务。它结合 FastAPI、Streamlit 和 Pydantic 等技术栈，提供了用户界面、自定义 Agent、流式传输等功能，并集成了内容审核（LlamaGuard）和用户反馈机制（LangSmith），极大地简化了 AI Agent 应用的开发和优化过程。
演示了使用 **ESP32**（一种低成本、支持 AI 的设备）进行边缘计算，以数字化您的模拟电表，无论是水表、燃气表还是电表。通过经济实惠的硬件和简单的说明，您可以将任何标准仪表变成智能设备。
一个微型语言模型的实现，更是一份入门 LLM 的教程，旨在降低学习和上手 LLM 的门槛 。它提供了从数据预处理到模型训练、微调和推理的全流程代码和教程。最小模型仅 0.02B 参数，可在普通 GPU 上轻松运行。
一个轻量级的 C++ 工具包，包含 100+ 个很棒的 AI 模型，例如对象检测、人脸检测、人脸识别、分割、遮罩等。请参阅 Model Zoo 和 ONNX Hub、MNN Hub、TNN Hub、NCNN Hub。
Genesis 是一个专为通用*机器人/具身 AI/物理 AI* 应用程序设计的物理平台。
该项目是用于构建具有记忆功能的 LLM 应用的 Python 框架，支持创建拥有长期记忆和持久状态的智能体（Agent），并能够集成多种 LLM API 服务。
这是一个高效易用的大型语言模型推理引擎，专为解决推理速度慢、资源利用率低等问题而设计。它基于 PyTorch 和 CUDA，并结合内存优化算法（PagedAttention）、计算图优化和模型并行技术，大幅降低 GPU 内存占用，并充分利用多 GPU 资源提升推理性能。
garak检查是否可以以我们不希望的方式使 LLM 失败。 探测幻觉、数据泄漏、及时注射、错误信息、毒性产生、越狱和许多其他弱点。如果您知道 or / Metasploit Framework，garak 的功能与它们有些相似，但适用于 LLM。
Trend Finder 收集并分析来自关键影响者的帖子，然后在检测到新趋势或产品发布时发送 Slack 通知。
open-interpreter可以让大语言模型在本地运行代码，支持 Python、JavaScript、Shell 等编程语言。相当于大语言模型是一个解释器，它会理解你的意图，将自然语言转化成相应的代码脚本并运行。安装后，用户就可以在终端通过聊天的方式操作计算机，比如创建和编辑图片、视频和文件，控制 Chrome 浏览器进行搜索等。
一个全栈应用程序，使您能够将任何文档、资源或内容转换为任何 LLM 都可以在聊天期间用作参考的上下文。此应用程序允许您选择要使用的 LLM 或矢量数据库，并支持多用户管理和权限。