小众AI
AI开源软件
litgpt
litgpt - 一站式的 LLM 开发和部署工具

[模型工具 Python]

提供了 20 多种 LLMs 的预训练、微调和部署的工具。它可以通过 Pyhton 库或者命令行的方式使用，对模型进行微调、预训练、评估和部署服务等操作，支持自动从 HF 下载模型、自定义数据集、性能优化、降低内存要求（precision）等功能，以及 LoRA、QLoRA、Adapter 等多种微调方法。
  官网   代码仓

litgpt专注于大型语言模型预训练、微调与部署的命令行工具，具有支持多种模型、先进技术优化、易用性与灵活性以及广泛应用场景等特点。通过LitGPT，用户可以高效地利用和定制大型语言模型，推动自然语言处理技术的发展和应用。

litgpt.webp

主要功能

  • 支持多种模型：LitGPT支持超过20种大型语言模型，包括Mistral 7B和Phi 2等，涵盖不同规模和应用场景。
  • 先进技术优化： Flash Attention：提高模型的运行速度，降低显存读写需求。 FSDP（全分片数据并行性）：实现大模型跨多个GPU的高效训练。
  • 多精度计算：支持从浮点32到更低精度的数据类型，降低计算资源需求。
  • 量化技术：包括4位浮点数和8位整数，甚至双量化，进一步节省内存。
  • 参数效率的微调策略：如LoRA、QLoRA和Adapter，允许在不显著增加模型大小的情况下进行有效的微调。

开始使用

安装 LitGPT

pip install 'litgpt[all]'

加载和实用 20+ LLMs:

更多...

ai-financial-agent
探索人工智能在投资研究中的应用。
Meetily
一个 AI 驱动的会议助手，可捕获实时会议音频、实时转录并生成摘要，同时确保用户隐私。
CHRONOS
CHRONOS是一种新颖的基于检索的时间线摘要 （TLS） 方法，通过迭代提出有关主题和检索到的文档的问题来生成按时间顺序排列的摘要。