#RePost #AI #GitHub

微调大语言模型，只用这个就够了~！

GitHub - hiyouga/LLaMA-Factory: A WebUI for Efficient Fine-Tuning of 100+ LLMs (ACL 2024)

🧐LLaMA-Factory是一个高效微调100多个大语言模型的WebUI，支持多种模型和训练方法，旨在简化模型微调过程。

➡️链接：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md

✨重点

●🔧 多模型支持：支持LLaMA、LLaVA、Mistral、Qwen、Baichuan、ChatGLM等多种模型。

●💡 集成方法：包含持续预训练、多模态监督微调、奖励建模、PPO、DPO等多种训练方法。

●📊 高级算法：支持GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro等先进算法。

●📈 实验监控：提供LlamaBoard、TensorBoard、Wandb等多种监控工具。

●🚀 高效推理：提供类似OpenAI风格的API，支持Gradio UI和CLI，使用vLLM进行高效推理。

●📝 详细文档：包括安装、数据准备、快速开始等详细说明，支持Colab和本地机器。

via 人工智能讨论组 - 即刻圈子 (author: Simon的白日梦)

Message link