Alpaca-Lora (羊驼-Lora): 轻量级 ChatGPT 的开源实现(对标 Standford Alpaca)珍妮的选择:总览本文介绍 Alpaca-Lora (羊驼-Lora),可以认为是 ChatGPT 轻量级的开源版本,它使用 Lora (Low-rank Adaptation) 技术在 Meta 的 LLaMA 7B 模型上微调,只需要训练很小一部分参数就可以获得媲美 Standford Alpaca 模型的效果; 本文重点在它的本地安装方法...前言(与正文可能无关,可以忽略)前段时间介绍了 Stanford Alpaca (羊驼):ChatGPT 学术版开源实现 ,感觉大家热情高涨,可能 Stanford Alpaca 团队也感受到了这些热…
文章57 赞同12 评论
Alpaca-Lora:训练你自己的ChatGPT狂拽龙少酷屌帅:最近在测试开源chatgpt方案的时候发现了这个alpace-lora, 确实是行。简单来说就是仍旧使用alpaca那套训练数据,仍旧基于LLaMA 7B, 但是把训练方式改成用lora训练,我测试下来V100上3个epoch(1000+ step)大概需要8个小时左右,就可以达到和alpaca差不多的效果。(但其实并不用训这么多步,感觉其实1个epoch就够用) 原仓库作者是在4090上面训的,显存也够。 仓库地址: GitHub - tloen/alpaca-lora: Instruct-tune LLaMA on co…
文章227 赞同15 评论