摘要: LoRA: Low-Rank Adaptation of Large Language Models 是微软研究员引入的一项新技术,主要用于处理大模型微调的问题。目前超过数十亿以上参数的具有强能力的大模型 (例如 GPT-3) 通常在为了适应其下游任务的微调中会呈现出巨大开销。 LoRA 建议冻结预 阅读全文
posted @ 2023-02-10 11:43 HuggingFace 阅读(10981) 评论(0) 推荐(0) 编辑