## 微调的概念微调是指在一个已经预训练的模型基础上进行进一步的训练。预训练模型通常是在大规模数据集(如ImageNet或大型文本语料库)上训练的,因此已经捕获了丰富的特征和知识。微调的目标是利用预训练模型的知识,在较小的数据集上进行特定任务的优化。### 主要特点1
DoRA(Decomposed Rank Adaptation)和RSLora(Rank-Stable LoRA)都是改进的LoRA方法,旨在通过不同的技术手段来提高模型的适应性和性能。尽管它们的目标相似,但它们在实现方法和具体机制上有一些关键区别:### DoRA(Decomposed Rank Adaptation)1. **权重分解**:DoRA通过将权重矩阵