可训练词元 (Trainable Tokens) - Hugging Face 文档
可训练词元 (Trainable Tokens) 方法提供了一种针对特定词元嵌入进行微调的方式，而无需训练整个嵌入矩阵或在嵌入矩阵上使用适配器。
快速教程 - Hugging Face 文档
使用 get_peft_model () 函数将基础模型和 `peft_config` 包装起来，以创建一个 PeftModel。 要了解模型中可训练参数的数量，请使用 `print_trainable_parameters` 方法。
训练器 - Hugging Face 文档
Trainer 类为 PyTorch 提供了功能齐全的训练 API，并支持多 GPU/TPU 上的分布式训练，支持 NVIDIA GPU 、 AMD GPU 的混合精度，以及 PyTorch 的 torch.amp。 Trainer 与 …
PEFT - Hugging Face 文档
PEFT 是一个参数高效微调方法库，它支持在消费级 GPU 上训练和存储大型模型。这些方法只对预训练模型基础之上的一小部分额外模型参数（也称为适配器）进行微调。由于 GPU 不需要 …
使用 Trainer API 微调模型 - Hugging Face LLM 课程 - Hugging …
🤗 Transformers 提供了 Trainer 类，可帮助您使用现代最佳实践在自己的数据集上微调其提供的任何预训练模型。完成上一节中的所有数据预处理工作后，您只需几个步骤即可定义 Trainer。最 …
使用 PEFT 进行 Prompt Tuning - Hugging Face 开源 AI 实战手册
trainable params: 4,096 || all params: 559,218,688 || trainable%: 0.0007324504863471229 None ... 现在我们将创建训练参数，我们将在两次训练中使用相同的配置。
LoRA - Hugging Face 文档
trainable_token_indices (Optional[Union[List[int], dict[str, List[int]]]]) — 允许您使用 `peft.TrainableTokensModel` 方法选择性地微调特定的词元索引，而无需重新训练整个嵌入矩 …
PEFT 配置和模型 - Hugging Face 文档
lora_model.print_trainable_parameters() "trainable params: 1,572,864 || all params: 332,769,280 || trainable%: 0.472659014678278" ... 现在您可以使用您偏好的训练框架来训练 PeftModel …
训练器类 - Hugging Face 文档
output_dir (str, 默认为 "checkpoints") — 模型预测和检查点将被写入的输出目录。 batch_size (Union[int, Tuple[int, int]], 默认为 (16, 2)) — 分别设置嵌入和分类器训练阶段的批量大小，如果 …
SFT 训练器 - Hugging Face 文档
from datasets import load_dataset from trl import SFTTrainer from peft import AutoPeftModelForCausalLM model = AutoPeftModelForCausalLM.from_pretrained("trl …