llm-training

SKILL.md

Frameworks and techniques for training and finetuning large language models.

| Framework | Best For | Multi-GPU | Memory Efficient |

| Accelerate | Simple distributed | Yes | Basic | | DeepSpeed | Large models, ZeRO | Yes | Excellent | | PyTorch Lightning | Clean training loops | Yes | Good | | Ray Train | Scalable, multi-node | Yes | Good | | TRL | RLHF, reward modeling | Yes | Good | | Unsloth | Fast LoRA finetuning | Limited | Excellent |

À utiliser lors de la « formation LLM », « réglage fin », « RLHF », « formation distribuée », « DeepSpeed ​​», « Accelerate », « PyTorch Lightning », « Ray Train », « TRL », « Unsloth », « Formation LoRA », « attention flash », « points de contrôle de dégradé » Source : eyadsibai/ltk.

Voir l'original