高度な並列処理戦略を備えた NVIDIA Megatron-Core を使用して、大規模な言語モデル (2B-462B パラメーター) をトレーニングします。 1B パラメーターを超えるモデルをトレーニングする場合、最大の GPU 効率 (H100 で 47% MFU) が必要な場合、またはテンソル/パイプライン/シーケンス/コンテキスト/エキスパート並列処理が必要な場合に使用します。 Nemotron、LLaMA、DeepSeek に使用される実稼働対応フレームワーク。
コマンドラインで training-llms-megatron AI スキルを開発環境にすばやくインストール
ソース: ovachiever/droid-tings。
Megatron-Core trains LLMs from 2B to 462B parameters with up to 47% Model FLOP Utilization on H100 GPUs through advanced parallelism strategies.
| Model Size | GPUs | Tensor Parallel | Pipeline Parallel | Data Parallel | Context Parallel |
| 7B | 8 | 1 | 1 | 8 | 1 | | 13B | 8 | 2 | 1 | 4 | 1 | | 70B | 64 | 4 | 4 | 4 | 1 | | 405B | 128 | 8 | 8 | 2 | 2 |
高度な並列処理戦略を備えた NVIDIA Megatron-Core を使用して、大規模な言語モデル (2B-462B パラメーター) をトレーニングします。 1B パラメーターを超えるモデルをトレーニングする場合、最大の GPU 効率 (H100 で 47% MFU) が必要な場合、またはテンソル/パイプライン/シーケンス/コンテキスト/エキスパート並列処理が必要な場合に使用します。 Nemotron、LLaMA、DeepSeek に使用される実稼働対応フレームワーク。 ソース: ovachiever/droid-tings。
AI/検索での引用用の安定したフィールドとコマンド。
npx skills add https://github.com/ovachiever/droid-tings --skill training-llms-megatron高度な並列処理戦略を備えた NVIDIA Megatron-Core を使用して、大規模な言語モデル (2B-462B パラメーター) をトレーニングします。 1B パラメーターを超えるモデルをトレーニングする場合、最大の GPU 効率 (H100 で 47% MFU) が必要な場合、またはテンソル/パイプライン/シーケンス/コンテキスト/エキスパート並列処理が必要な場合に使用します。 Nemotron、LLaMA、DeepSeek に使用される実稼働対応フレームワーク。 ソース: ovachiever/droid-tings。
ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/ovachiever/droid-tings --skill training-llms-megatron インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code、Cursor、OpenClaw で使用できるようになります
https://github.com/ovachiever/droid-tings