transformer-lens-interpretability

SKILL.md

TransformerLens is the de facto standard library for mechanistic interpretability research on GPT-style language models. Created by Neel Nanda and maintained by Bryce Meyer, it provides clean interfaces to inspect and manipulate model internals via HookPoints on every activation.

The main class that wraps transformer models with HookPoints on every activation:

| GPT-2 | gpt2, gpt2-medium, gpt2-large, gpt2-xl | | LLaMA | llama-7b, llama-13b, llama-2-7b, llama-2-13b | | EleutherAI | pythia-70m to pythia-12b, gpt-neo, gpt-j-6b | | Mistral | mistral-7b, mixtral-8x7b | | Others | phi, qwen, opt, gemma |

TransformerLens を使用して、HookPoint とアクティベーション キャッシュを介してトランスの内部を検査および操作する機構的解釈可能性の研究に関するガイダンスを提供します。モデル アルゴリズムのリバース エンジニアリング、注意パターンの研究、またはアクティベーション パッチ実験の実行時に使用します。 ソース: orchestra-research/ai-research-skills。

原文を見る