transformer-lens-interpretability

SKILL.md

TransformerLens is the de facto standard library for mechanistic interpretability research on GPT-style language models. Created by Neel Nanda and maintained by Bryce Meyer, it provides clean interfaces to inspect and manipulate model internals via HookPoints on every activation.

The main class that wraps transformer models with HookPoints on every activation:

| GPT-2 | gpt2, gpt2-medium, gpt2-large, gpt2-xl | | LLaMA | llama-7b, llama-13b, llama-2-7b, llama-2-13b | | EleutherAI | pythia-70m to pythia-12b, gpt-neo, gpt-j-6b | | Mistral | mistral-7b, mixtral-8x7b | | Others | phi, qwen, opt, gemma |

HookPoints 및 활성화 캐싱을 통해 변환기 내부를 검사하고 조작하기 위해 TransformerLens를 사용하는 기계적 해석 가능성 연구에 대한 지침을 제공합니다. 모델 알고리즘을 리버스 엔지니어링하거나 주의 패턴을 연구하거나 활성화 패치 실험을 수행할 때 사용합니다. 출처: orchestra-research/ai-research-skills.

원본 보기