#tokenization

LLMの基本原理入門: トークン化から文脈長まで

LLMの仕組みを、トークン化・埋め込み・自己注意・事前学習・推論・文脈長に分けてやさしく整理する。