Attention Weight 시각화
Self-Attention이 입력 토큰 간 관계를 어떻게 학습하는지 히트맵으로 확인합니다
intermediate15분
Parameters
이 실험의 인터랙티브 파라미터는 콘텐츠 구현 시 추가됩니다
Self-Attention 히트맵 (Query → Key)
나는
오늘
학교에
갔다
Key →
나는
40%
20%
30%
10%
오늘
10%
50%
20%
20%
학교에
15%
25%
40%
20%
갔다
10%
15%
25%
50%
↑ Query
어텐션 강도:
낮음
중간
높음
관찰 포인트
- 각 행은 해당 토큰이 다른 토큰에 얼마나 주목하는지를 나타냅니다
- 대명사("그는")가 선행사("철수는")에 높은 어텐션을 부여하는 패턴을 관찰하세요
- 부정 표현에서 "아니다"가 수식 대상에 주목하는 패턴을 확인하세요
- 행을 클릭하면 해당 토큰의 어텐션 분포를 상세히 볼 수 있습니다