Przejdź do trybu offline z Player FM !
Token Erasure as a Footprint of Implicit Vocabulary Items in LLMs
Manage episode 426507868 series 3524393
LLMs process text with tokens, but individual tokens may not relate to word meanings. This study explores how LLMs convert tokens into higher-level representations, revealing an "erasure" effect.
https://arxiv.org/abs//2406.20086
YouTube: https://www.youtube.com/@ArxivPapers
TikTok: https://www.tiktok.com/@arxiv_papers
Apple Podcasts: https://podcasts.apple.com/us/podcast/arxiv-papers/id1692476016
Spotify: https://podcasters.spotify.com/pod/show/arxiv-papers
--- Support this podcast: https://podcasters.spotify.com/pod/show/arxiv-papers/support
1236 odcinków
Manage episode 426507868 series 3524393
LLMs process text with tokens, but individual tokens may not relate to word meanings. This study explores how LLMs convert tokens into higher-level representations, revealing an "erasure" effect.
https://arxiv.org/abs//2406.20086
YouTube: https://www.youtube.com/@ArxivPapers
TikTok: https://www.tiktok.com/@arxiv_papers
Apple Podcasts: https://podcasts.apple.com/us/podcast/arxiv-papers/id1692476016
Spotify: https://podcasters.spotify.com/pod/show/arxiv-papers
--- Support this podcast: https://podcasters.spotify.com/pod/show/arxiv-papers/support
1236 odcinków
Wszystkie odcinki
×Zapraszamy w Player FM
Odtwarzacz FM skanuje sieć w poszukiwaniu wysokiej jakości podcastów, abyś mógł się nią cieszyć już teraz. To najlepsza aplikacja do podcastów, działająca na Androidzie, iPhonie i Internecie. Zarejestruj się, aby zsynchronizować subskrypcje na różnych urządzeniach.