입출력단위 '토큰(Token)'에 대하여

토큰이란 무엇일까요?

토큰은 AI, 특히 언어 모델이 텍스트를 이해하고 처리하는 기본 단위라고 생각하면 쉬워요. 사람이 글을 읽을 때 단어나 어절 단위로 끊어 읽는 것처럼, AI도 문장을 그대로 통째로 이해하는 것이 아니라 잘게 쪼개진 '토큰' 단위로 분석하고 생성합니다.

예를 들어, "나는 학교에 갑니다."라는 문장이 있다면, AI는 이것을 다음과 같이 여러 개의 토큰으로 나눌 수 있습니다.

• ["나", "는", "학교", "에", "갑니다", "."]

이때 각각의 "나", "는", "학교" 등이 바로 하나의 토큰이 됩니다.

---

왜 토큰을 사용할까요?

AI가 문장을 토큰 단위로 나누는 데에는 몇 가지 중요한 이유가 있습니다.

• 효율적인 처리: 컴퓨터는 글자보다 숫자를 다루는 데 훨씬 효율적입니다. AI는 각 토큰을 고유한 숫자(ID)로 변환한 다음, 이 숫자들의 배열(벡터)을 이용해 계산하고 학습합니다. 이렇게 하면 방대한 양의 텍스트 데이터를 효율적으로 처리할 수 있습니다.
• 의미 파악: 단어나 형태소 단위로 쪼개진 토큰들은 각각의 의미를 파악하는 데 도움이 됩니다. AI는 수많은 텍스트를 학습하면서 토큰들 사이의 관계(예: '학교' 다음에는 '에'가 올 확률이 높다)를 파악하고, 이를 통해 문맥을 이해하고 자연스러운 문장을 만들어낼 수 있습니다.
• 새로운 단어 대응: '단어' 단위로만 나누면 사전에 없는 신조어나 오타를 처리하기 어렵습니다. 하지만 '서브워드(subword)'라는 더 작은 단위로 토큰을 만들면, "챗GPT" 같은 새로운 단어도 "챗"과 "GPT"로 나누어 의미를 유추할 수 있습니다.

---

토큰과 글자/단어의 관계

정확히 말하면 토큰은 글자나 단어와 항상 1:1로 대응되지는 않습니다.

• 영어: 보통 1개 토큰이 약 4개의 알파벳에 해당하고, 단어의 3/4 정도를 차지합니다. 예를 들어 'token'이라는 단어는 1개의 토큰이지만, 'tokenization'은 'token'과 'ization'이라는 2개의 토큰으로 나뉠 수 있습니다.
• 한국어: 조사가 발달하고 단어 조합이 자유로운 특성 때문에, 영어보다 더 잘게 쪼개지는 경향이 있습니다. 따라서 같은 내용의 글이라도 한국어가 영어보다 더 많은 토큰을 사용하게 됩니다.

결론적으로 토큰은 AI가 세상을 이해하는 언어의 '벽돌'과도 같습니다. 이 벽돌들을 조합하여 문장의 의미를 이해하고, 새로운 문장을 창조해내는 것이죠. AI 모델의 성능을 이야기할 때 "처리할 수 있는 토큰의 수가 많다"는 것은 한 번에 더 길고 복잡한 글을 이해하고 생성할 수 있다는 의미가 됩니다.

 

토큰의 크기를 연습할 수 있는 사이트에 방문해서 확인하시면 개념이 좀 생기실 것입니다.

https://tiktokenizer.vercel.app/