Tokenizer Comparator
Compare how different tokenizers split text
Built by d@libor.kubis.ai
Input Text
Show whitespace
Sync panels
Presets
Share
GPT-3.5/4 (cl100k_base)
GPT-2/3 (r50k_base)
Codex/Davinci (p50k_base)
Edit Models (p50k_edit)
GPT-4o (o200k_base)
GPT-4o Harmony (o200k_harmony)
Llama-3
Meta Llama 3 8B
Google Gemma 7B
Microsoft Phi-2
DeepSeek R1
Qwen 2.5 72B
Falcon 7B
GPT-OSS 20B
Hviezdo 512 (Custom)
Hviezdo LLaMA CulturaX (Custom)
Hviezdo LLaMA All HV 32k (Custom)
0 tokens
Colored Text
Token List
GPT-3.5/4 (cl100k_base)
GPT-2/3 (r50k_base)
Codex/Davinci (p50k_base)
Edit Models (p50k_edit)
GPT-4o (o200k_base)
GPT-4o Harmony (o200k_harmony)
Llama-3
Meta Llama 3 8B
Google Gemma 7B
Microsoft Phi-2
DeepSeek R1
Qwen 2.5 72B
Falcon 7B
GPT-OSS 20B
Hviezdo 512 (Custom)
Hviezdo LLaMA CulturaX (Custom)
Hviezdo LLaMA All HV 32k (Custom)
0 tokens
Colored Text
Token List
GPT-3.5/4 (cl100k_base)
GPT-2/3 (r50k_base)
Codex/Davinci (p50k_base)
Edit Models (p50k_edit)
GPT-4o (o200k_base)
GPT-4o Harmony (o200k_harmony)
Llama-3
Meta Llama 3 8B
Google Gemma 7B
Microsoft Phi-2
DeepSeek R1
Qwen 2.5 72B
Falcon 7B
GPT-OSS 20B
Hviezdo 512 (Custom)
Hviezdo LLaMA CulturaX (Custom)
Hviezdo LLaMA All HV 32k (Custom)
0 tokens
Colored Text
Token List