Comparativa entre el tokenizador de Llama 3 y el de Llama 2

Comparativa entre el tokenizador de Llama 3 y el de Llama 2

Tokenizador llama 1-2:
https://belladoreai.github.io/llama-tokenizer-js/example-demo/build/
Tokenizador llama 3:
https://belladoreai.github.io/llama3-tokenizer-js/example-demo/build/

Link a mi blog con las tablas y textos::
https://construyendoachispas.blog/2024/04/28/comparamos-el-nuevo-tokenizador-de-llama-3-con-el-antiguo-de-llama-1-y-2/

Link a mi libro de programación en Arduino:
https://www.amazon.es/programas-Arduino-Construyendo-Chispas-Presenta-ebook/dp/B09TS4W5DC

Invítame a un café:
https://ko-fi.com/cubiwan

Видео Comparativa entre el tokenizador de Llama 3 y el de Llama 2 канала Construyendo a Chispas