Speculative Decoding: Qwen-2.5-Coder-0.5B y 7B trabajando juntos.

Llama.cpp tiene un ejemplo de como se usa Speculative Decoding. En este vídeo vemos cómo usarlo.

Llama.cpp
https://github.com/ggerganov/llama.cpp

Probando Qwen-2.5-0.5B ¿Sirve para algo un LLM tan pequeño?
https://youtu.be/tRgPejqjiWc

Speculative Decoding. Acelera los modelos de lenguaje "adivinando" su respuesta
https://youtu.be/qV0deLwEOhk

Qwen2.5-Coder. ¿El mejor modelo libre para generar código?
https://youtu.be/ExobBVitMJY

Entrada en mi blog:
https://construyendoachispas.blog/2024/11/17/ejemplo-de-speculative-decoding-con-qwen-2-5-coder-7b-y-0-5b/

Mi libro de programación en Arduino:
https://www.amazon.es/programas-Arduino-Construyendo-Chispas-Presenta-ebook/dp/B09TS4W5DC

Invítame a un café:
https://ko-fi.com/cubiwan

Видео Speculative Decoding: Qwen-2.5-Coder-0.5B y 7B trabajando juntos. канала Construyendo a Chispas