GPT OSS 120B esperimento folle su Ubuntu

In questo video racconto il mio test con gpt-oss-120b in formato GGUF su Ubuntu, usando strumenti reali da terminale, Hugging Face, hf download, Docker e llama.cpp.

Il test è stato fatto su un HP Compaq Elite 8300 SFF, con Intel Core i3-3240 @ 3.40 GHz, 32 GB di RAM DDR3 1600 MHz, grafica integrata Intel e Ubuntu Linux. Niente cloud, niente workstation mostruosa: solo un vecchio PC, Docker, llama.cpp e tanta pazienza.

Non è un tutorial perfetto da laboratorio sterilizzato, ma un esperimento fatto davvero: errori compresi. Durante il percorso compare anche il classico problema di Ubuntu con Python e pip, il messaggio externally-managed-environment, la soluzione con pipx e il passaggio dal vecchio huggingface-cli al comando nuovo hf.

L’obiettivo non è dire che questo modello gira bene su qualsiasi PC, ma mostrare cosa succede quando provi davvero a scaricare e preparare un modello enorme in locale, dentro una cartella di modelli GGUF e con llama.cpp eseguito in un container Docker.

Come sempre, esperimenti reali, comandi veri, qualche inciampo e tanta curiosità.

https://epicstrike.altervista.org/

Видео GPT OSS 120B esperimento folle su Ubuntu канала Sergio De Rossi