Загрузка...

70B Deepseek on the Tesla P40 VS RTX 4090 A Full Run-Through and Token Rate Analysis

In this insightful video, watch as we operate Deepseek R1 70B on an old Tesla P40 Server and conduct a robust examination of the token rate for different Deepseek models. It turn out if you run larger parameter model. Tesla P40 has better performance than RTX 4090

By me a coffee
https://buymeacoffee.com/fuwei007

RTX 4090 Test
https://youtu.be/y_8p-PmOcIw

Telsa P40
https://www.youtube.com/watch?v=VtBzu72RuLE
Deepseek on Raspberry Pi 5 8G
https://www.youtube.com/watch?v=xwM4TSAnyxo

Youtube: https://www.youtube.com/@frankfu007
LinkedIn: https://www.linkedin.com/in/navbot-frank/
X: https://x.com/fuwei007cn
facebook:https://www.facebook.com/weiwei.fufu

#BrowserUse #WebUI #OpenAI #TechTutorial #CostEffective #AIAlternatives #WebDevelopment #SafetyFirst #p40 #deepseek #4090

Test Result RTX 4090
RTX4090 1st 2nd 3rd
1.5b 219 246 264
7b 139 123 128
14b 76 73 73
32b 3 3 3
70b 2.7 2.59
Test Result Tesla P40
P40 1st 2nd 3rd
1.5b 110 110 104
7b 43 42 40
14b 23 21 17
32b 11 10 9
70b 1.8 1.74

Mac Mini M416G
1.5 74.30 72
7b 19.62 19.33
14b 10.33 19.9
My project
https://easyone.ai/

Видео 70B Deepseek on the Tesla P40 VS RTX 4090 A Full Run-Through and Token Rate Analysis канала AI Researcher & Robotics Developer Frank Fu
Яндекс.Метрика
Все заметки Новая заметка Страницу в заметки
Страницу в закладки Мои закладки
На информационно-развлекательном портале SALDA.WS применяются cookie-файлы. Нажимая кнопку Принять, вы подтверждаете свое согласие на их использование.
О CookiesНапомнить позжеПринять