【組み込みマシンで大規模言語モデル】JetsonでFlexGenは動くのか？

本動画は、JetsonでFlexGenが動作するか試したものになります。
結果ですが、なんと、opt-6.7bの重み圧縮モデルが動作しました！！！
とても感動したので、感動が冷めないうちに動画にした感じです。

Jetson AGX XavierやOrinでは問題なく動作するはずなので、試してみたい方は、以下の記事に記載のコードを実行してみてください！
https://agirobots.com/jetson-flexgen/

ブログ、Twitter、Instagramでも、情報を発信しています。
チャンネルの登録や、フォローお願いします！
blog:https://agirobots.com/
twitter:https://twitter.com/AGIRobots/
instagram:https://www.instagram.com/agirobots/

Видео 【組み込みマシンで大規模言語モデル】JetsonでFlexGenは動くのか？ канала AGIRobots