EP12：一代宗師的武功秘笈：什麼是知識蒸餾（Knowledge Distillation）

📌 重點整理 (Key points)

知識蒸餾就是「老師教學生」。

我們有一個龐大、極度聰明的模型（Teacher），但它太笨重進不了手機。

我們再建立一個輕量級的小模型（Student）。Student 不去學死硬的龐大數據，

直接學 Teacher 的「解題思路」和「輸出結果」。
❇️ 核心名詞

「知識蒸餾」（Knowledge Distillation）

「軟標籤」（Soft Targets）

「暗知識」（Dark Knowledge）
❇️ 核心概念

這就像是直接給學生「武功秘笈的精華版」。小模型用極小的體積，居然能達到接近大模型 90% 以上的準確率！
—-------------------------------------------------------------------------
💬 端點星計畫 LINE 社團：https://freefolk.tw/terminustar
📪 商業合作請寄信至：business@freefolk.com.tw

Видео EP12：一代宗師的武功秘笈：什麼是知識蒸餾（Knowledge Distillation） канала 端點星計畫