libincao
← ARTICLES
2026.11.09 · 9 MIN · 繁中 · ENGINEERING

抖音為什麼越滑越懂你?看懂短影音推薦系統

一位新使用者第一次打開抖音,系統對他一無所知。可是滑不到半小時,推薦過來的影片就開始「對味」了。這中間發生了什麼?我最近讀完了一個開源的短影音推薦專案,這篇跟著一位虛構的新使用者小林,從他滑到的第一支影片講起,把整個流程走一遍。

一個由無數小影片格子組成的漏斗,從左往右分三段收窄,標著 500、100、10,最後流進一支正在滑影片的手機
推薦是一個漏斗:從海量影片裡一層層篩選,最後只傳給你一頁。

先說清楚材料:我讀的是 GitHub 上的 kuairand-short-video-recommender,用的是快手公開的 KuaiRand 資料集(約 2.7 萬名使用者、7,600 支影片、一個月的真實行為)。它不是抖音的原始碼,但結構和大型科技公司公開談過的做法一致。文中的數字都來自這個專案。

第一次滑:系統對你一無所知

推薦系統眼裡的世界,可以畫成一張大表:每一列是一位使用者,每一欄是一支影片,格子裡記著「這個人喜不喜歡這支影片」。

小林是新使用者,他那一列是空的。

一張使用者乘以影片的大矩陣,大部分列裡有零散的填色格子,最下面一列用珊瑚色框出,完全是空的;矩陣上方的長條圖是每支影片被喜歡的總數
新使用者那一列是空的。系統唯一能用的,是每一欄加起來的熱度。

不知道一個人喜歡什麼,最穩的方法就是推薦大家都喜歡的。所以小林第一次滑到的,基本上是熱門影片,再依類別混入各類熱門內容,讓他有機會表現出偏好。這叫冷啟動。

專案裡依使用者的活躍程度調整權重:越不了解的人,越依賴熱門;越了解的人,越相信個人化模型。這個簡單的策略,讓新使用者的長時間播放率提升了 64%。

你滑的每一下都在被記錄

小林滑到第一支影片,一隻貓正在拆家。他看完了,又重播了一遍,沒按讚。第二支是麻辣燙探店,兩秒就滑走了。

這兩件事都會被記下來,而且「看了多久」比「有沒有按讚」重要得多。在這份資料裡,按讚率只有 1.85%,長時間播放率卻有 33%。只靠按讚,模型幾乎學不到東西。所以系統判斷「喜歡」的主要依據是:有沒有看完、看得夠不夠久、有沒有按讚,三者有其一就算。

每次回饋都會立刻更新小林的「近況」:最近看過的、最近喜歡的影片清單。但它不會馬上替換手機裡已經收到的影片。App 每次只拿一小頁(十支左右),快看完時再請求下一頁,新的一頁才用上更新後的近況。一頁很小,所以感覺上幾乎是即時的。

從海量影片裡先撈 500 支:召回

抖音有上億支影片,再準的模型也不可能每次重新整理,都替所有影片評分一遍。所以第一步是召回:用又快又粗略的方法,先撈出 500 個候選。召回的目標不是排得準,而是別漏掉:沒被撈進來的,後面再厲害也推薦不出來。

召回有好幾路同時進行,每一路抓一種「喜歡」的理由。最重要的兩路:

ItemCF:看了這個的人還看了

回到那張大表,這次直著看。如果兩支影片總是被同一群人喜歡,它們就算相似。系統每天離線計算一遍,替每支影片存一份「相似影片清單」。

左邊是一張稀疏矩陣,兩欄分別用珊瑚色和青色標出,兩欄同時被填色的列之間用小點連起來;箭頭指向右邊一張列著三支相似影片的卡片
兩欄在同一批列上都有填色,就表示它們被同一群人喜歡。

小林重新整理時,系統拿他最近看過的影片逐一查清單,越近期看的權重越高,相同鄰居的分數相加。貓咪拆家的清單裡有「貓 B」,於是貓 B 進了候選。

它的好處是不必訓練,只要計數;缺點是只認「被一起看過」,兩支從沒被同一個人看過的影片,它永遠不知道它們像不像。

雙塔:把人和影片都變成座標

雙塔模型替每位使用者、每支影片各學一個 64 維向量,可以理解成它們在「口味空間」裡的座標。離得近,就表示合拍。

兩座塔並排:左邊的使用者塔輸入使用者矩陣的一列和最近 50 支影片的平均向量,右邊的影片塔輸入影片、作者、標籤三塊,兩座塔頂端各輸出一個 64 格的向量,在頂端做內積;影片塔後面是一張很高的影片向量矩陣,一個放大鏡在上面找最近的幾列
使用者塔和影片塔各自輸出一個 64 維向量,內積越大越合拍。

這些向量一開始都是隨機數,靠訓練一點點調整:被同一群人喜歡的影片,會被拉得越來越近。它比 ItemCF 多了一項本事:兩支影片就算沒被同一個人看過,只要觀眾口味相近,向量也會靠在一起。

兩座塔互相獨立,這是它快的關鍵:所有影片的向量可以事先算好。線上只要算一次小林向量,再去找最近的影片。找的時候不是逐一比較,而是用 FAISS 這類近似檢索函式庫,沿著一張「相似關係網」跳幾十步,就能找到大部分最近鄰。

另外兩路簡單一些:熱門就是第一次滑影片時用的那份排行榜,給誰都能用;圖召回把影片連成一張關係網,找「朋友的朋友」,補上一些要多繞一步才相關的影片。

幾路召回合併、去除重複,每人留下 500 個。在這個專案裡,這 500 個撈到了測試期間全部「喜歡」的 52.5%。這就是後面所有階段的上限。

500 個怎麼變成 10 個:粗排、精排、重排

粗排用一個輕量的決策樹模型(LightGBM),把 500 個刪減到 100 個。它最重要的特徵之一,就是各路召回給的分數:它在學「怎麼更聰明地組合召回的意見」。

精排是整個漏斗裡最準、也最貴的一層。這個專案用的是阿里提出的 DIN(深度興趣網路),核心想法很好懂:興趣要看對象。

上下兩列,每列左邊是同一位使用者過去看過的六支影片,右邊是一支候選影片。上一列候選是貓,貓影片上方的權重長條很高;下一列候選是鍵盤,鍵盤影片上方的權重長條很高
同一段觀看紀錄,面對不同的候選影片,被「想起」的部分不一樣。

雙塔把小林最近 50 支影片一律取平均,不管評估的是什麼。DIN 則針對每個候選重新分配權重:評估貓影片時,主要參考他看過的貓;評估鍵盤影片時,主要參考他看過的 數位產品內容。這就是「注意力」。

精排一次預測三件事:會不會長時間播放、會不會看完、會不會按讚,再依權重合成一個分數:

排序分數 = 0.45 × P(長時間播放) + 0.30 × P(按讚) + 0.25 × P(看完)

這組權重其實是產品決策:調高長時間播放,推薦出來的就更「讓人停不下來」;調高按讚,就更「討喜」。

重排最後看一整頁:同一個作者最多出現兩次、別連續出現三支同類影片、新影片加一點分。它一個位置、一個位置地選,每次都看前面已經放了什麼。最後傳給小林一頁十支。

插曲:滑到一支剛上傳的影片

第三頁裡,小林滑到一支一小時前才上傳的影片:一隻小貓第一次見到雪。他看完了,還按了讚。

這支影片在系統裡幾乎是一張白紙:大表裡它那一欄是空的,ItemCF 的相似清單裡沒有它,它的 ID 向量還是隨機初始化的值。那它是怎麼被推薦出來的,又是怎麼慢慢「認識自己」的?

三格從左到右:矩陣右邊新增的一欄,從空白虛線,到被少數人看過、填了幾個格子,再到填滿許多格子;旁邊的 64 格向量從灰色雜訊點逐漸變成清楚的顏色圖案;下方散佈圖裡一個珊瑚色的點,從空白中間一步步移進貓咪的分群
新影片從一欄空白開始,靠一批批觀眾的回饋,慢慢找到自己的位置。
  1. 上傳時:先靠「它是什麼」。行為資料為零,但作者和標籤是有的。雙塔的影片塔本來就會輸入作者和標籤,所以它一上傳就能算出一個大致的向量:一個常發可愛寵物影片的作者、標籤是「萌寵」,向量自然落在貓影片附近。小林正是這樣透過雙塔召回看到它的。
  2. 第一批觀眾:用少量流量試水溫。平台通常會給新影片一小份基本曝光,先推薦給幾百位口味可能合得來的人。小林就是其中之一。
  3. 回饋累積起來。小林的「看完 + 按讚」和其他人的反應,會被寫進日誌。以幾分鐘為單位的串流運算,會先更新它的熱度;回饋好,就推薦給更多人,回饋差就停下來。
  4. 下一次訓練:真正被「認識」。定期重新訓練會用上這些新日誌:它那一欄的格子被填上了,ItemCF 替它算出了第一批相似影片,它的 ID 向量也被梯度拉向「被同一群人喜歡」的那群影片。從這時起,它不再只是「一個可愛寵物作者的影片」,而是「被這群愛貓的人看完的影片」。

這就是物品冷啟動。在我讀的這個專案裡,這部分其實沒做好:資料集只有一個月,候選裡幾乎沒有新影片,推薦仍然集中在熱門內容上。但思路是一樣的:先靠內容,再靠試水溫,最後靠行為。

為什麼越滑越懂你

把前面串起來,會發現有兩個轉速完全不同的循環:

兩個同心的循環:內圈小,標著 seconds,連著使用者、手機、最近看過的清單和新的一頁影片;外圈大,標著 daily,連著日誌、訓練齒輪和一組矩陣,再回到內圈
內圈以秒轉動:你的近況變了,下一頁就變。外圈以天轉動:模型和相似清單重新學一遍。

推得好不好,怎麼知道

最後說一個讓我意外的結果。專案做了一次離線 A/B:一組使用者只推薦熱門影片,一組用上面整個流程。在主要指標上,整個流程反而輸了 7.6%,不過信賴區間是 [−16.1%, +1.5%],統計上並不顯著。

原因很有意思:離線評估的「答案」,只來自快手當時真的推薦過的影片,而快手本身就偏好熱門內容。我們推薦一支小眾但很合口味的影片,如果快手當時沒推薦過,日誌裡就沒有使用者對它的反應,只能算沒命中。離線評估本來就會獎勵「和原來推薦得一樣」,懲罰個人化。這叫曝光偏差。所以離線指標只能參考,推薦演算法好不好,最後還是得靠線上 A/B 測試。

一句話總結

總結圖:左邊是全部影片,分出四條召回通道 popular、ItemCF、two-tower、graph,匯入一個漏斗,依序標著 recall 500、prerank 100、rank 100、rerank 10,最後流進使用者手裡的手機;一條虛線箭頭 feedback 從手機繞回四條召回通道
整個流程:四路召回匯成 500 個候選,粗排留 100 個,精排排好順序,重排挑出一頁 10 個;你的回饋再回到召回的起點。

推薦系統是一個漏斗:召回決定能推薦什麼,排序決定先推薦什麼,重排決定一頁好不好看。離線把「影片和影片的關係」學好,線上只算「你此刻的近況」。所以它越滑越懂你,靠的不是每一秒都在重新學習,而是每一秒都在更新它眼裡的你。

想自己動手的話,可以 clone 上面那個儲存庫,資料集和訓練好的模型都提交在裡面(約 1.3 GB),每一層的指標和日誌都能直接看到。