想提升點擊次數或瀏覽時數? 騰訊用PLE模型精準推播

推薦系統在生活中無所不在,可以被應用在社群媒體推播、網頁搜尋內容呈現、電商商品推薦等。這樣的系統可以提升用戶的黏著度,更可以為企業帶來收益,對於追求實效的業界來說,在推薦系統上的研發與創新層出不窮。

在優化推薦系統中,是時常需要關注很多因素進行優化的,如點擊率(Click Through Ratio, CTR)、轉換率(Conversion Rate, CVR)等指標,因此多任務學習(Multi-task Learning, MTL)越來越常應用在推薦系統領域上,期望藉由同個模型同時針對多個任務目標進行優化。

但在現實推薦系統中,任務之間的相關性有時並不高,又或者任務間會有衝突,使得應用MTL在多任務間共享參數的機制下,因為相關性不強而降低模型表現產生負遷移(negative transfer)現象。其中,阿里巴巴的ESMM、Google 的 MMoE雖採用MTL模型架構進行優化來減輕負遷移現象,但這些MTL模型往往只能提升一部分任務效果,卻也同時犧牲另外部分的任務效果,其稱之為蹺蹺板現象(seesaw phenomenon)。而這次要分享的是騰訊提出的Progressive Layered Extraction, PLE模型,該論文榮獲了RecSys2020最佳長短論文獎,進一步解決了MTL模型的蹺蹺板現象。

在影片推薦的應用上,會在意觀看完成度(View Completion Ration, VCR)、有效觀看率(View-Through Rate, VTR)等任務指標,既有分類也有回歸的多任務問題。因此PLE模型採用Customized Gate Control, CGC結構模型,將神經網路模組分離成特定任務的experts和共享參數的experts,並透過門控機制傳遞資訊到後續網路。與先前的MTL模型相比,CGC既保留了共享experts的能力,又能避免負遷移的干擾。接著,透過多層的CGC,漸進式(progressive)的逐步提取共享參數的表示和逐步分離特定任務的參數,以提取到更有用的訊息,同時考量樣本在任務條件下不一致和各任務間權重調整的問題,將損失函數進行優化,實現更高效的聯合學習。

實際上線於約有十億個影片的騰訊視頻平台後,與先前SOTA的MTL模型相比,PLE模型在VCR、VTR等多任務上的效益皆有所提升,更是達到用戶瀏覽次數提升4.17%、平均觀看時數提升3.57%的成效。想要精準推播提升用戶點擊次數或瀏覽時數嗎? 來參考PLE模型的做法吧!

資料來源 https://doi.org/10.1145/3383313.3412236

(撰稿工程師:蕭雅方