推薦系統在生活中無所不在，可以被應用在社群媒體推播、網頁搜尋內容呈現、電商商品推薦等。這樣的系統可以提升用戶的黏著度，更可以為企業帶來收益，對於追求實效的業界來說，在推薦系統上的研發與創新層出不窮。

在優化推薦系統中，是時常需要關注很多因素進行優化的，如點擊率(Click Through Ratio, CTR)、轉換率(Conversion Rate, CVR)等指標，因此多任務學習(Multi-task Learning, MTL)越來越常應用在推薦系統領域上，期望藉由同個模型同時針對多個任務目標進行優化。

但在現實推薦系統中，任務之間的相關性有時並不高，又或者任務間會有衝突，使得應用MTL在多任務間共享參數的機制下，因為相關性不強而降低模型表現產生負遷移(negative transfer)現象。其中，阿里巴巴的ESMM、Google 的 MMoE雖採用MTL模型架構進行優化來減輕負遷移現象，但這些MTL模型往往只能提升一部分任務效果，卻也同時犧牲另外部分的任務效果，其稱之為蹺蹺板現象(seesaw phenomenon)。而這次要分享的是騰訊提出的Progressive Layered Extraction, PLE模型，該論文榮獲了RecSys2020最佳長短論文獎，進一步解決了MTL模型的蹺蹺板現象。

在影片推薦的應用上，會在意觀看完成度(View Completion Ration, VCR)、有效觀看率(View-Through Rate, VTR)等任務指標，既有分類也有回歸的多任務問題。因此PLE模型採用Customized Gate Control, CGC結構模型，將神經網路模組分離成特定任務的experts和共享參數的experts，並透過門控機制傳遞資訊到後續網路。與先前的MTL模型相比，CGC既保留了共享experts的能力，又能避免負遷移的干擾。接著，透過多層的CGC，漸進式(progressive)的逐步提取共享參數的表示和逐步分離特定任務的參數，以提取到更有用的訊息，同時考量樣本在任務條件下不一致和各任務間權重調整的問題，將損失函數進行優化，實現更高效的聯合學習。

實際上線於約有十億個影片的騰訊視頻平台後，與先前SOTA的MTL模型相比，PLE模型在VCR、VTR等多任務上的效益皆有所提升，更是達到用戶瀏覽次數提升4.17%、平均觀看時數提升3.57%的成效。想要精準推播提升用戶點擊次數或瀏覽時數嗎? 來參考PLE模型的做法吧！

資料來源 https://doi.org/10.1145/3383313.3412236

（撰稿工程師：蕭雅方）