近日，中國科學院軟件研究所科研團隊提出了小批量數據采樣策略，可消除由不可觀測變量語義引起的虛假關聯對表征學習的干擾，來提升自監督學習模型分布外泛化能力。
自監督學習的分布外泛化能力是指模型在面對與訓練數據分布不同的測試數據時，仍能夠保持良好性能。簡單來說，模型需要在“未見過”的數據分布上表現得和在訓練數據上一樣好。但是，有研究發現，自監督學習模型在訓練過程中受到與學習任務無關的不可觀測變量的語義干擾，從而削弱分布外泛化能力。
該研究基于因果效應估計等手段，提出小批量數據采樣策略，來消除不可觀測變量語義干擾的混雜影響。這一策略通過學習隱變量模型，來估計在給定“錨點”樣本的條件下，不可觀測語義變量的后驗概率分布，將其記為平衡分數。進而，該策略將具有相同或相近平衡分數的樣本對劃分為同一個小批量數據集，確保每個小批量數據集內的不可觀測語義變量與“錨點”樣本在條件上是獨立的，從而幫助模型避免學習到虛假關聯，提升模型的分布外泛化能力。
進一步，該研究在基準數據集上進行了廣泛實驗。所有實驗均僅替換批次生成機制，無需調整模型架構或超參數。實驗顯示，這一采樣策略使當前主流自監督學習方法在各類評估任務上至少提高2％的表現。具體而言，在ImageNet?100和ImageNet的分類任務中，Top 1和Top 5準確率均超越自監督方法SOTA；在半監督場景下的分類任務中，Top 1和Top 5準確率分別提升超3％和2％；目標檢測與實例分割遷移學習任務中，各項平均精度均獲得穩定增益；對于Omniglot、miniImageNet和CIFAR?FS等少樣本轉移學習任務，性能提升超5％。實驗表明，這一采樣策略可以弱化虛假關聯、強化因果學習，并能夠提升分布外泛化能力。
相關研究成果被CCF-A類人工智能頂級學術會議International?Conference?on?Machine?Learning（ICML-25）接收。
論文鏈接
本文鏈接：軟件所提出小批量數據采樣策略http://m.sq15.cn/show-12-1181-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。