科研成果| 新財(cái)經(jīng)綜合實(shí)驗(yàn)室碩士生論文被IJCAI接收

該論文面向大模型在下游小樣本數(shù)據(jù)集微調(diào)場(chǎng)景下的“魯棒性災(zāi)難性遺忘”問(wèn)題提出了基于主成分隱式正則化的低秩優(yōu)化方法（PILO）。針對(duì)自然準(zhǔn)確率與對(duì)抗魯棒性之間的梯度沖突這一典型痛點(diǎn)，該方法通過(guò)譜分析刻畫了模型對(duì)抗脆弱性高度集中于權(quán)重主成分的內(nèi)在物理結(jié)構(gòu)，并巧妙將微調(diào)過(guò)程顯式解耦為“對(duì)抗防守”和“自然學(xué)習(xí)”兩個(gè)子過(guò)程，利用不對(duì)稱雙分支架構(gòu)針對(duì)性構(gòu)建低秩參數(shù)空間，分別結(jié)合SVD初始化的主成分分支和隨機(jī)初始化的輔助分支作為對(duì)應(yīng)子任務(wù)的求解器，從而引入與預(yù)訓(xùn)練魯棒特征相一致的隱式譜正則化先驗(yàn)，實(shí)現(xiàn)了復(fù)合優(yōu)化目標(biāo)下的精細(xì)建模。研究進(jìn)一步基于多目標(biāo)聯(lián)合損失框架設(shè)計(jì)了包含KL散度的雙分支輸出對(duì)齊策略，從結(jié)構(gòu)層面有效化解了優(yōu)化過(guò)程中的梯度沖突。相較于現(xiàn)有方法，該方法能夠在僅更新不到40%模型參數(shù)量的約束下，在應(yīng)對(duì)多種強(qiáng)對(duì)抗攻擊（如PGD-10、AutoAttack）的場(chǎng)景中實(shí)現(xiàn)更為卓越的防御性能，有效地兼顧了對(duì)抗魯棒性與自然數(shù)據(jù)準(zhǔn)確率，并在涵蓋CNN與Transformer等多類高維視覺(jué)架構(gòu)的下游任務(wù)中展現(xiàn)出良好的泛化能力。