<mark id="oztn4"></mark>
0
雷鋒網(wǎng) AI 科技評(píng)論按：在大數(shù)據(jù)時(shí)代，標(biāo)注足夠多的訓(xùn)練樣本往往耗費(fèi)巨大。弱監(jiān)督學(xué)習(xí)方法往往能夠減輕對(duì)正確標(biāo)簽的過(guò)度依賴，達(dá)到與監(jiān)督學(xué)習(xí)相近的性能。然而，在設(shè)計(jì)弱監(jiān)督學(xué)習(xí)方法時(shí)，我們需要理解無(wú)標(biāo)簽樣本的分布情況（比如 semi-supervised learning），或者帶噪聲標(biāo)簽樣本的噪聲大小（比如 learning with label noise），這些問(wèn)題的本質(zhì)就是混合比例估計(jì)。因此，混合比例估計(jì)在弱監(jiān)督學(xué)習(xí)中占有至關(guān)重要的作用。
在雷鋒網(wǎng) (公眾號(hào)：雷鋒網(wǎng)) 旗下學(xué)術(shù)頻道 AI 科技評(píng)論的數(shù)據(jù)庫(kù)項(xiàng)目「AI 影響因子」中，優(yōu)必選悉尼 AI 研究院憑借4 篇 CVPR 錄用論文、8.2億美元的C輪融資，AI首席科學(xué)家陶大程當(dāng)選澳大利亞科學(xué)院院士的不俗表現(xiàn)，排在「AI 影響因子」前列。
近期，在 GAIR 大講堂上，優(yōu)必選悉尼 AI 研究院博士生余席宇分享了他在混合比例估計(jì)中新的研究成果，以及其在弱監(jiān)督學(xué)習(xí)，遷移學(xué)習(xí)中的延伸應(yīng)用。視頻回放地址：http://www.mooc.ai/open/course/493
余席宇，悉尼大學(xué) FEIT 四年級(jí)博士生，優(yōu)必選悉尼 AI 研究院學(xué)生。北京航空航天大學(xué)控制科學(xué)與工程學(xué)士，碩士。主要研究方向?yàn)榫仃嚪纸猓疃染W(wǎng)絡(luò)模型壓縮以及弱監(jiān)督學(xué)習(xí)。
分享主題：混合比例估計(jì)（Mixture Proportion Estimation）及其應(yīng)用
分享提綱
混合比例估計(jì)的背景，問(wèn)題描述以及基本假設(shè)。
利用最大平均差異的方法快速求解混合比例估計(jì)問(wèn)題，并提供理論保證。
混合比例估計(jì)應(yīng)用：輔助領(lǐng)域（source domain）中的樣本含有標(biāo)簽噪聲時(shí)的遷移學(xué)習(xí)。
以下為雷鋒網(wǎng) AI 科技評(píng)論整理的分享內(nèi)容：
優(yōu)必選成立于 2012 年，是一家全球領(lǐng)先的人工智能和人形機(jī)器人公司，目前已經(jīng)推出了消費(fèi)級(jí)人形機(jī)器人 Alpha 系列，STEM 教育智能編程機(jī)器人 Jimu，智能云平臺(tái)商用服務(wù)機(jī)器人 Cruzr 等多款產(chǎn)品，并成功入駐全球 Apple Store 零售店。
此外，優(yōu)必選還與清華大學(xué)成立了智能服務(wù)機(jī)器人聯(lián)合實(shí)驗(yàn)室，與悉尼大學(xué)成立了人工智能研究院，與華中科技大學(xué)成立了機(jī)器人聯(lián)合實(shí)驗(yàn)室，在人形機(jī)器人驅(qū)動(dòng)伺服、步態(tài)運(yùn)動(dòng)控制算法、機(jī)器視覺、語(yǔ)音/語(yǔ)義理解、情感識(shí)別、U-SLAM(即時(shí)定位與地圖構(gòu)建) 等領(lǐng)域深度布局。2018 年，優(yōu)必選完成了 C 輪融資，估值 50 億美元。
今天的展示中，我想感謝對(duì)我的工作提供過(guò)很多幫助的合作者們。他們分別是劉同亮老師（悉尼大學(xué)助理教授），宮明明博士，張坤老師（悉尼大學(xué)助理教授），Kayhan Batmanghelich（悉尼大學(xué)助理教授）以及陶大程教授。
今天的分享內(nèi)容主要分為以下四個(gè)部分來(lái)講解：
第一部分為混合比例估計(jì)（MPE）的定義和此前的研究工作。
第二部分介紹我們 CVPR2018 年的工作 。
第三部分講解混合比例估計(jì)在 Target Shift 這類問(wèn)題中的延伸和應(yīng)用。
最后一部分講解混合比例估計(jì)在一般的遷移學(xué)習(xí)中的延伸和應(yīng)用。
開始第一部分。假設(shè)我們有一系列用于檢測(cè)病人是否患有肺炎的 X 光片，在該系列 X 光片中，一部分病人患有肺炎，另一部分病人健康。我們通常對(duì)有多大比例的病人患有肺炎比較感興趣。為了估計(jì)該比例，我們需要什么信息，又如何對(duì)這個(gè)問(wèn)題建模呢？
一般地，可以假設(shè)這一系列的 X 光片從一個(gè)混合分布 P0 中采樣得出，而擁有肺炎病人的數(shù)據(jù)和沒有肺炎病人的數(shù)據(jù)分別從兩個(gè)組成分布 P1 和 P2 中采樣得到。此時(shí)，P0 就是這兩個(gè)組成分布的一個(gè)線性組合，同時(shí)要求這個(gè)線性組合的系數(shù)（也就是通常所說(shuō)的混合分布的比例）要滿足非負(fù)且加和為 1 的條件。我們定于 Si 這個(gè)集合對(duì)應(yīng)從分布 Pi 中采樣得到的訓(xùn)練樣本集合。我們關(guān)心的是需要給定什么樣的數(shù)據(jù)，有怎樣的假設(shè)，才能成功地求取這些比例λi？
以前的工作主要研究以下幾個(gè) settings：
第一個(gè) setting，是指假設(shè)只從混合分布 P0 中采樣了一部分?jǐn)?shù)據(jù) S0 時(shí)，如何估計(jì)λi。其實(shí)沒有任何組成分布的信息是無(wú)法完成這項(xiàng)工作的，所以往往要對(duì)這些分布加非常強(qiáng)的假設(shè)。在這種情況下，我們一般假設(shè)組成分布滿足高斯分布的假設(shè)（當(dāng)然也可以是其他分布假設(shè)），這就得到了我們通常所說(shuō)的混合高斯模型。高斯模型可以通過(guò) EM 算法來(lái)求解各個(gè)組成分布的均值和方差矩陣，同時(shí)也能求出λi。該模型的問(wèn)題在于：利用 EM 求解混合高斯模型時(shí)，不能保證得到唯一解。
另外一些傳統(tǒng)的混合比例估計(jì)的方法，通常研究下面問(wèn)題：假設(shè)混合分布由 M 個(gè)組成分布線性組合而成。如果給定從 P0 這個(gè)混合分布中采樣得到的樣本，以及 M-1 個(gè)組成分布中采得的一部分樣本（第 M 個(gè)組成分布中，沒有任何樣本），如何來(lái)估計(jì)這個(gè)混合分布的比例？
首先假設(shè)對(duì)這些分布沒有任何假設(shè)的情況下，其實(shí)可以看出這個(gè)分布 P0，可以存在任意多的分解，比如把 P1 的一部分組合到 P2 之中，就可以得到一個(gè)新的分解。這樣，如果只知道 P0 和 P1 的信息，我們是無(wú)法求得 P1 和 P2 的比例，因?yàn)檫@個(gè)比例可以是任意多的。
因此，需要對(duì) P1 和 P2 這些組合分布進(jìn)行假設(shè)，傳統(tǒng)的方法通常有兩類假設(shè)：
第一種假設(shè)稱之為不可約的假設(shè)，如果說(shuō)一個(gè)分布 P2 對(duì)于 P1 這個(gè)分布是不可約的，那么認(rèn)為 P2 是無(wú)法表示成 P1 和另外任意一個(gè)分布的線性組合。在這種情況下，如果 P0 是由一個(gè) P1，P2 混合而成，此時(shí)可以知道，P1 分布的比例就是 P1 在 P0 之中的最大的那個(gè)比例，因?yàn)?P2 中沒有任何 P1 的信息。這個(gè)比例一般可以通過(guò)接收者操作特征曲線，也就是通常所說(shuō)的 ROC 曲線來(lái)進(jìn)行估計(jì)。這個(gè)方法一般要估計(jì)一個(gè)概率密度函數(shù)。而且通過(guò) No Free Lunch 的方式證明，該方法雖然能夠保證收斂到最優(yōu)比例，但這個(gè)收斂可以是任意慢的。
既然不可約的假設(shè)不能保證收斂速率，后來(lái)的研究者又提出了一種新的假設(shè)：Anchor set condition。比如拿兩個(gè)分布來(lái)說(shuō)，兩個(gè)分布中一個(gè)分布的密度函數(shù)不為 0，而另外一個(gè)分布的密度函數(shù)為 0 的自變量的集合，就叫 Anchor set。
我們可以簡(jiǎn)單通過(guò)上圖示例的右邊部分來(lái)了解，兩條黑線所標(biāo)注的集合就是通常的 Anchor set，在這種情況下，如果擁有 Anchor set 的集合數(shù)據(jù)，比如有 P0 的數(shù)據(jù)和 P1 在 Anchor set 中的數(shù)據(jù)，其實(shí)就能通過(guò) Anchor set 的數(shù)據(jù)來(lái)估計(jì)出 P1 的比例。
在 Anchor set codition 的條件下，前面的方法已經(jīng)證明了對(duì)比例的估計(jì)能夠以一定的速率，收斂到最優(yōu)的那個(gè)比例，但是這些方法都具有一定的局限性。首先它們需要很強(qiáng)的對(duì)于組成分布的假設(shè)，而這些組成分布的假設(shè)往往可能被 challenge，后面將舉幾個(gè)簡(jiǎn)單的例子來(lái)看這個(gè)問(wèn)題。
第二個(gè)，比如前面提到的基于 ROC 方法，它們往往要估計(jì)概率密度函數(shù)，而概率密度函數(shù)估計(jì)往往需要比較好的模型，而且對(duì)高維數(shù)據(jù)的概率密度的估計(jì)往往不是很可靠，而且這種估計(jì)也不是很高效。
第三個(gè)，前面那些方法大多都集中只有兩個(gè)組成分布的條件下，它對(duì)于如果組成分布是多個(gè)的情況下的延伸不是那么直接，所以需要尋求另外一種新的方式。
首先來(lái)介紹 CVPR 研究工作的 setting：假設(shè)從所有的分布（包括混合分布和各個(gè)組成分布）中都采集了一定的樣本的條件下，估計(jì)它們的比例。這個(gè)問(wèn)題又被稱為 class proportion estimation（CPE），即類比例估計(jì)的問(wèn)題。
研究這個(gè)問(wèn)題的貢獻(xiàn)主要是以下幾點(diǎn)：
第一，尋求一種對(duì)于組成分布限制假設(shè)和需要標(biāo)簽數(shù)據(jù)的一種 Trade-off。雖然我們的 setting 中多用了一個(gè)組成分布（第 M 個(gè)組成分布）的數(shù)據(jù)，但是用了更弱的假設(shè)來(lái)證明了很多有意義的結(jié)論。
第二，在一個(gè)比較弱的假設(shè)下，證明了這些比例分布的唯一性以及可識(shí)別性。
第三，我們?cè)O(shè)計(jì)了一個(gè)非常快速的算法，也證明了該估計(jì)的一致收斂性。所謂一致收斂性就是指估計(jì)的收斂與采得的訓(xùn)練數(shù)據(jù)是沒有關(guān)系的。
第四個(gè)，該方法能夠延伸到多類問(wèn)題，有非常廣泛的應(yīng)用，可以應(yīng)用到具有噪聲標(biāo)簽的學(xué)習(xí)以及弱監(jiān)督學(xué)習(xí)之中。
首先介紹對(duì)于混合比例估計(jì)問(wèn)題的假設(shè)，也就是線性獨(dú)立假設(shè)。該線性獨(dú)立假設(shè)是延引線性代數(shù)里的線性獨(dú)立概念，如果 M 個(gè)組成分布是線性獨(dú)立的話，那么不存在一組非 0 的系數(shù)使得這些組成分布的線性組合等于 0。
通過(guò)這個(gè)定義可以得到一個(gè)很直接的推論：如果兩個(gè)分布線性獨(dú)立，當(dāng)且僅當(dāng)這兩個(gè)分布不等同。從這個(gè)推論可以看出，比如前面的 anchor set 需要有兩個(gè)不一樣的非 0 自定義域，但是對(duì)于線性獨(dú)立假設(shè)，僅僅要求兩個(gè)分布不一樣就可以了。
可以證明線性獨(dú)立的假設(shè)弱于不可約假設(shè)，它可以推導(dǎo)出不可約假設(shè)，但是不可約假設(shè)不可推導(dǎo)出線性獨(dú)立假設(shè)。這里不進(jìn)行詳細(xì)的證明，給一個(gè)例子：假設(shè) P1 是正態(tài)分布，P2 也是另外一個(gè)正態(tài)分布，而 P2 是 P1 和 Q 的線性組合，可以看出假設(shè) p1 和 P2 是不一樣的兩個(gè)分布，所以它們倆是線性獨(dú)立的（根據(jù)前面一頁(yè)的推論）。根據(jù)不可約的定律，可以知道 P1 和 P2 是可約的，因?yàn)?P2 表示成 P1 和另外一個(gè)分布 Q 的組合。這個(gè)例子中的兩個(gè)分布是線性獨(dú)立的，但是可約。
同時(shí)也可以證明線性獨(dú)立假設(shè)弱于 anchor set condition 假設(shè)。同樣給一個(gè)例子來(lái)簡(jiǎn)單說(shuō)明，比如說(shuō)右圖這兩個(gè)分布，我們可以看出這兩個(gè)分布的 suppose set 都是 0 到 10，但是這兩個(gè)分布顯然是不一樣的，所以它們倆不符合 anchor set 的假設(shè)，但它們倆線性獨(dú)立。
在線性獨(dú)立的假設(shè)條件下，能夠證明出這個(gè)混合比例的唯一性，假設(shè) P0 是由 P1 到 PM 的線性組合而成，而且組成分布滿足線性獨(dú)立假設(shè)。如果給定這個(gè) P0 和所有組合分布的情況下，該比例是唯一的。證明非常簡(jiǎn)單：利用反證法（和線性代數(shù)里面證明的方法一致）證明。假設(shè)存在另外一組系數(shù)使得這個(gè)混合同樣成立，通過(guò)兩個(gè)不同組合的系數(shù)相減等于 0，借此可以進(jìn)行推導(dǎo)。具體推導(dǎo)講解，大家可以回放視頻至第 19 分鐘查看。
mp（1）代表均值。如果該核均值嵌入是一個(gè)一對(duì)一的映射，通常稱該方程是特征化的。在這種情況下，核均值嵌入就擁有了分布 P 所有的信息。
同理，我們可以證明出λi 的唯一性，與之前證明一模一樣，此處不再詳述。
我們可以利用最大平均差異的方法來(lái)求出λi 的解，利用的定理為：如果兩個(gè)分布它的最大平均差異是 0 的話，當(dāng)且僅當(dāng)這兩個(gè)分布是同一個(gè)分布。所以最小化平方后的最大平均差異的值，就可以求出λi。但問(wèn)題是我們沒有 Pi 的表達(dá)式，不知道核均值嵌入到底是多少。
那么我們通常是怎么解決？
我們還關(guān)心另外一個(gè)問(wèn)題，這樣估計(jì)出來(lái)的混合比例能不能收斂到最優(yōu)的解，它以多快的速率收斂到最優(yōu)的解？
可以看出，該收斂證明是一致性的，收斂沒有任何與訓(xùn)練數(shù)據(jù)相關(guān)的項(xiàng)。這個(gè)結(jié)論是與之前證明 class proportion estimation（CPE）的收斂性的工作是不一樣的，它們往往都有訓(xùn)練數(shù)據(jù)的項(xiàng)。這也是本文主要貢獻(xiàn)之一。
混合比例估計(jì)的應(yīng)用場(chǎng)景：第一個(gè)應(yīng)用場(chǎng)景是在具有噪聲標(biāo)簽的學(xué)習(xí)上，我們把橢圓內(nèi)的所有樣本都標(biāo)記成」汽車「，其實(shí)我們可以發(fā)現(xiàn)只有綠色的圖像才是」汽車「，其他的樣本都是從其他的類別中標(biāo)記錯(cuò)誤得來(lái)的，也就是帶有噪聲的標(biāo)簽，通常可以假設(shè)帶有噪聲的每個(gè)類別的樣本是真實(shí)數(shù)據(jù)的每個(gè)類別的線性組合。
我們基于 UCI 數(shù)據(jù)做了一系列的實(shí)驗(yàn)，對(duì)比了 ROC 以前其他兩個(gè)估計(jì)噪聲率的方法，其中只有 ROC 的方法用了 M-1 個(gè)混合分布的數(shù)據(jù)，而其他兩個(gè)方法都用了所有組成分布中采樣的數(shù)據(jù)。可以看出，當(dāng)噪聲越來(lái)越大的情況下，我們的方法通常有比較一致的表現(xiàn)，同時(shí)當(dāng)樣本大小逐漸增加的時(shí)候，我們的方法也逐漸收斂。而且從這兩個(gè)圖像中也可以看出，我們的圖像往往能更好地估算出混合比例。
第二個(gè)應(yīng)用：半監(jiān)督學(xué)習(xí)。所謂半監(jiān)督學(xué)習(xí)是指，擁有少量的標(biāo)記樣本，還有一大部分的樣本是沒有標(biāo)簽的，希望從這些沒有標(biāo)簽的樣本中也能學(xué)習(xí)到一定的信息。通常假設(shè)沒有標(biāo)簽的樣本是所有類別樣本的一個(gè)組合。也就是數(shù)據(jù) X 的分布是每一個(gè)類別中數(shù)據(jù)的分布一個(gè)組合，而混合比例也就是各類別的比例。
第三部分我們研究一種比較特殊的遷移學(xué)習(xí)，一般稱之為 Target Shift 或 Label Shift。我們看看 MPE 在該問(wèn)題中是否有延伸應(yīng)用。首先來(lái)看一下這個(gè)問(wèn)題是什么？
在傳統(tǒng)的數(shù)據(jù)訓(xùn)練中，我們假設(shè)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)都采自同樣的分布，而在 Target Shift 這個(gè)問(wèn)題中，我們假設(shè)各個(gè)類別的分布都一樣（如圖中圈內(nèi)的紫色和黃色分布），但是每個(gè)類的比例發(fā)生了變化。Target Shift 就是來(lái)檢測(cè) P(Y) 的變化。有一個(gè)更大的挑戰(zhàn)：我們研究在訓(xùn)練數(shù)據(jù)中有一部分?jǐn)?shù)據(jù)標(biāo)記錯(cuò)了，把第一類標(biāo)記進(jìn)了第二類，第二類標(biāo)記進(jìn)了第一類，在這種情況下，我們是否還能夠檢測(cè)出 P(Y) 的變化呢？
對(duì)此，可以考慮一個(gè)實(shí)際的問(wèn)題，比如說(shuō)我們有一系列 9 月份的胸腔 X 光片，在上面我們已經(jīng)收集過(guò)了一部分 8 月份的 X 光片，而且這些 X 光片都已經(jīng)標(biāo)記了誰(shuí)有肺炎，誰(shuí)是沒有肺炎。但是由于這些數(shù)據(jù)被一些非專家標(biāo)記，或者機(jī)器標(biāo)記，甚至可能是有些醫(yī)學(xué)樣本就是很難分辨，所以很多標(biāo)簽發(fā)生了錯(cuò)誤。另外，由于某些原因 9 月份得肺炎的病人比例增加了。在這個(gè)問(wèn)題中，我們有 8 月份各類別的噪聲樣本，然后又有 9 月份的混合數(shù)據(jù)，而且 9 月份和 8 月份的數(shù)據(jù)中，肺炎病人比例還變化，我們?nèi)绾文軝z測(cè)出 9 月份肺炎病人的比例？
我們首先來(lái)定義這個(gè)問(wèn)題，假設(shè)我們有一些帶有噪聲標(biāo)簽的訓(xùn)練數(shù)據(jù)和一系列沒有標(biāo)簽的測(cè)試數(shù)據(jù)，我們通常假設(shè)在每個(gè)類別的分布中都是相等的，在這種情況下，我們?nèi)绾握_估計(jì)測(cè)試數(shù)據(jù)中的 P(Y)？
我們首先引入一個(gè)假設(shè)，也就是前面提到的帶有噪聲標(biāo)簽的假設(shè)，我們假設(shè)這個(gè)噪聲數(shù)據(jù)是真實(shí)數(shù)據(jù)的混合，它們的分布也是滿足下圖中混合的假設(shè)。
可以看出測(cè)試樣本的數(shù)據(jù)是由測(cè)試數(shù)據(jù)中每個(gè)類別的數(shù)據(jù)混合而成，之前，在半監(jiān)督學(xué)習(xí)中就有這個(gè)混合形式出現(xiàn)，而測(cè)試數(shù)據(jù)中每個(gè)類別的分布又與訓(xùn)練數(shù)據(jù)的每個(gè)類別的分布一樣，也就是說(shuō)測(cè)試數(shù)據(jù)分布可以表示成訓(xùn)練數(shù)據(jù)每個(gè)類別分布的混合。同時(shí)我們又假設(shè)帶噪聲數(shù)據(jù)是所有訓(xùn)練數(shù)據(jù)每個(gè)類別分布的混合。那能不能把所有測(cè)試數(shù)據(jù)的混合數(shù)據(jù)的分布表示成訓(xùn)練數(shù)據(jù)中帶噪聲噪聲的每個(gè)類別的分布的混合？
假設(shè)有這種混合形式，通過(guò)簡(jiǎn)單的推導(dǎo)并得到結(jié)論。
最后，我們通過(guò)一個(gè)實(shí)驗(yàn)來(lái)驗(yàn)證。訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的分布均由兩個(gè)高斯分布混合而成，但比例不一樣。這里 beta 是測(cè)試數(shù)據(jù) P^te(Y) 比上訓(xùn)練數(shù)據(jù) P^tr(Y) 的比例，可以看出在不同的 beta 時(shí)（圖中最左），我們的方法能夠得到比較一致的結(jié)果。在訓(xùn)練數(shù)據(jù)中有不同的噪聲大小的時(shí)候，我們的方法表現(xiàn)也是比較一致的（圖中）。可以看出當(dāng)訓(xùn)練樣本逐漸增大，我們的算法也逐漸收斂到最優(yōu)的解。而對(duì)比的方法都出現(xiàn)了比較大的誤差，甚至有時(shí)候是錯(cuò)誤的（圖中最左）。通過(guò)這個(gè)實(shí)驗(yàn)可以驗(yàn)證出在該問(wèn)題中我們的方法的有效性，也可以看出 MPE 在這個(gè)問(wèn)題中的延伸應(yīng)用。
最后，我們來(lái)介紹一般的遷移學(xué)習(xí)，我們首先來(lái)看一下遷移學(xué)習(xí)的定義，在前面提到的 Target Shift 中，我們假設(shè)每個(gè)類別的條件分布都是一樣的，但是 Y 的分布是在變化的，而在一般的遷移學(xué)習(xí)中，我們假設(shè)每個(gè)類別的分布和 Y 的分布都要發(fā)生變化，在圖中的下方的兩個(gè)示例中，我們假設(shè)有一部分?jǐn)?shù)據(jù)標(biāo)記錯(cuò)誤，在這種情況下，我們通常定義這個(gè)訓(xùn)練數(shù)據(jù)為輔助領(lǐng)域，從輔助領(lǐng)域中學(xué)習(xí)到比較有用的信息，來(lái)幫助這個(gè)目標(biāo)領(lǐng)域中數(shù)據(jù)的學(xué)習(xí)到一個(gè)比較好的分類器。
我們同樣來(lái)這個(gè)例子，假設(shè) 8 月份的數(shù)據(jù)（已經(jīng)標(biāo)記好），由于某些原因標(biāo)記出現(xiàn)了錯(cuò)誤，而在 9 月份，得到了一些核磁共振圖像，我們能不能在 8 月份的 X 光片成像中提取一些有用的信息來(lái)輔助核磁共振成像的最后分類？這個(gè)問(wèn)題比較有意義，因?yàn)樵诂F(xiàn)實(shí)醫(yī)學(xué)生活中我們往往有很多可以輔助你的醫(yī)學(xué)數(shù)據(jù)，這些數(shù)據(jù)往往很難標(biāo)記，很多數(shù)據(jù)可能標(biāo)記錯(cuò)誤，我們希望用這些輔助數(shù)據(jù)來(lái)學(xué)習(xí)到一個(gè)新的病例中，幫助一個(gè)新的病例來(lái)提取一些不便的信息，幫助它們的學(xué)習(xí)，這個(gè)問(wèn)題我們?cè)撊绾蝸?lái)解決？
同樣首先來(lái)看一下該問(wèn)題的定義：
ppt 內(nèi)容如下：
我們從這些噪聲數(shù)據(jù)中學(xué)習(xí)到不變的信息以及 P(Y) 的變化之后，我們利用這些不變的信息來(lái)訓(xùn)練分類器。
可以看出我們的方法較其他的方法有非常大的提升，也就證明了我們的方法能夠克服噪聲標(biāo)簽對(duì)于學(xué)習(xí)不變表征的影響。這里主要從 MPE 的角度介紹了這個(gè)方法，具體的方法和細(xì)節(jié)可以參看我的論文（文末附有參考文獻(xiàn)）。
該帶有噪聲標(biāo)簽的遷移學(xué)習(xí)方法的貢獻(xiàn)：
該方法研究了對(duì)有噪聲標(biāo)簽的遷移學(xué)習(xí)的影響。
提出了統(tǒng)一的框架，能夠克服噪聲輔助數(shù)據(jù)對(duì)于學(xué)習(xí)不變表征的有害影響，然后學(xué)到一些有用的信息。
提供了一致性的收斂的證明，可以從前面的講解中看出，這個(gè)問(wèn)題收斂的結(jié)論其實(shí)是和前面 MPE 的收斂結(jié)論是相似的。
性能上得到了顯著的提升，我們提取了一些不變的表征來(lái)克服影響，使得性能有極大的提升。
參考文獻(xiàn)：
以上就是本期嘉賓的全部分享內(nèi)容。更多公開課視頻請(qǐng)到雷鋒網(wǎng) AI 慕課學(xué)院觀看。關(guān)注微信公眾號(hào)：AI 科技評(píng)論，可獲取最新公開課直播時(shí)間預(yù)告。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
