<mark id="oztn4"></mark>
0
| 本文作者： 汪思穎 | 2018-11-29 17:26 |
雷鋒網(wǎng) AI 科技評(píng)論消息，CIKM AnalytiCup 2018（阿里小蜜機(jī)器人跨語(yǔ)言短文本匹配算法競(jìng)賽）近日落幕，由微軟羅志鵬、微軟孫浩，北京大學(xué)黃堅(jiān)強(qiáng)，華中科技大學(xué)劉志豪組成的 DeepSmart 團(tuán)隊(duì)在一千多名參賽選手中突出重圍，一舉奪冠。
本次算法競(jìng)賽以聊天機(jī)器人中最常見(jiàn)的文本匹配算法為目標(biāo)，通過(guò)語(yǔ)言適應(yīng)技術(shù)構(gòu)建跨語(yǔ)言的短文本匹配模型。在本次競(jìng)賽中，源語(yǔ)言為英語(yǔ)，目標(biāo)語(yǔ)言為西班牙語(yǔ)。參賽選手可以根據(jù)主辦方提供的數(shù)據(jù)，設(shè)計(jì)模型結(jié)構(gòu)判斷兩個(gè)問(wèn)句語(yǔ)義是否相同。最終，比賽主辦方將在目標(biāo)語(yǔ)言上測(cè)試模型的性能。在這次比賽中，主辦方對(duì)外部資源進(jìn)行了嚴(yán)格限制。訓(xùn)練數(shù)據(jù)集包含兩種語(yǔ)言，主辦方提供 20000 個(gè)標(biāo)注好的英語(yǔ)問(wèn)句對(duì)作為源數(shù)據(jù)，同時(shí)提供 1400 個(gè)標(biāo)注好的西班牙語(yǔ)問(wèn)句對(duì)，以及 55669 個(gè)未標(biāo)注的西班牙語(yǔ)問(wèn)句。所有的標(biāo)注結(jié)果都由語(yǔ)言和領(lǐng)域?qū)＜胰斯?biāo)注。與此同時(shí)，也提供每種語(yǔ)言的翻譯結(jié)果。
規(guī)則描述
主辦方希望參賽選手關(guān)注在短文本匹配和語(yǔ)言適應(yīng)的問(wèn)題上，所有的參賽選手都需要注意以下限制：
1）模型訓(xùn)練中只能使用主辦方提供的數(shù)據(jù)，包括有標(biāo)注語(yǔ)料、無(wú)標(biāo)注語(yǔ)料、翻譯結(jié)果、詞向量等。不得使用其它數(shù)據(jù)或預(yù)訓(xùn)練模型。
2）如果需要預(yù)訓(xùn)練詞向量，只能使用 fastText 預(yù)訓(xùn)練的詞向量模型。
3）如果需要使用翻譯模型或翻譯語(yǔ)料，只能使用主辦方提供的翻譯結(jié)果。
4）理論上選手們可以用主辦方提供的平行語(yǔ)料訓(xùn)練出一個(gè)翻譯模型，此類方法不禁止，但不推薦。
DeepSmart 團(tuán)隊(duì)成員介紹：
羅志鵬（getmax）: 微軟 Bing 搜索廣告算法工程師，北京大學(xué)軟件工程專業(yè)碩士，專注于深度學(xué)習(xí)技術(shù)在 NLP, 廣告相關(guān)性匹配，CTR 預(yù)估等方面的研究及應(yīng)用。
黃堅(jiān)強(qiáng) (Jack Strong) : 北京大學(xué)軟件工程專業(yè)碩士在讀，擅長(zhǎng)特征工程、自然語(yǔ)言處理、深度學(xué)習(xí)。
孫浩（fastdeep）: 微軟 Bing 搜索廣告部門首席開(kāi)發(fā)工程師，專注于機(jī)器學(xué)習(xí)與深度學(xué)習(xí)在搜索廣告和推薦算法領(lǐng)域的創(chuàng)新和應(yīng)用，致力于通過(guò)提高在線廣告匹配算法、相關(guān)性模型和點(diǎn)擊率預(yù)估模型等來(lái)推動(dòng)廣告收入增長(zhǎng)。
劉志豪 (LZH0115) : 華中科技大學(xué)自動(dòng)化學(xué)院控制科學(xué)與工程碩士在讀，主要研究方向圖像識(shí)別、zero-shot learning、深度學(xué)習(xí)。
左一：微軟 Bing 搜索廣告部門首席開(kāi)發(fā)工程師孫浩；左二：微軟 Bing 搜索廣告算法工程師羅志鵬
團(tuán)隊(duì)成員曾經(jīng)獲獎(jiǎng)記錄：
NeurIPS 2018 AutoML(Phase 1)
1st place
KDD Cup 2018(Second 24-Hour Prediction Track)
1st place
KDD Cup 2018(Last 10-Day Prediction Track)
1st place
Weibo Heat Prediction
1st place
Shanghai BOT Big Data Application Competition
1st place
Daguan text Classification
1st place
以下為 DeepSmart 團(tuán)隊(duì)成員羅志鵬的奪冠心得和詳細(xì)方案解讀：
1. 你們團(tuán)隊(duì)共有四名成員，大家是通過(guò)何種渠道認(rèn)識(shí)的？大家的研究背景以及在比賽中的分工如何？各自擅長(zhǎng)的工作是什么？
比賽剛開(kāi)始我們隊(duì)伍有三人，包括我，黃堅(jiān)強(qiáng)和孫浩（Allen），其中黃堅(jiān)強(qiáng)是我的直系師弟，孫浩是我在微軟的 tech lead，是廣告匹配和推薦方面的專家。在比賽即將進(jìn)入第二階段時(shí)，我在比賽交流群看到劉志豪想找隊(duì)伍合并，當(dāng)時(shí)覺(jué)得和我們的模型有些互補(bǔ)，就組成了 4 人戰(zhàn)隊(duì)。由于堅(jiān)強(qiáng)和志豪是在校碩士研究生，相對(duì)業(yè)余時(shí)間較多，他們?cè)跀?shù)據(jù)處理和特征工程上花了不少時(shí)間；我和 Allen 主要設(shè)計(jì)特征和模型結(jié)構(gòu)，堅(jiān)強(qiáng)和志豪也有參與。
我個(gè)人比較擅長(zhǎng)設(shè)計(jì)和實(shí)現(xiàn)深度學(xué)習(xí)模型，在特征工程和模型融合上也有豐富的經(jīng)驗(yàn)；Allen 身為廣告推薦領(lǐng)域的老兵，對(duì)主流匹配算法如數(shù)家珍，對(duì)數(shù)據(jù)有深入透徹的理解，他基于工業(yè)界的實(shí)際經(jīng)驗(yàn)對(duì)算法的弱點(diǎn)提出了多種改進(jìn)方案，幫助我們避免了一些數(shù)據(jù)陷阱；堅(jiān)強(qiáng)和志豪比較擅長(zhǎng)設(shè)計(jì)特征，對(duì)數(shù)據(jù)有敏銳的直覺(jué)，能快速實(shí)現(xiàn)特征并得到效果反饋以加快模型迭代。
整體而言，我們隊(duì)伍的成員有各自擅長(zhǎng)的領(lǐng)域，大家優(yōu)勢(shì)互補(bǔ)，在比賽過(guò)程中充分溝通、通力合作，最終讓我們?cè)诒姸喔?jìng)爭(zhēng)對(duì)手中脫穎而出。
2. 你們最終取得了第一名，這個(gè)最終成績(jī)是根據(jù)什么而定的呢？
最終成績(jī)由 5 項(xiàng)指標(biāo)計(jì)算而來(lái)，階段一線上成績(jī)占比 20%，階段二線上成績(jī)占比 30%，創(chuàng)新性、系統(tǒng)性占比 20%，數(shù)據(jù)理解占比 10%，實(shí)用性占比 20%。
階段一成績(jī)：初賽線上成績(jī)。
階段二成績(jī)：復(fù)賽線上成績(jī)。
創(chuàng)新性、系統(tǒng)性：設(shè)計(jì)思路新穎，從數(shù)據(jù)預(yù)處理到模型結(jié)果本地驗(yàn)證的整體設(shè)計(jì)獨(dú)特；合理使用開(kāi)源庫(kù)，充分發(fā)揮開(kāi)源模型的作用，不盲目拷貝；算法模型設(shè)計(jì)思路清晰，詳細(xì)論述模型設(shè)計(jì)的優(yōu)勢(shì)，符合賽題數(shù)據(jù)應(yīng)用特點(diǎn)；算法模式架構(gòu)特征明顯，闡明了作品中設(shè)計(jì)相關(guān)特征的目的，及其對(duì)于預(yù)測(cè)目標(biāo)的優(yōu)勢(shì)；算法模型結(jié)果驗(yàn)證策略合理，能夠證明最優(yōu)的結(jié)果是經(jīng)過(guò)仔細(xì)比對(duì)后得出，而非運(yùn)氣導(dǎo)致。
數(shù)據(jù)理解：充分理解數(shù)據(jù)樣本的字段含義，清晰闡明數(shù)據(jù)預(yù)處理方法。
實(shí)用性：參賽作品的算法模型設(shè)計(jì)，對(duì)于真實(shí)業(yè)務(wù)具有實(shí)用性或啟發(fā)。
圖：階段二成績(jī)排名
3. 阿里對(duì)參賽規(guī)則進(jìn)行了嚴(yán)格限制，如模型訓(xùn)練時(shí)只能使用他們提供的數(shù)據(jù)，只能使用 fastText 預(yù)訓(xùn)練的詞向量模型，如果需要使用翻譯模型或翻譯語(yǔ)料，只能使用他們提供的翻譯結(jié)果，這會(huì)不同于你們以往的比賽嗎？是否會(huì)帶來(lái)一些新的挑戰(zhàn)？
這些限制能使得這次比賽更公平，大家使用相同的資源來(lái)進(jìn)行效果比拼，盡管能使用一些外部資源是可以幫助提升效果的，但其實(shí)和以往的比賽的差別并不是很大，而且還能讓我們的精力集中在官方提供的數(shù)據(jù)上。
4. 團(tuán)隊(duì)成員中是否有人懂西班牙語(yǔ)？如果懂西班牙語(yǔ)，會(huì)不會(huì)在比賽中占據(jù)一些優(yōu)勢(shì)？
沒(méi)有。如果懂西班牙語(yǔ)也許能針對(duì)語(yǔ)言做一些數(shù)據(jù)處理或者特征提取來(lái)提升模型效果，具體是否有效需要實(shí)驗(yàn)去驗(yàn)證。
5. 這次比賽的難點(diǎn)集中在哪些方面？
嚴(yán)格限制使用外部資源。
提供的訓(xùn)練數(shù)據(jù)少，local 驗(yàn)證不穩(wěn)定。
如何有效的使用英文數(shù)據(jù)。
6. 能具體講講你們?cè)跀?shù)據(jù)預(yù)處理、特征工程、驗(yàn)證、模型選擇、模型融合上的思路？
數(shù)據(jù)預(yù)處理、特征工程
我們通過(guò) LightGBM 模型來(lái)驗(yàn)證特征效果，對(duì)文本做不同的預(yù)處理后進(jìn)行特征工程。經(jīng)驗(yàn)證，不同的文本預(yù)處理后形成的特征進(jìn)行混合非常有利于單個(gè)模型的泛化能力的提升。我們將兩個(gè)問(wèn)題稱為 q1 與 q2，接下來(lái)列舉用到的特征，并說(shuō)明不同預(yù)處理方式所使用的特征。
使用的特征如下：
文本距離特征。文本距離能較簡(jiǎn)單地判斷出不相似的文本，相似的文本往往字符數(shù)及單詞數(shù)較為接近，會(huì)帶有相同或相似的單詞，并且編輯距離會(huì)較短。同時(shí)，使用了 tf-idf 后關(guān)鍵詞的權(quán)重會(huì)高，使用它來(lái)代替 count 提取特征更有效。以下為使用的文本距離特征：
字符距離：q1 與 q2 字符數(shù)的差值絕對(duì)值，比例。
單詞距離：相同單詞 tf-idf 權(quán)重和占所有單詞 tf-idf 權(quán)重和的比例，q1 與 q2 相同單詞數(shù)占所有單詞數(shù)的比例，q1 與 q2 單詞的 jaccard 距離，q1 與 q2 單詞的交集數(shù)，并集數(shù)，單詞數(shù)的差值等。
字符 fuzzywuzzy 距離：使用 fuzzywuzzy 計(jì)算字符的編輯距離等。
單詞 fuzzywuzzy 距離：使用 fuzzywuzzy 計(jì)算單詞的編輯距離等。
詞向量特征。共使用了三種詞向量：官方提供的詞向量，利用官方提供的訓(xùn)練數(shù)據(jù)、預(yù)測(cè)數(shù)據(jù)、無(wú)標(biāo)簽數(shù)據(jù)訓(xùn)練的詞向量，以及去除停用詞后訓(xùn)練的詞向量。雖然訓(xùn)練集及測(cè)試集數(shù)據(jù)量小，但是使用它們訓(xùn)練得出的詞向量更能體現(xiàn)出該數(shù)據(jù)的特性。由于兩個(gè)問(wèn)題的單詞長(zhǎng)度并不相等，并且相似句子的詞序差異很大，要使用詞向量計(jì)算問(wèn)題相似性，需要將詞向量轉(zhuǎn)換為句向量，我們對(duì)問(wèn)題的詞向量進(jìn)行了兩種處理得到了與詞向量相同維度的句向量，分別是所有單詞的詞向量取均值，所有單詞的詞向量和除以單詞詞向量的 2 范數(shù)，使用這兩種句向量來(lái)計(jì)算相似度能從詞向量的角度來(lái)計(jì)算出兩個(gè)問(wèn)題的相似性。我們使用詞向量構(gòu)建了以下特征：
q1 詞向量均值與 q2 詞向量均值的相似度，相似度計(jì)算包括 cosine, cityblock,canberra, euclidean, minkowski, braycurtis，這些不同的距離能從不同角度來(lái)度量相似度。
q1 詞向量和除以 q1 詞向量 2 范數(shù)與 q2 詞向量和除以 q2 詞向量 2 范數(shù)的相似度，相似度計(jì)算包括 cosine, cityblock,, canberra, euclidean, minkowski, braycurtis。
使用詞向量計(jì)算問(wèn)題的 Word Mover's Distance。
根據(jù)兩個(gè)問(wèn)題的單詞的 tf-idf 值提取兩個(gè)問(wèn)題的關(guān)鍵詞，對(duì)關(guān)鍵詞的詞向量計(jì)算余弦相似度。兩個(gè)問(wèn)題會(huì)由于最關(guān)鍵的單詞不相似從而導(dǎo)致句子不相似，所以通過(guò) tf-idf 先計(jì)算出問(wèn)題的關(guān)鍵詞，然后再計(jì)算關(guān)鍵詞詞向量的相似度。
主題模型特征。主題模型是常用的文本相似度計(jì)算模型，使用主題模型來(lái)提取文本相似度特征加入我們的模型對(duì)模型的泛化能力有很大的提升。我們采用 LSI 和 LDA 模型來(lái)將句子映射到低維度的主題向量空間，由于主題向量維度低，可以直接使用主題向量特征而且不容易導(dǎo)致模型的過(guò)擬合，同時(shí)可以根據(jù)兩個(gè)問(wèn)題的主題向量來(lái)得出相似性特征，主題向量的計(jì)算能直接體現(xiàn)出兩個(gè)問(wèn)題的主題是否相似，以下為使用到的主題模型特征：
q1,q2 主題數(shù)為 3,5,7,9 的 LSI、LDA 主題向量
q1,q2 主題向量差值的絕對(duì)值
q1,q2 主題向量的相似度
預(yù)處理方式如下：
原文本：使用特征 1，2，3，4，兩個(gè)問(wèn)題文本距離相差大的樣本更傾向于不相似。
去標(biāo)點(diǎn)符號(hào)+字母轉(zhuǎn)小寫：使用特征 1，2，3，4，5，6，7，8，9，10，11，有無(wú)標(biāo)點(diǎn)符號(hào)基本不會(huì)改變短文本的語(yǔ)義，大小寫字母對(duì)語(yǔ)義也不會(huì)有影響，所以去標(biāo)點(diǎn)符號(hào)及轉(zhuǎn)換為小寫后提取的特征更為有效。
去標(biāo)點(diǎn)符號(hào)+字母轉(zhuǎn)小寫+單詞 2 元組：使用特征 2，4，9，10，11，n 元模型是自然語(yǔ)言處理的常用模型，使用單詞 n 元組來(lái)提取特征，給模型增加了單詞間的詞序信息。
去標(biāo)點(diǎn)符號(hào)+字母轉(zhuǎn)小寫+去停用詞：使用特征 1，2，3，4，5，6，7，8，9，10，11，停用詞往往沒(méi)有實(shí)際含義，去掉停用詞再提取特征給模型增強(qiáng)了非停用詞的信息。
去標(biāo)點(diǎn)符號(hào)+字母轉(zhuǎn)小寫+去停用詞+單詞 2 元組：使用特征 2，4，11
去標(biāo)點(diǎn)符號(hào)+字母轉(zhuǎn)小寫+去問(wèn)題交集詞：使用特征 1，3，4，5，6，7，8，9，10，11，去掉問(wèn)題交集詞后提取特征能給模型增強(qiáng)非交集詞的信息。
無(wú)標(biāo)簽數(shù)據(jù)的利用：
無(wú)標(biāo)簽數(shù)據(jù)中包含西班牙語(yǔ)到英文的翻譯，且比賽規(guī)則說(shuō)明了不能使用翻譯接口，因此最初我們訓(xùn)練了一個(gè)翻譯模型，但是由于訓(xùn)練數(shù)據(jù)太少，導(dǎo)致模型嚴(yán)重過(guò)擬合，最后我們放棄使用翻譯模型。
經(jīng)過(guò)數(shù)據(jù)分析發(fā)現(xiàn)無(wú)標(biāo)簽數(shù)據(jù)集中包含部分測(cè)試集的英文翻譯，所以我們采用純規(guī)則在無(wú)標(biāo)簽數(shù)據(jù)中對(duì)測(cè)試集西班牙語(yǔ)的英文翻譯進(jìn)行了提取，從而我們可以訓(xùn)練英文模型并且對(duì)部分測(cè)試集進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)中發(fā)現(xiàn)當(dāng)我們使用弱匹配時(shí)雖然能匹配到更多的英文對(duì)，但是線上效果卻不好，經(jīng)過(guò)分析發(fā)現(xiàn)弱匹配會(huì)有映射錯(cuò)誤，而一旦映射錯(cuò)誤就很容易被預(yù)測(cè)成一個(gè)接近 0 的概率值，如果這樣，原來(lái)這個(gè)樣本的 label 是 1 的話，loss 就會(huì)變得很大，因此我們匹配時(shí)盡量做到精確匹配，盡管這樣匹配的樣本不多。
根據(jù)我們的較精確的匹配方法，在 A 榜測(cè)試集中，我們可以從 5000 個(gè)測(cè)試集中提取出 2888 個(gè)，在 B 榜測(cè)試集中，我們可以從 10000 個(gè)測(cè)試集中提取出 4334 個(gè)。在 A 榜中，使用英文訓(xùn)練的模型來(lái)預(yù)測(cè)這 2888 個(gè)測(cè)試集，經(jīng)驗(yàn)證，使用西班牙語(yǔ)模型與英語(yǔ)模型融合在 A 榜評(píng)分上能提升 0.003~0.004，由于 B 榜匹配上的樣本占比更少，效果提升可能會(huì)有所減少。
從實(shí)驗(yàn)中我們驗(yàn)證了英文模型的有效性，如果使用英文翻譯接口肯定能夠得到更好的效果，此外也可以使用多種語(yǔ)言進(jìn)行翻譯來(lái)做數(shù)據(jù)增強(qiáng)。
驗(yàn)證
我們采用了以下兩種驗(yàn)證方式。
Holdout validation:
由于測(cè)試集都為原生的西班牙語(yǔ)，而給予的訓(xùn)練集分為兩類，一類是 20000 對(duì)從英語(yǔ)翻譯過(guò)來(lái)的西班牙語(yǔ)，一類是 1400 對(duì)從西班牙語(yǔ)翻譯過(guò)來(lái)的英語(yǔ)。顯然，1400 對(duì)西班牙語(yǔ)更適合用于做驗(yàn)證，由于驗(yàn)證集和線上測(cè)試正負(fù)比例不一致，所以我們復(fù)制 1400 對(duì)西班牙語(yǔ)樣本并調(diào)整了正負(fù)樣本的比重，最終得到 34061 對(duì)驗(yàn)證集，同時(shí)我們對(duì)模型的隨機(jī)數(shù)種子進(jìn)行多次更換，取多個(gè)模型對(duì)驗(yàn)證集預(yù)測(cè)的平均值來(lái)得到最終的驗(yàn)證集評(píng)分。經(jīng)過(guò)與 A 榜得分的對(duì)照，對(duì)該驗(yàn)證集預(yù)測(cè)評(píng)分的提升與 A 榜分?jǐn)?shù)的提升保持了較好的一致性。
k-fold validation:
由于數(shù)據(jù)集較小，只采用一種驗(yàn)證方式并不能保證模型的泛化能力，所以我們也對(duì) 21400 對(duì)訓(xùn)練集采用了十折交叉驗(yàn)證。在每一折，我們留出一個(gè)部分作為驗(yàn)證集，一個(gè)部分作為測(cè)試集，并且將其余部分作為訓(xùn)練集。同時(shí)考慮到單一的數(shù)據(jù)劃分，可能劃分后的數(shù)據(jù)分布與測(cè)試集的數(shù)據(jù)分布差異更大，使得線下驗(yàn)證的結(jié)果可能與線上不一致，因此，我們?cè)O(shè)定不同的隨機(jī)種子來(lái)產(chǎn)生多種劃分。通過(guò)這種方式來(lái)調(diào)節(jié)模型的超參數(shù)以獲得更好的線下線上一致性。當(dāng)大致確定了模型的超參數(shù)之后，我們?cè)偈褂靡话愕慕徊骝?yàn)證方式來(lái)訓(xùn)練模型，以使得每折有更多的訓(xùn)練數(shù)據(jù)。
模型選擇、模型融合
在模型的選擇上，我們主要考慮使用深度神經(jīng)網(wǎng)絡(luò)模型，主要包括 3 種網(wǎng)絡(luò)結(jié)構(gòu)。在實(shí)驗(yàn)中我們測(cè)試了多種詞嵌入的形式，我們使用了給定的 300 維的詞向量，并且通過(guò)給定的語(yǔ)料訓(xùn)練了 128 維的詞向量。通過(guò)實(shí)驗(yàn)我們發(fā)現(xiàn)使用給定語(yǔ)料訓(xùn)練出來(lái)的詞向量能夠?qū)崿F(xiàn)更低的 logloss，這可能是因?yàn)榻o定語(yǔ)料訓(xùn)練的詞向量對(duì)問(wèn)題本身根據(jù)有針對(duì)性，能夠?qū)W習(xí)到針對(duì)該任務(wù)更好的表示；此外我們還測(cè)試過(guò) tri-letter 和字符卷積，因?qū)嶒?yàn)效果不好最后未使用。
模型一：M-CNN
該模型是由我們自主創(chuàng)新的一個(gè)語(yǔ)義匹配模型。首先使用 Embedding 對(duì) q1,q2 進(jìn)行編碼提取每個(gè) word 的語(yǔ)義特征，然后再經(jīng)過(guò) BN 對(duì) word 的語(yǔ)義特征進(jìn)行標(biāo)準(zhǔn)化，然后我們使用不同尺寸的 filter 建立卷積層，每一種 filter 用來(lái)提取一種局部語(yǔ)義特征，filter 越大局部語(yǔ)義跨度越大。這里我們使用 conv1-conv5 和 maxpooling 后得到 5 種不同的句子語(yǔ)義特征向量，再用 q1 和 q2 對(duì)應(yīng)的局部語(yǔ)義特征向量計(jì)算余弦相似度，可以得到 5 個(gè)余弦相似度，我們也添加了交叉相似特征，包括 Cos1*Cos2, Cos1*Cos3, Cos1*Cos4, 然后 concat 連接起來(lái)形成新的表示層，最后再經(jīng)過(guò) Dense，PRelu, Dropout, BN，output 得到最后的匹配結(jié)果。此外我們進(jìn)行了進(jìn)一步優(yōu)化，我們用 Embedding 后的 q1，q2 計(jì)算余弦相似矩陣，這里每個(gè) word 的向量由該 word 與另一端的所有 word 余弦相似性組成，然后我們保留了 top10 的相似性作為該 word 的語(yǔ)義表達(dá)，然后經(jīng)過(guò)卷積、maxpooling、dense 得到另一種匹配度，最后加入到 Cos 的 concat 中。由于 q1 和 q2 的順序無(wú)關(guān)，所以這里的 Embedding，BatchNormlization 和所有的 convolution 層都是共享的。
模型二：Decomposable Attention
該模型的核心是 alignment, 即詞與詞之間的對(duì)應(yīng)關(guān)系，alignment 用在了兩個(gè)地方，一個(gè)是 attend 部分，是用來(lái)計(jì)算兩個(gè)句子之間的 attention 關(guān)系，另一個(gè)是 compare 部分，對(duì)兩個(gè)句子之間的詞進(jìn)行比較，每次的處理都是以詞為單位，最后用前饋神經(jīng)網(wǎng)絡(luò)去做預(yù)測(cè)，它并沒(méi)有使用到詞在句子中的時(shí)序關(guān)系，但是它參數(shù)量少且運(yùn)行速度較塊，在實(shí)驗(yàn)中也取得了不錯(cuò)的效果。
模型三：ESIM
相對(duì)于 Decomposable Attention 模型來(lái)說(shuō)，ESIM 在 Embedding 之后添加了 BatchNormlization 層，并把 project 層和 compare 層都從原來(lái)的 Dense 換成了 BiLSTM。這里的局部推理（Local Inference Modeling）也是一個(gè) attention 過(guò)程，只是它是在 LSTM 輸出序列上計(jì)算得到的。同樣 Pooling 層也是在 LSTM 的每個(gè)時(shí)間步上進(jìn)行 pooling 的，ESIM 模型有了很強(qiáng)的時(shí)序關(guān)系，在時(shí)序比較敏感的任務(wù)中一般能夠取得很好的效果，在此次競(jìng)賽中 ESIM 也表現(xiàn)的很好。
使用 dense feature 作為 gate 的模型優(yōu)化：
我們?cè)?LightGBM 中使用了文本字距離、tf-idf、詞向量相似度、LDA、LSI 等特征，同時(shí)我們把這些特征嵌入到了深度學(xué)習(xí)模型中，這部分特征我們稱做 dense feature。在實(shí)驗(yàn)中發(fā)現(xiàn)把 dense feature 和 nn 模型某一層直接 concat 的效果并不好，我們參考了 product neural network 概念以及 LSTM 中的 Gate 設(shè)計(jì)，我們把 dense feature 做為 gate 來(lái)使用，使用中我們把 dense feature 經(jīng)過(guò)全連接層得到和子模型維度一樣的表示向量，然后加上 sigmoid 激活函數(shù)，再進(jìn)行 element-wise-multiplication，這樣 dense feature 就可以控制子模型的信息流通，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)這樣的結(jié)構(gòu)在每個(gè)子模型上都得到的很大的提升。優(yōu)化后的模型結(jié)構(gòu)如下：
Gate-ESIM：
這次比賽我們?cè)谀Ｐ腿诤仙献龅谋容^簡(jiǎn)單，最終結(jié)果融合了 4 種模型，包括 Gate-M-CNN, Gate-DA, Gate-ESIM 和 LightGBM，對(duì)于這 4 種模型我們訓(xùn)練了英文版本和西班牙語(yǔ)版本，首先按照兩種語(yǔ)言分別加權(quán)融合，然后再融合兩種語(yǔ)言的結(jié)果。
7. 你們?cè)诎駟紊项I(lǐng)先第二名很多，這次比賽能得到冠軍的決定性因素有哪些？
提出了一種用 dense feature 做 gate 的網(wǎng)絡(luò)結(jié)構(gòu)。
設(shè)計(jì)了一種基于 CNN 的多種局部相似度的網(wǎng)絡(luò)結(jié)構(gòu)。
使用 2 種本地驗(yàn)證方式，讓效果提升更穩(wěn)定。
從無(wú)標(biāo)簽數(shù)據(jù)中匹配英文，進(jìn)行兩種語(yǔ)言的模型融合。
使用 2 個(gè)版本的 dense feature 構(gòu)造差異化的 gate, 增加模型差異性。
基于官方數(shù)據(jù)訓(xùn)練了 fasttext 詞向量，由于詞向量處于網(wǎng)絡(luò)的第一層，并且占用了大量參數(shù)，使用不同的詞向量訓(xùn)練的模型具有很大的差異性。
融合 LighGBM 和 DNN 模型。
構(gòu)造了幾種差異化的模型結(jié)構(gòu)，提升了融合效果，增加了結(jié)果穩(wěn)定性。
使用不同的預(yù)處理方法構(gòu)造特征，加強(qiáng)了特征表達(dá)。
多種句向量距離度量方法，包括詞向量均值距離，Word Mover's Distance 及 TF-IDF 與詞向量的結(jié)合。
使用 LDA,LSI, fuzzywuzzy 等增加特征多樣性。
8. 你們已經(jīng)參加了很多數(shù)據(jù)挖掘類比賽，如今年的 KDD Cup，NeurIPS 2018 AutoML, 這些賽事有哪些共性？你們挑選賽事的標(biāo)準(zhǔn)是什么？
這些都是頂級(jí)學(xué)術(shù)會(huì)議舉辦的比賽，比賽質(zhì)量高，影響力大，有許多經(jīng)驗(yàn)豐富且實(shí)力很強(qiáng)的競(jìng)爭(zhēng)對(duì)手。
參加比賽主要是我們的個(gè)人興趣，我們參加過(guò)許多不同類型的比賽，大多都是使用的工業(yè)應(yīng)用數(shù)據(jù)。在比賽中，我們有機(jī)會(huì)去真正解決這些工業(yè)應(yīng)用問(wèn)題，這讓我們頗有成就感，因此我們并沒(méi)有什么嚴(yán)格的挑選賽事標(biāo)準(zhǔn)，能從比賽中學(xué)到東西并解決工業(yè)應(yīng)用問(wèn)題就是我們的選擇標(biāo)準(zhǔn)。
9. 對(duì)于經(jīng)常參加機(jī)器學(xué)習(xí)類比賽的同學(xué)，有什么好的建議和經(jīng)驗(yàn)分享？如何才能做到像你們這樣的成績(jī)？
經(jīng)常參加機(jī)器學(xué)習(xí)類競(jìng)賽的同學(xué)通常是對(duì)機(jī)器學(xué)習(xí)競(jìng)賽感興趣的同學(xué)，有的在校，有的在職，通常在校學(xué)生比較多，在職的相對(duì)要少一些。
對(duì)于在校的同學(xué)來(lái)說(shuō)，參加機(jī)器學(xué)習(xí)競(jìng)賽可以快速提升自己的專業(yè)技能，也能積累實(shí)戰(zhàn)經(jīng)驗(yàn)，對(duì)找實(shí)習(xí)和找工作都有很大幫助；對(duì)于在職的同學(xué)來(lái)說(shuō)，希望在業(yè)余競(jìng)賽的同時(shí)能把競(jìng)賽中學(xué)習(xí)到的東西應(yīng)用到當(dāng)前工作中來(lái)，由于競(jìng)賽需要花費(fèi)不少時(shí)間，也建議隊(duì)伍中有時(shí)間相對(duì)比較多的在校學(xué)生；也希望參賽經(jīng)驗(yàn)豐富的同學(xué)能多多分享，帶帶新人。
其實(shí)網(wǎng)上已經(jīng)有挺多經(jīng)驗(yàn)分享了，我們的分享很簡(jiǎn)單：多看看優(yōu)勝隊(duì)伍的分享和相關(guān)任務(wù)的 paper，多思考，對(duì)于特定任務(wù)可以結(jié)合實(shí)際業(yè)務(wù)場(chǎng)景深入探索。
在機(jī)器學(xué)習(xí)競(jìng)賽中取得 top 的成績(jī)不僅要實(shí)力也需要一定的運(yùn)氣，放松心態(tài)，帶著學(xué)習(xí)的態(tài)度去玩比賽，在玩的過(guò)程中，能提升自己的能力，認(rèn)識(shí)更多相同興趣的朋友，這就是最大的收獲。
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
