<mark id="oztn4"></mark>
0
| 本文作者： 周蕾 | 2020-03-31 09:11 | 專題：雷鋒網(wǎng)公開課 | 金融 AI 云課堂 |
3月28日，恒生電子首席架構(gòu)師、數(shù)據(jù)中臺(tái)發(fā)展部經(jīng)理、恒生研究院首席技術(shù)專家章樂焱在雷鋒網(wǎng)公開課上，以「智慧金融的新基礎(chǔ)設(shè)施」為題，深度剖析數(shù)據(jù)中臺(tái)在金融領(lǐng)域的應(yīng)用與實(shí)踐。
后續(xù)將有更多課程上線，添加微信號(hào) LorraineSummer 報(bào)名聽課，或收看本節(jié)課程視頻回放。
章樂焱把金融機(jī)構(gòu)的數(shù)據(jù)分為兩處，一邊是各種各樣的業(yè)務(wù)系統(tǒng)歸攏出來的業(yè)務(wù)數(shù)據(jù)中心，也就是數(shù)據(jù)倉庫（數(shù)倉）；另一邊是有著大量外部數(shù)據(jù)的資訊數(shù)據(jù)中心，業(yè)務(wù)系統(tǒng)的關(guān)鍵小數(shù)據(jù)就是疊加了大量來自外部的資訊類的大數(shù)據(jù)——數(shù)據(jù)中臺(tái)的作用，就是將兩大中心串聯(lián)起來，建立相應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)，讓這些數(shù)據(jù)產(chǎn)生價(jià)值，再回饋到業(yè)務(wù)場景中去。
結(jié)合恒生電子的建設(shè)經(jīng)驗(yàn)和最新的技術(shù)趨勢，章樂焱不僅解釋了金融機(jī)構(gòu)數(shù)據(jù)中臺(tái)的構(gòu)建之必要，還給出了頗為詳細(xì)的中臺(tái)構(gòu)建步驟。
以下為章樂焱分享內(nèi)容節(jié)選，雷鋒網(wǎng)AI金融評(píng)論做了不改變?cè)獾木庉嫛?/strong>
數(shù)據(jù)中臺(tái)這個(gè)概念最近確實(shí)很火，特別是過去的一年。2018年年底，恒生電子就成立了數(shù)據(jù)中臺(tái)發(fā)展部，專門幫助金融機(jī)構(gòu)搭建數(shù)據(jù)中臺(tái)。可能恒生跟螞蟻金服有一定的關(guān)系，我們一直也在討論大中臺(tái)這樣的概念。
在整個(gè)金融行業(yè)里面，大家有一個(gè)普遍的說法，認(rèn)為拉長來看，最近的一兩百年，技術(shù)對(duì)金融行業(yè)的影響還是很明顯的，包括工業(yè)革命、信息技術(shù)的升級(jí)。
拉近到最近的幾十年，可以明顯地看到整個(gè)金融行業(yè)數(shù)字化、網(wǎng)絡(luò)化、智能化“三浪疊加”的態(tài)勢。特別是智能化的基礎(chǔ)其實(shí)就是數(shù)據(jù)。因?yàn)榻鹑谛袠I(yè)本身就有大量的數(shù)據(jù)，加上互聯(lián)網(wǎng)技術(shù)的疊加之后，產(chǎn)生了更多的數(shù)據(jù)，有助于我們構(gòu)建相應(yīng)的智能化應(yīng)用。
中國持牌的金融機(jī)構(gòu)，包括證券、期貨、基金、銀行、保險(xiǎn)、信托，再加上交易所，也就是我們所說的整個(gè)行業(yè)的基礎(chǔ)設(shè)施，包括登記結(jié)算公司、滬深交易所、期貨交易所等等。恒生電子20多年來就一直圍繞著金融行業(yè)在做相應(yīng)的IT建設(shè)。
以恒生電子一直關(guān)注的財(cái)富資管領(lǐng)域?yàn)槔ＷC券公司、基金公司提供金融產(chǎn)品、銷售金融產(chǎn)品，就是經(jīng)常說的財(cái)富管理；資金募集起來之后，金融機(jī)構(gòu)如何去做投資，就涉及到資產(chǎn)管理。
細(xì)分來看，這兩個(gè)行業(yè)需要以數(shù)據(jù)為本，來實(shí)現(xiàn)相應(yīng)的業(yè)務(wù)驅(qū)動(dòng)，包括投資研究、風(fēng)險(xiǎn)管理、客戶服務(wù)、運(yùn)營管理等等，都是和數(shù)據(jù)有關(guān)系的。我們看到的變化是也從傳統(tǒng)的做法向數(shù)字化轉(zhuǎn)變。
例如投資研究里面，需要引用大數(shù)據(jù)，實(shí)現(xiàn)智能投研。客戶識(shí)別方面，持牌的金融機(jī)構(gòu)有KYC要求，需要對(duì)客戶的適當(dāng)性進(jìn)行相應(yīng)的清晰判斷，否則需要承擔(dān)相應(yīng)的法律責(zé)任。
比如在參與金融活動(dòng)的時(shí)候，你可能是個(gè)投資者，也可能是個(gè)金融消費(fèi)者，作為金融消費(fèi)者的話就要受到消費(fèi)者權(quán)益保護(hù)的相應(yīng)的法律法規(guī)的制約，所以金融機(jī)構(gòu)怎么來理解你的客戶，也會(huì)有很多數(shù)字化上的要求。
從整個(gè)行業(yè)來看，數(shù)據(jù)上的智能化應(yīng)用對(duì)整個(gè)行業(yè)的影響越來越大。
金融機(jī)構(gòu)的數(shù)據(jù)，可以分為兩塊，一塊就是各種各樣的業(yè)務(wù)系統(tǒng)歸攏出來的業(yè)務(wù)數(shù)據(jù)中心，一般傳統(tǒng)領(lǐng)域我們就叫數(shù)據(jù)倉庫（數(shù)倉）。從上個(gè)世紀(jì)開始，大家都在做數(shù)據(jù)倉庫的一些建設(shè)，到了現(xiàn)在，隨著技術(shù)的發(fā)展，數(shù)倉其實(shí)也有很多相應(yīng)的變化。
還有一塊就是資訊數(shù)據(jù)中心，這里的數(shù)據(jù)大量來自外部，業(yè)務(wù)系統(tǒng)的關(guān)鍵小數(shù)據(jù)疊加了大量來自外部的資訊類的大數(shù)據(jù)。
金融機(jī)構(gòu)要建立數(shù)據(jù)中臺(tái)的話，需要同時(shí)關(guān)注業(yè)務(wù)數(shù)據(jù)中心和資訊數(shù)據(jù)中心。這兩方面的數(shù)據(jù)當(dāng)然不可能是割裂的，我們觀察到，這兩方面的數(shù)據(jù)會(huì)通過機(jī)構(gòu)、人、產(chǎn)品，緊緊地聯(lián)系在一起。我們從經(jīng)營管理、財(cái)富管理業(yè)務(wù)、風(fēng)險(xiǎn)管理業(yè)務(wù)、資產(chǎn)管理業(yè)務(wù)、機(jī)構(gòu)服務(wù)業(yè)務(wù)、經(jīng)紀(jì)業(yè)務(wù)等這些金融機(jī)構(gòu)的各個(gè)業(yè)務(wù)系統(tǒng)中，把數(shù)據(jù)抽取出來，建立相應(yīng)的標(biāo)準(zhǔn)。
這些數(shù)據(jù)產(chǎn)生價(jià)值，需要回饋到業(yè)務(wù)場景中去。
比如說做數(shù)倉有很多BI分析人員，分析公司的經(jīng)營情況、各項(xiàng)業(yè)務(wù)的趨勢；金融機(jī)構(gòu)有很多金融工程包括行業(yè)研究的人員，需要去挖掘各種投資機(jī)會(huì)，控制相應(yīng)的投資風(fēng)險(xiǎn)。
作為數(shù)據(jù)中臺(tái)能提供哪些服務(wù)賦能到各個(gè)業(yè)務(wù)場景，這也是數(shù)據(jù)中臺(tái)去做實(shí)施建設(shè)的時(shí)候需要去回答的。
在業(yè)務(wù)數(shù)據(jù)中心和資訊數(shù)據(jù)中心之間有個(gè)關(guān)聯(lián)，最重要的就兩塊，我們叫兩個(gè)畫像，一個(gè)叫做用戶畫像，一個(gè)叫企業(yè)畫像。
金融機(jī)構(gòu)都是服務(wù)行業(yè)，服務(wù)行業(yè)就是服務(wù)于你的客戶。如何刻畫客戶？特別是做財(cái)富管理這個(gè)領(lǐng)域就很重要，需要從各個(gè)渠道包括外部拿到相應(yīng)的數(shù)據(jù)來刻畫客戶，這叫用戶畫像。
募集資金之后，你投資的標(biāo)的都是跟一些企業(yè)有關(guān)系，核心的就是圍繞著投資標(biāo)的企業(yè)，所以對(duì)這個(gè)標(biāo)的企業(yè)怎么刻畫也很重要，比如財(cái)務(wù)數(shù)據(jù)分析、公告/研報(bào)/公文分析、關(guān)聯(lián)金融產(chǎn)品分析、企業(yè)圖譜-股權(quán)風(fēng)險(xiǎn)分析、產(chǎn)業(yè)圖譜-產(chǎn)業(yè)風(fēng)險(xiǎn)分析、新聞輿情分析等等。
這里以企業(yè)畫像為例。隨著技術(shù)的進(jìn)步，我們發(fā)現(xiàn)要分析一家企業(yè)，有越來越多的新手段，比如分析的不只是一家企業(yè)，而會(huì)去建立所謂的企業(yè)圖譜、股權(quán)關(guān)系，對(duì)整個(gè)產(chǎn)業(yè)鏈上下游關(guān)系進(jìn)行分析。
在構(gòu)建知識(shí)圖譜的時(shí)候，會(huì)有很多外部的信息是文本信息，不像財(cái)務(wù)報(bào)表可以很容易結(jié)構(gòu)化。在處理大量的外部文本資訊信息的時(shí)候，就要用到自然語言處理相應(yīng)的技術(shù)，才能把核心的關(guān)鍵的內(nèi)容提取出來。
當(dāng)然，投資的時(shí)候，投資者比較喜歡聽小道消息，所以新聞輿情大家也會(huì)很關(guān)注，包括專業(yè)性的分析、高管事件、生產(chǎn)安全事故、專業(yè)人員對(duì)行業(yè)事件的解讀等等。新聞輿情同樣是大家關(guān)注的領(lǐng)域，傳導(dǎo)過來會(huì)影響到整個(gè)企業(yè)。
阿里在說數(shù)據(jù)中臺(tái)的時(shí)候經(jīng)常說一個(gè)概念叫One ID，在傳統(tǒng)金融機(jī)構(gòu)里面，如果你的數(shù)據(jù)只是來自內(nèi)部業(yè)務(wù)系統(tǒng)，One ID 相對(duì)是容易實(shí)現(xiàn)的；但是如果引入了大量的外部信息，One ID確實(shí)是一個(gè)很挑戰(zhàn)的事情。
例如恒生電子，如果是股票的話，600570是一個(gè)明顯的ID，但是你到新聞資訊里去看，它可能是中文寫的“恒生電子”，可能是全稱，可能是簡稱，包括很多上市公司還有集團(tuán)公司、股份公司。但是在新聞資訊里講的時(shí)候，如何準(zhǔn)確識(shí)別出來這個(gè)信息說的是這家公司，還是它的關(guān)聯(lián)公司？
這時(shí)候要進(jìn)行One ID的處理，確實(shí)是一件很有挑戰(zhàn)性的事情，需要通過上下文或者說建立金融大詞林，類似于大的詞典，這樣就能知道恒生電子有哪幾種說法，通過上下文分析知道講的是母公司、股份公司還是子公司。
構(gòu)建One ID，有時(shí)候會(huì)用機(jī)器去識(shí)別，特別是AI 的技術(shù)，實(shí)際上很多時(shí)候最后出來的結(jié)果是一個(gè)概率的問題，可能要人工和機(jī)器結(jié)合來實(shí)現(xiàn)。
一家金融機(jī)構(gòu)有很多數(shù)據(jù)資產(chǎn)，首先要理清楚有多少數(shù)據(jù)資產(chǎn)，只有理清楚了，數(shù)據(jù)才能成為資產(chǎn)，基于數(shù)據(jù)才能做一些協(xié)同。
各個(gè)業(yè)務(wù)要做協(xié)同，有兩種做法，一是傳統(tǒng)的每個(gè)業(yè)務(wù)系統(tǒng)開放接口，就可以互相協(xié)同了。
還有一種，一般來說金融機(jī)構(gòu)會(huì)有好多開發(fā)商的系統(tǒng)，這些開發(fā)商系統(tǒng)的API控制，并不是想要開發(fā)商提供就可以有的。API不行的時(shí)候如何進(jìn)行業(yè)務(wù)協(xié)同呢？其實(shí)通過數(shù)據(jù)也是可以做相應(yīng)的協(xié)同的，但這個(gè)前提是需要清楚的知道到底有哪些數(shù)據(jù)資產(chǎn)。
內(nèi)部的數(shù)據(jù)資產(chǎn)可能還好理，當(dāng)你引入大量的外部數(shù)據(jù)，所謂的大數(shù)據(jù)很多是大量外部數(shù)據(jù)，這些外部數(shù)據(jù)可能還是不同的業(yè)務(wù)部門買進(jìn)來的——從整個(gè)公司的視角來看，有哪些數(shù)據(jù)？這就是要梳理的。
有了那么多數(shù)據(jù)資產(chǎn)，如何應(yīng)用？很重要的一點(diǎn)就是要有相應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)，否則大家對(duì)概念的定義、數(shù)據(jù)的統(tǒng)計(jì)口徑、指標(biāo)的定義都不一樣，要實(shí)現(xiàn)協(xié)同也是很困難的。
首先把所有的資產(chǎn)通過資產(chǎn)地圖、資產(chǎn)目錄進(jìn)行管理，通過相應(yīng)的元素進(jìn)行描述：哪個(gè)數(shù)據(jù)？在哪個(gè)庫里？誰負(fù)責(zé)的？跟哪個(gè)業(yè)務(wù)系統(tǒng)相關(guān)？所謂的元數(shù)據(jù)，要去把它搞清楚，在這個(gè)基礎(chǔ)上標(biāo)準(zhǔn)化。
所以其實(shí)一般講數(shù)據(jù)中臺(tái)，會(huì)講到數(shù)據(jù)治理很重要的一塊就是數(shù)據(jù)的標(biāo)準(zhǔn)，包括概念的定義、指標(biāo)定義如何統(tǒng)一口徑。
金融領(lǐng)域尤其如此。在金融領(lǐng)域有些指標(biāo)很重要，因?yàn)榻鹑跈C(jī)構(gòu)需要承擔(dān)相關(guān)的法律責(zé)任，一方面是需要向監(jiān)管機(jī)構(gòu)報(bào)送各種各樣的信息，另一方面需要向公眾披露各種各樣的信息，這兩方面的數(shù)據(jù)的統(tǒng)計(jì)口徑需要保持一致，不然就會(huì)出現(xiàn)問題。在這背后需要進(jìn)行相應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)的制定。
制定數(shù)據(jù)標(biāo)準(zhǔn)跟制定API接口是類似的，一個(gè)是穩(wěn)定，一個(gè)是最小化原則。
數(shù)據(jù)整理好了、該標(biāo)準(zhǔn)化的數(shù)據(jù)標(biāo)準(zhǔn)化之后，就是為要使用數(shù)據(jù)的部門提供相應(yīng)的數(shù)據(jù)服務(wù)，要把數(shù)據(jù)服務(wù)化，畢竟數(shù)據(jù)中臺(tái)是培育業(yè)務(wù)創(chuàng)新的土壤，也是利用數(shù)據(jù)促進(jìn)業(yè)務(wù)創(chuàng)新的保障。實(shí)際上在數(shù)據(jù)中臺(tái)項(xiàng)目的實(shí)施階段，很難定義清楚總共需要提供多少數(shù)據(jù)服務(wù)。
所以在建數(shù)據(jù)中臺(tái)的時(shí)候，我們希望能夠?yàn)榻鹑跈C(jī)構(gòu)構(gòu)建一個(gè)相對(duì)敏捷、能為下游提供數(shù)據(jù)服務(wù)的平臺(tái)。在這其中，工具很重要。
當(dāng)下游業(yè)務(wù)系統(tǒng)提供取數(shù)需求的時(shí)候，如何快速地進(jìn)行相應(yīng)的實(shí)施？原來金融機(jī)構(gòu)在做數(shù)倉的時(shí)候，下游公司有需求就直接告訴下游公司的表結(jié)構(gòu)，讓下游公司直接連上來自己取。
這時(shí)候就會(huì)發(fā)現(xiàn)很多問題：數(shù)據(jù)中心的表暴露給了多少對(duì)象？有多少下游應(yīng)用與你相關(guān)？這其實(shí)是很難控制的。如果在中間增加一層所謂的數(shù)據(jù)服務(wù)層，以API的形式、微服務(wù)的形式向下游提供，這時(shí)候就可以數(shù)據(jù)應(yīng)用與數(shù)據(jù)中心的進(jìn)一步解耦，并可以對(duì)數(shù)據(jù)的使用對(duì)象、使用頻率進(jìn)行相應(yīng)的控制。
最后，數(shù)據(jù)都整好了，人工智能的應(yīng)用如何來體現(xiàn)？做人工智能有很多專業(yè)的要求，比如機(jī)器學(xué)習(xí)、自然語言處理、知識(shí)圖譜等，這些人很專業(yè)，但是下面的應(yīng)用部門不可能配備很多類似的專業(yè)人員，這時(shí)候中臺(tái)部門就要承接這些專業(yè)能力的沉淀作用，要去搭建跟人工智能相關(guān)的團(tuán)隊(duì)、平臺(tái)，為下游用數(shù)的部門提供這種專業(yè)服務(wù)。
這樣的數(shù)據(jù)中臺(tái)，我們把它叫做新的基礎(chǔ)設(shè)施。
為什么說新的？從上個(gè)世紀(jì)開始，數(shù)倉我們就已經(jīng)開始建了，現(xiàn)在說的數(shù)據(jù)中臺(tái)有更多的數(shù)據(jù)挖掘、數(shù)據(jù)分析的技術(shù)引進(jìn)，有AI的加工能力。我們現(xiàn)在發(fā)現(xiàn)很多金融機(jī)構(gòu)確實(shí)有傳統(tǒng)的數(shù)倉技術(shù)，當(dāng)有大量的外部大數(shù)據(jù)進(jìn)來的時(shí)候，整個(gè)技術(shù)平臺(tái)確實(shí)也是需要做相應(yīng)的一些升級(jí)。
因?yàn)閿?shù)據(jù)格式上來講，有大量的文本的非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)來了，數(shù)據(jù)量也越來越多，所以需要建立起新的基礎(chǔ)設(shè)施。
那么，新的基礎(chǔ)設(shè)施建設(shè)的時(shí)候，眼前你會(huì)看到什么？確實(shí)大家對(duì)數(shù)據(jù)治理相應(yīng)的一些基礎(chǔ)工作，數(shù)據(jù)資產(chǎn)怎么梳理、數(shù)據(jù)質(zhì)量怎么保證、數(shù)據(jù)標(biāo)準(zhǔn)如何制定、智能的應(yīng)用……還是比較薄弱的。所以我說給金融機(jī)構(gòu)建數(shù)據(jù)中臺(tái)的時(shí)候，確實(shí)有很多眼前的問題要解決。
去年數(shù)據(jù)中臺(tái)概念火了之后，很多人都說可以提供數(shù)據(jù)中臺(tái)服務(wù)，實(shí)際上在大部分情況下，提供的是數(shù)據(jù)平臺(tái)的一套技術(shù)工具。工具是必要的，但在有了工具之后，很多事情還要人去做。
比如資本市場的各個(gè)金融機(jī)構(gòu)，他們最關(guān)鍵的核心系統(tǒng)就有三四十套，有時(shí)候還包括同一類業(yè)務(wù)系統(tǒng)找兩家開發(fā)商來建設(shè)，或者同一類業(yè)務(wù)根據(jù)客戶屬性不同建設(shè)不同的系統(tǒng)。
核心業(yè)務(wù)系統(tǒng)的種類很多，多年來的版本也很多。要把數(shù)據(jù)收集起來，就需要核心業(yè)務(wù)系統(tǒng)的對(duì)接能力。
此外，數(shù)據(jù)中臺(tái)也需要對(duì)接各種各樣的資訊廠商。
整個(gè)資本市場，外部資訊廠商也有好幾十家，有一些提供的數(shù)據(jù)比較全面，有些是特色的數(shù)據(jù)。除了這些主要的資訊廠商之外，有時(shí)候金融機(jī)構(gòu)也會(huì)根據(jù)自己的特色，采購某些數(shù)據(jù)，比如某個(gè)行業(yè)網(wǎng)站的數(shù)據(jù)。這些外部的數(shù)據(jù)都要進(jìn)行相應(yīng)的關(guān)聯(lián)和管理。
而且來自資訊廠商的外部數(shù)據(jù)還有一個(gè)很重要的特點(diǎn)，就是它的數(shù)據(jù)結(jié)構(gòu)很不穩(wěn)定，沒有一個(gè)統(tǒng)一的行業(yè)標(biāo)準(zhǔn)，企業(yè)需要建立自己的企業(yè)標(biāo)準(zhǔn)，否則來自外部的同類的數(shù)據(jù)，可能會(huì)出現(xiàn)某個(gè)字段名字一樣但內(nèi)涵不一樣的情況。這些數(shù)據(jù)既然不穩(wěn)定，就要建大量的檢驗(yàn)規(guī)則來保障數(shù)據(jù)的質(zhì)量。
另外，既然建立了數(shù)據(jù)中臺(tái)，不用業(yè)務(wù)系統(tǒng)、下游應(yīng)用直接按的指標(biāo)應(yīng)該有同樣的口徑，需要梳理清楚有多少這樣的公共指標(biāo)，保證口徑的統(tǒng)一，這也是中臺(tái)價(jià)值的重要體現(xiàn)。這些內(nèi)容目前來講就是靠人力。
AI很酷，但AI背后也需要大量的人力投入。例如金融機(jī)構(gòu)要處理很多的資訊信息，也就是文本的處理。中文文本處理里面一個(gè)很重要的問題就是，中文的歧義很嚴(yán)重，特別是人民、地名。如何解決？需要建立詞林、相應(yīng)的知識(shí)圖譜，通過NLP的技術(shù)進(jìn)行上下文的判斷，還需要大量的負(fù)面樣本。這里面需要很多的人工勞動(dòng)。
AI領(lǐng)域另一個(gè)很重要的就是知識(shí)圖譜。比如構(gòu)建企業(yè)鏈，投資的時(shí)候要判斷投資標(biāo)的企業(yè)的風(fēng)險(xiǎn)，還要判斷它的關(guān)聯(lián)企業(yè)。能獲得的工商數(shù)據(jù)可能是幾千萬級(jí)別的，加上相應(yīng)的屬性……這些知識(shí)圖譜，或者說數(shù)據(jù)圖、數(shù)據(jù)庫的構(gòu)建和應(yīng)用能力，前期也需要人力來進(jìn)行。RPA最近比較流行，在金融領(lǐng)域除了購買資訊之外也需要一些外面的數(shù)據(jù)，就需要通過一些技術(shù)手段對(duì)互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行處理。
數(shù)據(jù)應(yīng)用領(lǐng)域也很重要，畢竟花了這么多錢搭建起了數(shù)據(jù)中臺(tái)，如果不說做完之后數(shù)據(jù)中臺(tái)項(xiàng)目能夠支持哪些應(yīng)用，在企業(yè)內(nèi)部立項(xiàng)也會(huì)有問題。
在金融機(jī)構(gòu)，數(shù)據(jù)中臺(tái)最主要支撐的應(yīng)用有四塊：經(jīng)營管理、風(fēng)險(xiǎn)管理、營銷管理、投資研究。
經(jīng)營管理，大家很好理解，公司領(lǐng)導(dǎo)要出報(bào)表，是不是還要看各項(xiàng)的數(shù)據(jù)？營銷是以客戶為中心，要去服務(wù)相應(yīng)的投資者，營銷管理人員需要大量的數(shù)據(jù)應(yīng)用做支撐。但是對(duì)于投資來講，風(fēng)險(xiǎn)也是很重要的，所以風(fēng)險(xiǎn)管理、風(fēng)險(xiǎn)合規(guī)、風(fēng)險(xiǎn)控制各方面也是數(shù)據(jù)強(qiáng)依賴的。投資研究就更加需要大量的外部數(shù)據(jù)了。
所以要建數(shù)據(jù)中臺(tái)，很多問題，目前來講可能要靠人力去應(yīng)對(duì)，這部分占的比重還是比較大的。我們也希望后面的技術(shù)進(jìn)步能很大程度地提升人力處理的效率。
總結(jié)一下：底層是數(shù)據(jù)中臺(tái)的技術(shù)平臺(tái)，要管理數(shù)據(jù)，做相應(yīng)的數(shù)據(jù)開發(fā)，對(duì)外提供服務(wù)，構(gòu)建相應(yīng)的AI能力，搭建AI工具平臺(tái)。有了這個(gè)工具平臺(tái)之后，幫助金融機(jī)構(gòu)構(gòu)建各種各樣的數(shù)據(jù)中心，包括業(yè)務(wù)數(shù)據(jù)中心和資訊數(shù)據(jù)中心，也會(huì)根據(jù)上游的場景分階段建立，原來的應(yīng)用可以逐步遷移到新的數(shù)據(jù)中臺(tái)的架構(gòu)上來。在沒有數(shù)據(jù)中臺(tái)之前，整個(gè)金融行業(yè)大家對(duì)數(shù)據(jù)也是非常重視的，有大量的應(yīng)用在用。建數(shù)據(jù)中臺(tái)之后，不能簡單地把老的應(yīng)用鏟掉，全部重新來過，所以需要有一個(gè)把大量的下游應(yīng)用進(jìn)行平滑遷移的升級(jí)方案。
除了上面說到的這些“臟活累活”，做數(shù)據(jù)中臺(tái)還是很多看上去讓人覺得很酷的事情。
比如說企業(yè)畫像，資訊中心里面非常重要的數(shù)據(jù)是要把投資標(biāo)的企業(yè)描述清楚，描述清楚之后確實(shí)會(huì)對(duì)金融機(jī)構(gòu)下游的核心業(yè)務(wù)起到很好的支撐。在這其中我們也看到大量AI技術(shù)被應(yīng)用。
比如企業(yè)畫像里面有一個(gè)叫“企業(yè)智查”，這并不是簡單地買一些工商數(shù)據(jù)描述一下就結(jié)束了，實(shí)際上會(huì)有更多的另類的數(shù)據(jù)關(guān)聯(lián)上去。如何關(guān)聯(lián)？這就涉及到后面的知識(shí)圖譜、圖數(shù)據(jù)庫，除了公司數(shù)據(jù)，還有產(chǎn)業(yè)鏈數(shù)據(jù)，這些數(shù)據(jù)構(gòu)成了企業(yè)之間相互關(guān)系的核心網(wǎng)絡(luò)。
在這個(gè)網(wǎng)絡(luò)之后，還可以疊加金融機(jī)構(gòu)自己的研究人員在企業(yè)業(yè)務(wù)發(fā)展過程中調(diào)研到的、分析到的企業(yè)信息，從而形成一個(gè)相對(duì)完備的企業(yè)畫像。
這里面的企業(yè)數(shù)可能是千萬級(jí)別的，從工商數(shù)據(jù)、企業(yè)之間的相互關(guān)聯(lián)關(guān)系、股權(quán)關(guān)系，通過股權(quán)、債券或者說高管，把這些企業(yè)連接起來。還有通過產(chǎn)業(yè)的上下游、金融機(jī)構(gòu)投資研究人員建立的所謂產(chǎn)業(yè)鏈分析的網(wǎng)絡(luò)，關(guān)聯(lián)起來。
關(guān)聯(lián)之后就可以查到圍繞這家公司有哪些信息，有沒有違約，有點(diǎn)像企業(yè)的“情報(bào)系統(tǒng)”。在這個(gè)“情報(bào)系統(tǒng)”里面，可以查到一個(gè)企業(yè)，周邊有一層層衍生出來的很多信息。
也許你還會(huì)關(guān)心當(dāng)下發(fā)生了哪些事情，所以很多公司也在建設(shè)輿情監(jiān)控系統(tǒng)。
恒生從事件的角度來看，把輿情轉(zhuǎn)換成各種各樣的事件，比如針對(duì)企業(yè)的事件、針對(duì)企業(yè)所在行業(yè)的事件、宏觀方面的事件等，這些都會(huì)對(duì)企業(yè)產(chǎn)生影響。通過各種事件分類，給企業(yè)打上標(biāo)簽，從而形成相應(yīng)的風(fēng)險(xiǎn)事件預(yù)警，其中需要RPA技術(shù)去獲取外面的輿情。
獲取大量的輿情信息之后的處理，需要用到很多自然語言處理相關(guān)的技術(shù)，需要靠智能文本處理，把關(guān)鍵信息提取出來，在這個(gè)過程中，消歧是非常重要的，怎么樣消歧、準(zhǔn)確地關(guān)聯(lián)到相關(guān)企業(yè)。
而且企業(yè)畫像并不是靜態(tài)地，特別是金融領(lǐng)域有很多持續(xù)數(shù)據(jù)，隨著時(shí)間點(diǎn)不同，數(shù)據(jù)都會(huì)改變。同樣的一個(gè)事情，也有發(fā)酵的過程，大家要知道事件的前因后果是什么，所以這是一個(gè)動(dòng)態(tài)的、持續(xù)發(fā)展的過程。
很重要。有些企業(yè)會(huì)存在財(cái)務(wù)造假的問題，通過很多粉飾性的內(nèi)容，造得天衣無縫，包括隱瞞壞賬、商譽(yù)問題、不務(wù)正業(yè)等等。
如何識(shí)別財(cái)務(wù)造假？除了傳統(tǒng)的財(cái)務(wù)分析之外，也會(huì)通過機(jī)器學(xué)習(xí)來進(jìn)行。但是機(jī)器學(xué)習(xí)需要負(fù)面樣本，負(fù)面樣本不夠，特征就找不到？所以需要搞一些另類的指標(biāo)出來。我們需要去分析已有的數(shù)據(jù)，找到里面的負(fù)面樣本。
比如商譽(yù)暴雷，我們就去看看最近幾年商譽(yù)暴雷的公司，把他們的財(cái)報(bào)拿過來，看看是什么樣子的，然后把他們放到機(jī)器學(xué)習(xí)的模型里，看看能不能把問題找出來。
當(dāng)然，如果專業(yè)人員本身就有一些規(guī)則，那就更簡單了，可以把一些原來沒有結(jié)構(gòu)化的數(shù)據(jù)提取出來，然后專業(yè)的分析人員寫一些規(guī)則，就能直接進(jìn)行判斷了。一般來說，我們會(huì)把這兩種方式結(jié)合起來使用。
是說做一些關(guān)聯(lián)關(guān)系的挖掘，包括整個(gè)的風(fēng)險(xiǎn)網(wǎng)絡(luò)。關(guān)聯(lián)分析圖看起來是平面的，但實(shí)際上這是一個(gè)立體的網(wǎng)絡(luò)。在立體的網(wǎng)絡(luò)上如何進(jìn)行快速地搜索響應(yīng)，特別是復(fù)雜的幾度以上的搜索？在圖上做搜索，最簡單的就是明確告訴我們一個(gè)實(shí)體，沿著實(shí)體做瀏覽性的搜索是很容易的，但是你要做幾度以上的這種分析，對(duì)水平的要求就很高了——當(dāng)網(wǎng)絡(luò)很大的時(shí)候，要找出幾度以上的相互關(guān)系的時(shí)候，能不能實(shí)現(xiàn)秒級(jí)響應(yīng)，還是說要跑很久？
股權(quán)穿透，相對(duì)來說是一個(gè)比較簡單的關(guān)聯(lián)關(guān)系的分析，但其中還有一些規(guī)則。如何確定一個(gè)閾值多少是合適的？有些法律法規(guī)本身就有定義，有些不行怎么辦？可能就需要使用統(tǒng)計(jì)學(xué)的手段，找一些負(fù)面樣本。穿透一般要求穿透到自然人，或者說國資委，一層層穿透下去。
數(shù)據(jù)中臺(tái)作為一個(gè)新基礎(chǔ)設(shè)施，在構(gòu)建過程中確實(shí)是比較有講究的，要有基本的數(shù)據(jù)治理和IT治理。從傳統(tǒng)的關(guān)系數(shù)據(jù)庫到有些地方要大數(shù)據(jù)技術(shù)、AI技術(shù)，技術(shù)與業(yè)務(wù)的結(jié)合也很重要，不然花了很大成本建了這個(gè)中臺(tái)卻不知道該怎么用，或者不知道上層的分析模型該怎么建，這就很難發(fā)揮數(shù)據(jù)的作用。
在做金融行業(yè)數(shù)據(jù)中臺(tái)的時(shí)候，我們內(nèi)部會(huì)進(jìn)行分層，一層是偏技術(shù)的，一層是偏業(yè)務(wù)的。數(shù)據(jù)過來之后，偏技術(shù)層的會(huì)進(jìn)行基本的處理，比如打個(gè)標(biāo)簽、關(guān)聯(lián)到圖數(shù)據(jù)庫里去，這對(duì)業(yè)務(wù)的要求貌似不高，對(duì)技術(shù)基礎(chǔ)的要求會(huì)高一點(diǎn)。數(shù)據(jù)結(jié)構(gòu)化處理之后，業(yè)務(wù)團(tuán)隊(duì)就要上來發(fā)揮作用。比如剛才提到的財(cái)務(wù)分析有很多模型，這種模型不一定是IT團(tuán)隊(duì)所擅長的。
比如說像恒生，我們也做債券違約的預(yù)警，要做數(shù)據(jù)分析。第一，分析現(xiàn)狀是什么。第二分析原因，比如增長的原因是什么？一個(gè)投資掙錢了，到底是哪個(gè)部分掙的錢，這叫績效歸因。第三是預(yù)警，能預(yù)測到后面的要做預(yù)測。包括剛說到的做原因分析的時(shí)候，實(shí)際上是有很多專業(yè)的模型的。
這些一般是我們偏業(yè)務(wù)的團(tuán)隊(duì)會(huì)來做，我們會(huì)找金融工程相應(yīng)的人來做上層的模型，才能支撐到下游的場景。偏技術(shù)和偏業(yè)務(wù)的人，對(duì)數(shù)據(jù)處理的深度確實(shí)不太一樣。比如債券預(yù)警的模型怎么做？看起來都很簡單，是個(gè)多因子的積分卡一樣的東西，但是關(guān)鍵是每個(gè)因子怎么選，權(quán)重怎么附，這些都需要一些專業(yè)的人員來做。
展望未來，數(shù)據(jù)挖掘在金融AI技術(shù)投入中，排名第二，圖像識(shí)別排名第一。我覺得比較好理解，因?yàn)楝F(xiàn)在圖像識(shí)別確實(shí)相對(duì)來講是應(yīng)用比較成熟的領(lǐng)域，準(zhǔn)確度也很高。但是我們發(fā)現(xiàn)數(shù)據(jù)挖掘竟然是在整個(gè)的技術(shù)投入中排名第二？我們感覺到現(xiàn)在用的好多手段還是比較傳統(tǒng)，為什么它會(huì)排名第二？
如果把Gartner分析報(bào)告里的這一頁上列的這些技術(shù)也算在數(shù)據(jù)挖掘的技術(shù)里的話，確實(shí)可能投入就上去了。這是Gartner去年對(duì)數(shù)據(jù)技術(shù)發(fā)展趨勢的分析，我挑了幾條。
到 2020年，將有50％的分析查詢是通過搜索，自然語言處理或語音生成的，或者將自動(dòng)生成。
到 2021年，自然語言處理和對(duì)話分析將把分析和商業(yè)智能的采用率從35％的員工提高到 50％以 上，其中包括新的用戶類別，尤其是前臺(tái)工作人員。
到 2021 年，持久化內(nèi)存（非易失性內(nèi)存條）將占內(nèi)存計(jì)算內(nèi)存GB 消耗的 10 ％以上。
到 2022 年，圖分析和圖數(shù)據(jù)庫的應(yīng)用將以每年 100 ％的速度增長，以不斷加速數(shù)據(jù)準(zhǔn)備并實(shí)現(xiàn)更復(fù)雜和適應(yīng)性更強(qiáng)的數(shù)據(jù)科學(xué)
到 2022 年，通過增加機(jī)器學(xué)習(xí)和自動(dòng)服務(wù)級(jí)別管理，數(shù)據(jù)管理手動(dòng)任務(wù)將減少 45 ％。
為什么要有這樣的技術(shù)投入？其實(shí)數(shù)據(jù)的運(yùn)用越來越普遍了，不是說只有一些專業(yè)的分析人員才用它，整個(gè)生態(tài)里的各個(gè)環(huán)節(jié)的業(yè)務(wù)人員，可能都需要數(shù)據(jù)。對(duì)這些人員來說，你不能把數(shù)據(jù)的獲取、分析的要求提得很高，所以會(huì)引用一些自然語言技術(shù)去處理。
我們之前提到的知識(shí)圖譜，實(shí)際上它的技術(shù)底層有2種，一個(gè)圖數(shù)據(jù)庫叫圖的存儲(chǔ)，還有一個(gè)圖的分析，這塊的話Gartner預(yù)測也是說每年是百分之百的速度增長。
你要做數(shù)據(jù)分析，最重要的就是關(guān)聯(lián)，要把數(shù)據(jù)關(guān)聯(lián)起來才能做更多的分析，這確實(shí)是圖數(shù)據(jù)庫比較擅長的。關(guān)聯(lián)大量數(shù)據(jù)的時(shí)候，你也會(huì)發(fā)現(xiàn)說數(shù)據(jù)結(jié)構(gòu)是很難提前預(yù)定、預(yù)測好的，那圖數(shù)據(jù)庫的好處就是，相應(yīng)的結(jié)構(gòu)、屬性增加一些，對(duì)原來的分析是沒有什么影響的。
最后一條，其實(shí)這個(gè)是我比較希望看到的，因?yàn)槲覄偛耪f到無論是建數(shù)據(jù)中心也好，做數(shù)據(jù)中臺(tái)也好，還是需要大量人力投入。
但是Gartner也預(yù)測，其實(shí)我們實(shí)際上也看到大量的利用機(jī)器學(xué)習(xí)的方式，利用各種自動(dòng)化在整個(gè)數(shù)據(jù)管理或者數(shù)據(jù)準(zhǔn)備上。當(dāng)對(duì)業(yè)務(wù)不熟悉的時(shí)候，機(jī)器學(xué)習(xí)可以很大地減輕負(fù)擔(dān)。當(dāng)你換個(gè)行業(yè)去分析人家的數(shù)據(jù)的時(shí)候，或者一個(gè)新人進(jìn)來，有大量的自動(dòng)化手段來幫助你做數(shù)據(jù)管理、做數(shù)據(jù)的準(zhǔn)備，可以有效提升做數(shù)據(jù)中臺(tái)的效率。
后續(xù)將有更多課程上線，添加微信號(hào) LorraineSummer 報(bào)名聽課，或收看本節(jié)課程視頻回放。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
