清華大學王建民：大數據系統軟件助力工業數字化轉型

AIoT 融合落地方興未艾，工業制造智能轉型迫在眉睫。

為了構建行業對 AIoT 產業的全新認知，解析 AIoT 泛產業的 “云、管、邊、端” 及智能制造產業的發展，探討當下 AIoT 行業落地困境及工業互聯網發展思路，2019 年 11 月 22 日，全球 AIoT 產業· 智能制造峰會在深圳隆重舉行，本次會議由雷鋒網主辦，由深圳市軟件行業協會、深圳市大數據產業協會、深圳市人工智能學會、深圳市人工智能行業協會作為支持單位。

在下午的工業數字化轉型論壇，清華大學軟件學院院長、信息學院副院長、大數據研究中心執行主任王建民首先帶來《大數據系統軟件助力工業數字化轉型》的學術報告。他從工業數字化轉型、大數據系統軟件工程、制造業大數據應用三部分進行報告，在第一部分，王建民院長介紹了工業制造的發展必由之路，并指出工業數字化轉型核心目標是人和裝備之間的有機融合。接下來他在第二部分介紹了大數據軟件技術，目標是能夠挖掘大數據的四個內涵。第三部分分享了一些工業大數據的實際應用。

清華大學軟件學院院長、信息學院副院長、大數據研究中心執行主任王建民

以下為演講實錄：

總地來說，世界變了，制造業變了。這是哈佛大學2014年非常著名的一個論斷，就是信息技帶來了產品的革命，產品升級是全球制造業發展的必由之路。制造不僅僅看一個產品，要看整個產品的運營的生態，并且是跨界的，開始就是一個拖拉機，后來帶上天線，最后要和天氣的數據、種子的數據、農業灌溉的數據聯系起來，這才是現代農業、也是現代的工業，也是現代的服務業，現代工業革命已經模糊了第一、二、三產業。

工業數字化轉型

這個時候制造業出現一個剪刀的曲線，物質產品的市場容量一定是有限的。出路在哪？創新，我做新的產品別人沒有做過。另外一件事是把老的產品用好，做服務，做服務的過程當中再去創新，就是這樣的一個過程。

 今天我們講工業互聯網，其中一個是升級，5G、AloT都是要把產品進行升級，另外我們要更多的產業形態，就像雷鋒網這樣的做知識的傳播、做知識的分享，這也是在助力制造業，也是在做制造業服務。

工業數字化轉型核心目標是人和機器之間的有效融合，我覺得剛才講的升級和轉型當中有一個要素是被忽略了——人。真正講的是人和社會、人和機器和諧的共存。這里人有時要被客體化，是一個很悲慘的事。

這里一方面裝備要擬人化，另一方面人會被客體化為裝備，都在工業生產發展的進程中。這是好還是壞呢？我認為不可阻擋，沒有選擇。這個過程當中最高境界還是人機融合，操作機器的時候讓機器懂我，被機器服務的時候也希望機器懂我，真正的AloT里有機器AI，還有“人的AI”在里面。

今天我講的主題是大數據，四中全會說大數據可以作為生產資料來進行投資、分成，同樣數據也是整個工業數字化轉型的一個關鍵。一會兒有西門子的分享，西門子無疑是工業4.0轉型升級的一個領導者。

不過，大家一直在問，工業大數據和別的大數據有什么區別？下面這句話也許不能代表全部，但是他代表一種觀點。工業大數據一定要和物理的對象結合，這個是工業里最核心要素。工業里有巨大的學問，這種學問很多是領域知識，所以近200年工業文明發展造就了現代社會，如果離開了這個，我們老說是“互聯網的上半場，產業物聯網的下半場”，就沒有太大的區別了。

大數據軟件技術

我是做軟件的，回來再看大數據的軟件技術，用下圖稍微厘清一下我講的內容，今天大家都在講大數據，我個人把它分成了四個方面的含義。

大數據一個含義是大數據集，這是我們采集下來的物化出來的0和1的資產。另外一個是用大數據解決問題，就是大數據應用，數據解決各行各業的問題并創造價值。有一個報道說中國的數字經濟達到了GDP的1/3，規模達到30萬億人民幣。但是2009年谷歌對整個美國的貢獻是5400億美元，我們還是要做很多的功課。我所服務的國家信息安全標準化委員會下設的大數據大數據安全標準化特別工作組，還包括人工智能、區塊鏈，云計算等安全標準化工作。

 我們現在看看大數據的軟件，這是2016年的不完全統計，大數據開源軟件供給側很豐富。問題是這么多的東西無非解決這么簡單的問題，就是說把大象關在冰箱里分五步，采集；然后抽取清洗、標注；再集成聚合；關鍵是分析建模，最后把結果解釋應用。

這五個步驟里面挑戰是什么，有異構的挑戰、規模的挑戰、處理時效性的挑戰、隱私方面的挑戰，還有人機互動協同的挑戰。如果經過這五步就把問題解決了就太幸運了，大數據就變得太簡單了。

實際情況不是這樣的，而是循環的，有時很難走出這個循環，要解決問題要去找現有數據，對數據進行一些理解。在這個時候可能就是好多個循環，常常是能夠用來解決業務問題的數據非常匱乏，企業有很多數據，但是缺乏能夠用來解決問題的數據集。其實在企業做大數據項目的時候，特別是工業企業選題就是個難題，好的選題是成功的一半，往往你找不到好的選題。當然好多人可能沒有做業務理解和數據理解這個循環就直接下去了，那結果風險就很大。

選題大概差不多靠譜后，就做數據的建模。現在我們所謂的機器學習有一個很強的假設是，你的訓練集和應用場景是匹配的，也就是獨立同分布的，但如果這個假設不成立，那模型預測就是不可信的。因為大數據面對未來的事情做預測，未來的數據是不是符合獨立同分布的要求？所以要做模型的評估，如果你的運氣很好，老板不太苛刻的情況下，分析模型很幸運地上線了，那是最好的方案，恭喜你就走出這個泥潭。往往你學習出來的結果和工業現場要求不相符的，比如我想看看計算機主板焊點的質量，人工檢測都已經達到99.99%了，如果你的AI方案達到99.98%，雖然已經到小數點后的第三位了，但是這個不行，因此工業應用場景要求遠遠大于互聯網的精度要求。

我一直在想為什么谷歌推薦能夠賺那么多的錢，PV轉化率據我所知只有千分之二十，但是這在行業里就很牛了，很厲害了。但是如果你在工業應用中準確率只有千分之二十的話，老板不會買賬。為什么說工業場景的數據質量很重要，因為工業場景對數據分析的結果要求高。

怎么樣構建一個數據系統？大數據的應用系統本質特征是個性化，打個比方就是每個大數據應用都是在不斷裝修改造的別墅。BAT在消費互聯網領域很牛了，這個東西要推到產業里頭是不是什么東西都迎刃而解了？大家看看這幾年實現了多少，有多少產業落地了，在你們家用的別墅給別人家用就不適合了，所以這件事情，個性化是核心，怎么樣個性化，這是我們要在方法論層面討論的問題。

 比如伯克利在想能不能研發一個大數據的軟件棧給大家都能夠用，亞馬遜也在想這個問題。亞馬遜從云計算開始到現在大數據和物聯網，非常牛，亞馬遜在問一個什么問題，就是是否存在一個參考架構？這個參考架構在各行各業能用遵循。這么多的工具，剛才我們看了好幾百個主流的工具，有現在的也有原來的，在解決大數據問題的時候，我用什么工具是合適的？我應該怎么樣使用這些工具？然后再問為什么我們要用這些工具？

NIST有一個標準，認為大數據系統應該長成這樣，下面是一個技術棧，上面是數據的生命周期，但是我覺得重要的在于上面有一個System  Orchestrator，如果大家對云計算有了解的話Orchestrator太普通了，但是他在大數據里面有新的含義。

在這種背景下我們大數據系統軟件國家工程實驗室聚焦在以下問題：有沒有一個大數據軟件科學理論，有沒有一個大數據系統開發的軟件工程方法，是否有開發運行平臺與工具支撐，核心是提高大數據軟件構造的生產效率。

今天的制造業發生著工藝與工具的革命，將來的軟件生產一定不是我們今天的“碼農”，一部分用java、C或其他的開發語言，另一方面低代碼開發等未來的軟件生成邏輯，將改變大數據系統構造方式。

 所以我們設計了一個清華數為的可自由組裝的大數據軟件棧。這里面有我們自己核心的功能，核心的構件，這里IoTDB、XLearn、DQuality等都是我們自己研發的。再一個是右邊這個清華數為框架（DWF）非常重要，就是一個大數據系統構造軟件框架，一方面它是低代碼信息化開發環境，另一方面它是大數據軟構件集成的交互總線、控制總線和數據總線。

 如果大數據軟件生態里頭就是老虎、獅子、大象，需要一個訓獸師，每一個節目需要有一個人去協調它，這就是清華數為框架。

工業大數據其實要處理好三個關系，一個是數據的泉，一個是數據的庫，再加上數據的湖。你要把“泉”這件事情搞清楚了，數據泉就是我們今天講的AloT，或者把A去掉也行就是IoT，就是物聯網產生的數據是一個數據泉，今天是一個爆發的產生數據的水龍頭，如果接不住水就跑了。所以今天講IoT得把他連進來，然后還得留下來，所以數據的泉是一個重要的鮮活的數據來源，是一個實時的、在線的東西。數據的庫是信息化重要技術，把人產生的數據放在庫里頭，結構化的數據放在庫里頭。

 今天我們講數據的湖，好多企業說現在我在建數據湖，我認為錯了，數據湖不是你建的，這是自然形成的。這些泉、庫都在你企業里頭了，也許當時你也不知道如何組織這些數據，然后形成了數據的湖了，數據的湖是需要治理的，才能夠把有用的數據“釣”出來。

“泉、庫、湖”，中間有一個數據中臺的東西，一會兒再講數據中臺是什么。這個過程當中DWF清華數為框架，一個作為大數據系統的協調器，把各個組件協調起來，另外一個是支持信息化應用的低號碼量開發，讓更多的業務人員可以用他來做數據的處理。還有一個解決數據泉的問題，要把物聯網的應用變成一個組態的軟件，把這些采集的數據給收回來。

低代碼做的就是軟件定制部署，特別是大數據的軟件不是一成不變的，總有新的需求，我們能不能有一個低代碼量的軟件開發的這樣一種形式，前天我們在清華做第一期的培訓，來了人不多大概50個左右的企業的人員，我們就在檢驗我們低代碼開發的這樣一個交互環境，能不能讓非軟件專業的人也能用，以適應企業業務的頻繁變化。

數據的湖不是我們期望的，它是指根本沒有組織或者沒有被良好組織起來的一組數據集，是一種缺少秩序的東西，在這里面人只能像釣魚一樣“釣”出有用的數據，這些里面有些地方是營養不太好的，甚至有些地方的數據是有毒的，怎么鑒別出來？怎么治理？

現在看數據中臺，大家一定要想清楚什么是數據后臺，否則中臺和后臺的關系不厘清，數據治理就是亂的。現在數據中臺很熱，大家要小心，可能變成一個陷阱。首先要把數據后臺能夠發揮出來的能力發揮到極致，實在不能滿足需要的時候，你按需建數據中臺，今天千萬別上來就建一個很厚的、很重的中臺，將來可能需要去交學費的。在這里面我們要理清楚這些基本的概念，然后企業把他的數據治理在清華數為框架下得以實現。

這里面我們有一個案例，這是一個頭盔，為什么要做頭盔，就是要把人集成在互聯網里面。這是一個維修工，戴著這個頭盔之后老板就知道他在怎么樣做維修，后面還有一個具體的，透過這個我們就知道我們在工業大數據里頭，要把傳統的信息化的數據拿進來，要把現在的物聯網的數據拿進來，還要把很多你跨界的數據拿進來，然后用人工智能的辦法去理解它，這個頭盔上面就有行為識別。這是介紹了數據湖的一個框架。

下面我講數據泉的治理框架。清華大學開發了一個物聯網數據庫，Apache IoTDB，其實叫數據庫這個名字并不確切，因為他可以把傳感器等端上的數據形成一種持續的格式文件TsFile—CLI，進入到上位機的數據庫，然后還是這個數據文件格式進到云AI處理環境，支持物聯網數據的全生命周期使用。

IoTDB 這個代碼為什么要開源？現在到了一個共享的時代，大學也不例外，我們在前年做了國際學科評估，大家覺得一所有影響大學的軟件學科要看你的軟件制品，老百姓能不能看得見、用得上。IoTDB是可以放在端上面，可以放在工控機、場控機上面，也可以放到云上面，TsFile一個文件格式打通從端到云的文件。

2018年11月份我們正式貢獻給Apache社區。這次開源經歷給了我們非常大的鼓勵，真正開放的環境下面有創新，不是我們一個團隊在戰斗，大家會看到深圳的深信服給了我們非常好的深度的測試，包括聯想、海爾，像一些大學，包括德國創業的企業，深圳是一個特別好的地方，深圳是一個創新活力特別強的地方，我們大家一起把IoTDB開源項目共創起來，是非常有意義的。

有了物聯網，然后有了前面的數據治理，然后就是Al了，怎么樣把它處理起來，我們有一個機器學習的平臺叫做Xlearn，不過名字重了，我們準備要把它改名。它是服務整個生命周期的，從打標注開始。當前機器學習核心問題之一，是希望具有能夠舉一反三有遷移學習的能力，我們在國際上提前布局了相關工作。在數據可視化交互探索上面我們也有工具AutoVis。

制造業大數據應用

今天的AloT我認為就是這五個階段的融合，一個是物聯網階段的數據采集，另外一個是信息化階段的全類型數據的管理，然后到原來稱為BI的報表，然后到當前AI當中的機器學習，今天我們講的AloT就是把這些技術的一個綜合的應用。

現在分享幾個案例：第一個就是在裝備制造服務方面，我們跟河北天遠合作，他服務于小松、康明斯這樣世界500強企業。舉個例子，通過發動機里采集的數據，精準分析油耗。會看到兩個司機，他的經濟性是不一樣的，深綠的是差的，淺黃的是好的，通過油耗經濟型分析，你就知道這兩個司機每個司機應該給他多少錢。

第二個，很多的工程機械要做租賃，這個人到底挖了多少斗的土，有多少的土方，原來是很難計量的。操作手戴上智能安全帽以后，就知道結帳的時候他今天應該領多少錢。

第三個，很多的工程裝備都在荒郊野外，維護人員是不是很負責任地做了維修保養，老板原來只能聽匯報，今天不一樣了，戴上智能頭盔，老板就知道他怎么打的黃油，這個黃油槍在挖掘機的A、B、C、D這幾個關鍵的部位有沒有保養到位，你就知道了，數據就創造了價值。

還有臺灣英業達生產線大數據分析，這個回流焊里面有很多的數據。請大家看這里面的場景，有時候電子器件要偏移，有時候要立碑，有的爬錫，這些缺欠的檢測靠的就是工業大數據和工業的AI。

 最后我們看看跨界大數據應用的情形，大家知道風電、太陽能都是靠天吃飯的，看風力多大，看今天的太陽多大，這些來源于自然，所以要靠氣象預報。為了做這件事情，我們和中央氣象臺做了一個云的外推的方法，取得了國際一流的成果，并完成了業務化。

最后，再次強調我們團隊的使命，是讓產業界可以非常低成本地構建大數據的應用軟件，讓工業界有效地搜集存儲并且分析工業物聯網的數據，并有效降低大數據分析處理的門檻。

我的分享就到這兒，謝謝大家！

加「雷鋒網」公眾號，發關鍵詞「2019 AIoT峰會—清華大學」，獲取本文精彩演講PPT。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。