• <track id="oztn4"></track>
    <sup id="oztn4"><form id="oztn4"></form></sup>
    
    
    <mark id="oztn4"></mark>
  • <dfn id="oztn4"><samp id="oztn4"></samp></dfn>
      《地爆天星小姐》电影 ,麦子交换2免费观看2023年上映时间表 ,莫妮卡《爱我几何》,大牛影库战狼6欧式少女全部视频,三年大片国语版在线看,日本空姐电视剧,电影魔镜号中文字幕,和部长一起去出差旅是第几集
      全球「AI學術頂會」精華匯聚地
      您正在使用IE低版瀏覽器,為了您的雷峰網賬號安全和更好的產品體驗,強烈建議使用更快更安全的瀏覽器
      此為臨時鏈接,僅用于文章預覽,將在時失效
      人工智能 正文
      發私信給叢末
      發送

      0

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      本文作者: 叢末 2018-09-13 15:08
      導語:附地平線2019年招聘解讀!

      隨著這幾年神經網絡和硬件(GPU)的迅猛發展,深度學習在包括互聯網,金融,駕駛,安防等很多行業都得到了廣泛的應用。然而在實際部署的時候,許多場景例如無人駕駛,安防等對設備在功耗,成本,散熱性等方面都有額外的限制,導致了無法大規模應用深度學習解決方案。

      近日,在雷鋒網 (公眾號:雷鋒網) AI 研習社第 2 期職播間上,地平線初創人員黃李超就介紹了 AI 芯片的背景以及怎么從算法角度去設計適合嵌入式平臺高效的神經網絡模型,并應用于視覺任務中。之后地平線的 HR 也進行了招聘宣講,并為大家進行了招聘解讀。公開課回放視頻網址:http://www.mooc.ai/course/537/thread?page=3?=aitechtalkhuanglichaokhuanglichao

      黃李超:本科畢業于中山大學,在帝國理工碩士畢業之后于 2014 年加入了百度深度學習研究院,期間研發了最早的基于全卷積網絡的目標檢測算法——DenseBox,并在 KITTI、FDDB 等特定物體檢測數據集上長期保持第一名。 2015 年,他作為初創人員加入地平線,現研究方向包括深度學習系統研發,以及計算機視覺中物體檢測,語義分割等方向。

      分享主題:面向低功耗 AI 芯片上視覺任務的神經網絡設計

      分享提綱:

      1. 介紹當前 AI 芯片概況,包括現有的深度學習硬件發展情況,以及為何要為神經網絡去設計專用芯片。

      2. 從算法角度,講解如何設計高性能的神經網絡結構,使其既滿足嵌入式設備的低功耗要求,又滿足應用場景下的性能要求。

      3. 分享高性價比的神經網絡,在計算機視覺領域的應用,包括實時的物體檢測,語義分割等。

      4. 地平線 2019 年最全的校招政策解讀。

      雷鋒網 AI 研習社將其分享內容整理如下:

      今天,我將從以下三個方面來進行分享:

      第一,當前 AI 芯片發展的現狀。這里的 AI 芯片并不是單指狹義的 AI 專用芯片,而是指廣義上包括 GPU 在內所有可以承載 AI 運算的硬件平臺。

      第二,在嵌入式設備的環境下如何設計高效的神經網絡。這里我使用的案例都選自業界中比較重要的一些工作——也有一部分來自我們的地平線。同時這一節大部分的工作都已經落地到實際應用場景。

      第三,算法+硬件在計算機應用上的一些成果。

      介紹 AI 芯片之前,先介紹 AI 的大環境。大家都知道現在是機器學習時代,其中最具代表性的是深度學習,它大大促進圖像、語音、自然語言處理方面的發展,同時也給很多行業帶來了社會級的影響。例如在社交網絡的推薦系統、自動駕駛、醫療圖像等領域,都用到了神經圖像技術,其中,在圖像醫療,機器的準確率甚至大大超過了人類。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      從整個互聯網發展的情況來看,我們先后經歷了 PC 互聯網、移動互聯網時代,而接下來我們最有可能進入一個智能萬物互聯的時代。PC 時代主要解決信息的聯通問題,移動互聯網時代則讓通訊設備小型化,讓信息聯通變得觸手可及。我相信在未來,所有的設備除了能夠互聯之外,還能擁有智能:即設備能夠自主感知環節,并且能根據環境做出判斷和控制。現在我們其實看到了很多未來的雛形,比如無人車、無人機、人臉開卡支付等等。不過,要讓所有設備都擁有智能,自然會對人工智能這一方向提出更多要求,迎接更多的挑戰,包括算法、硬件等方面。

      大規模運用深度學習需要去應對很多挑戰。首先從算法和軟件上看,如果把 AI 和深度學習用在某個行業中,需要對這個行業的場景有深入的理解。場景中也有很多痛點需要去解決,但是是否一定要用深度學習去解決呢?在特定場景下,往往需要具備能耗比、性價比的解決方案,而不是一個僅僅能夠刷數據集的算法。隨著這幾年算法的快速發展,人們對 AI 的期望也在不斷提高,算法的發展是否能跟上大家的期望,這也是一個問題。

      從硬件上看,當前硬件的發展已經難以匹配當前深度學習對于計算資源的需求,特別是在一些應用場景中,成本和功耗都是受限的,缺少低成本、低功耗、高性能的硬件平臺直接制約了 AI 技術和深度學習方案的大規模應用,這也是我們地平線致力于解決的行業難題。

      當前 AI 芯片發展的現狀

      接下來我們介紹一下 AI 硬件的一些情況。大家都知道,最早神經網絡是運行在 CPU 上的。但是 CPU 并不能非常高效地去運行神經網絡,因為 CPU 是為通用計算而設計的,而且其計算方式以串行為主——雖然一些運行指令可以同時處理較多數據。除此之外,CPU 在設計上也花了很多精力去優化多級緩存,使得程序能夠相對高效地讀寫數據,但是這種緩存設計對神經網絡來講并沒有太大的必要。另外,CPU 上也做了很多其他優化,如分支預測等,這些都是讓通用的運算更加高效,但是對神經網絡來說都是額外的開銷。所以神經網絡適合用什么樣的硬件結構呢?

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      在講這個問題之前,我們先從神經網絡的特性說起:

      第一,神經網絡的運算具有大規模的并行性,要求每個神經元都可以獨立并行計算;

      第二,神經網絡運算的基本單元主要還是相乘累加,這就要求硬件必須有足夠多的運算單元;

      第三,神經元每一次運算都會產生很多中間結果,這些中間結果最后并不會復用,這就要求設備有足夠的帶寬。一個理想的設備,它應該有就比較大的片上存儲,并且帶寬也要足夠,這樣才能放下網絡的權重和網絡的輸入;

      第四,由于神經網絡對計算的精度并沒有那么敏感,所以在硬件設計的時候可以使用更簡單的數據類型,比如整型或者 16bit 的浮點數。因此,這幾年大家使用的神經網絡解決方案,都是 CPU+比較適合于神經網絡運算的硬件(可以是 GPU、DSP、FPGA、TPU、ASIC 等)組成異構的計算平臺。

      最常用的方案是 CPU+GPU,這個是深度學習訓練的一個標配,好處是算力和吞吐量大,而且編程比較容易,但是它存在的問題是,GPU 的功耗比較高,延遲比較大,特別是在應用部署領域的場景下,幾乎沒有人會用服務器級別的 GPU。

      應用場景下用的更多的方案是 FPGA 或者 DSP,它們功耗比 GPU 低很多,但是相對的開發成本較大。DSP 依賴專用的指令集,它也會隨著 DSP 的型號變化有所差異。FPGA 則是用硬件語言去開發,開發難度會更大。其實也有一起企業會用 CPU+FPGA 去搭建訓練平臺,來緩解 GPU 訓練部署的功耗問題。

      雖然剛剛提了很多神經網絡加速的解決方案,但是最合適的還是 CPU+專用芯片。我們需要專用 AI 芯片的主要原因是: 雖然現在的硬件工藝不斷在發展,但是發展的速度很難滿足深度學習對計算力的需求。其中,最重要有兩點:

      第一,過去人們認為晶體管的尺寸變小,功耗也會變小,所以在相同面積下,它的功耗能保持基本不變,但其實這條定律在 2006 年的時候就已經終結了

      第二點,我們熟悉的摩爾定律其實在這幾年也已經終結了。

      我們可以看到芯片在這幾年工藝的發展變得越來越慢,因此我們需要依靠專門的芯片架構去提升神經網絡對計算平臺的需求。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      最著名的的一個例子就是 Google 的 TPU,第一版在 2013 年開始開發,歷時大約 15 個月。TPU 里面使用了大量乘法單元,有 256*256 個 8 位的乘法器;片上有 28MB 的緩存,能夠存儲網絡的參數和輸入。同時,TPU 上的數據和指令經過 PCN 總線一起發過來,然后經過片上內存重新排布,最后計算完放回緩沖區,最后直接輸出。第一版 TPU 有 92TOPS 的運算能力,但是只針對于神經網絡的前向預測,支持的網絡類型也很有限,主要以多層感知器為主。

      而在第二版的 TPU 里面,已經能夠支持訓練、預測,也能夠使用浮點數進行訓練,單個 TPU 就有 45TFLOPS 的算力,比 GPU 要大得多。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      其實我們地平線也研發了專用的 AI 芯片,叫做 BPU,第一代從 2015 年開始設計,到 2017 年最終流片回來,有兩個系列——旭日和征程系列,都針對圖像和視頻任務的計算,包括圖像分類、物體檢測、在線跟蹤等,作為一個神經網絡協處理器,側重于嵌入式的高性能、低功耗、低成本的方案。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      比較值得一提的是,我們在我們的 BPU 架構上設計了彈性的 Tensor Core,它能夠把圖像計算所需要的基本單元,常用操作例如卷積、Pooling 等硬件化,非常高效地去執行這些操作。中間通過數據路由橋(Data Routing Bridge)從片上讀取數據,并負責數據的傳輸和調度,同時,整個數據存儲資源和計算資源都可以通過編輯器輸出的指令來執行調度,從而實現更靈活地算法,包括各種類型的模型結構以及不同的任務。

      總的來說,CPU+專用硬件是當前神經網絡加速的一個較好的解決方案。針對專用硬件,我們可以根據功耗、開發容易度和靈活性進行排序,其能耗跟其他兩者(開發容易度和靈活性)是相互矛盾的——芯片的能效比非常高,但是它的開發難度和靈活度最低。

      如何設計高效的神經網絡

      說了這么多硬件知識,接下來我們討論怎么樣從算法角度,也就是從神經網絡設計的角度去談怎么加速神經網絡。相信這個也是大家比較關心的問題。

      我們先看 AI 解決方案,它從數據處理的方式可以分為云端 AI 和前端 AI。云端 AI 是說我們把計算放在遠程服務器上去執行,然后把結果傳到本地,這個就要求設備能夠時刻連接網絡。前端 AI 是指設備本身就能夠進行計算,不需要聯網,其在安全性、實時性、適用性都會比云端 AI 更有優勢,而有一些場景下,也只能使用嵌入式的前端 AI 去解決。

      嵌入式前端的場景落地難點在于功耗、成本和算力都是有限的。以網絡攝像頭即 IP Camera 為例,它通過網線供電,所以功耗只有 12.5 瓦,而常用的嵌入式 GPU——Nvidia TX2,為 10-15 瓦。另外這個 TX2 雖然在計算資源、算力方面都比較強,能達到 1.5T,但它的價格是 400 美元,對于很多嵌入式方案來說都是不可接受的。因此要做好前端嵌入式方案,我們需要在給定的功耗、算力下,最大限度地去優化算法和神經網絡模型,達到符合場景落地的需求。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      我們加速神經網絡的最終目標是:讓網絡在保持不錯的性能下,盡量去降低計算代價和帶寬需求。常用的一些方法有:網絡量化、網絡減支和參數共享、知識蒸餾以及模型結構優化,其中,量化和模型結構優化是目前看來最有效的方式,在業界也得到比較廣泛的應用。接下來會重點講一下這幾個方法。

      第一個是量化,它是指將連續的變量通過近似從而離散化。其實在計算機中,所有的數值表示都是離散化的,包括浮點數等,但是神經網絡中的量化,是指用更低 bit 的數字去運行神經網絡,而是不是直接使用 32bit 的浮點數(去運行神經網絡)。近幾年的一些研究發現,其實數值表達的精度對神經網絡并沒有太大的影響,所以常用的做法是使用 16bit 的浮點數去代替 32bit 的浮點數來進行計算,包括訓練和前項預測。這個在 GPU 以及 Google 的 TPU 第二代中已經被廣泛采用。此外,我們甚至發現,用半精度浮點數去訓練數據,有時候還能得到更好的識別性能。實際上,量化本身就是對數據集正則化的一種方式,可以增加模型的泛化能力。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      此外,我們還可以將數據精度進行進一步壓縮使用,將 8 bit 的整數作為計算的計算單元,包括訓練和前項預測,這樣帶寬就只有 32bit 浮點數的四分之一,這類方法近年來也有不少工作,且已被業界所采用,比如 Tensorflow Lite 已經支持訓練時模擬 8bit 整數的運算,部署時真正采用 8 bit 整數去代替,其在浮點和圖像分類的性能上相當。我們地平線也有類似的工作,訓練工具也是用 Int 8 bit 去訓練、預測,并且我們的芯片支持 MXNet 和 TensorFlow 框架訓練出來的模型。

      能不能把精度壓得更低呢,4 bit、2bit 甚至 1 bit?也是有的,但是會帶來精度的極大損失,所以沒被采用。

      量化神經網絡模型分為神經網絡的權重量化、神經網絡特征的量化。權重量化對于結果輸出的損失比較小,特征量化其實對模型的輸出損失會比較大,另外,大模型和小模型的量化造成的損失也不一樣,大模型如 VGG16、AlexNet 這種網絡模型,量化后幾乎沒有損失;而小模型則會有一些損失。現在 8bit 參數和特征量化可以說是一個比較成熟的方案,基本上可以做到跟浮點一樣好,并且對硬件也更加友好。下面這個表,是在 Image Net 數據集上的進行的量化結果的評測,也是 Google Tensorflow Lite 的量化方案與我們地平線內部的量化方案的一個對比。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      我們可以看到,無論是哪一家的方案,損失其實都非常小,其中,小模型 MobileNet 0.25 在 Image Net 的損失方面,Google 在 1.6% 左右,而我們的量化方案能夠維持在 0.5% 以內。同時我們這個量化方案在 2016 年就已經成熟了,而 Google 的去年才放出來,從這個角度上講,我們這方面在業界內是領先的。

      除了量化,模型加速還可以通過模型剪枝和參數共享實現。一個典型的案例就是韓松博士的代表性工作——Deep Compression。減支可以是對整個卷積核、卷積核中的某些通道以及卷積核內部任意權重的剪枝,這里就不多說,大家有興趣可以去看一下原論文。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      與網絡量化相比,剪枝和參數共享從應用角度上來看,并非一個好的解決方案。因為關于剪枝方面的研究,現在這些論文在大模型上做的比較多,所以在大模型上效果比較好,但是在小模型上的損失比較大,當然我們這里說的小模型是比 MobileNet 等模型更小的一些模型。另外,剪枝所帶來的數據稀疏(任意結構稀疏),通常需要一個明顯的稀疏比例才能帶來一個實質性的的加速。結構化的稀疏加速比相對更容易達到,但是結構化的稀疏比較難訓練。同時從硬件角度上講,如果要高效地運行稀疏化的網絡結構或者帶共享的網絡,就要專門設計硬件去支持它,而這個開發成本也比較高。

      知識蒸餾也是很常用的壓縮模型方法,它的思想很想簡單,用一個小模型去學習一個大模型,從而讓小模型也能實現大模型的效果,大模型在這里一般叫 Teacher net,小模型叫 Student net,學習的目標包括最終輸出層,網絡中間的特征結果,以及網絡的連接方式等。知識蒸餾本質上是一種遷移學習,只能起到錦上添花的作用,比直接用數據去訓練小模型的效果要好。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      最后講一講模型結構優化,它是對模型加速最有效的方式。下圖可以看到從最初的 AlexNet 到今年的 MobileNetV2,參數已經從原來的 240MB 縮小到 35MB,模型的計算量也有了一定的減少,但是在圖像分類的準確率上,從 57% 提到到了 75%,模型結構優化最直接的方式就是,有經驗的工程師去探索小模型結構,而這些年來也有通過機器去進行搜索模型結構的工作。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      接下來講一下在模型結構優化中,怎么去設計一個高效的神經網絡結構,它需要遵循的一些基本原則。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      首先,要糾正幾個誤區:第一,是不是小模型跑得比大模型快?這個顯然是不成立,我們可以看下圖中 Google Net 和 AlexNet 箭頭指向的方向,AlexNet 顯然大一些,但它比 Google Net 跑得快一些,計算量更小一些。第二,網絡計算量小是不是就跑得更快呢?其實也不是,因為最終的運行速度取決于計算量和帶寬,計算量只是決定運行速度的一個因素。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      所以說,一個好的、跑起來比較快的神經網絡結構,必須要平衡計算量和帶寬的需求,這里我們跟隨 ShuffleNetV2 論文的一些觀點——雖然這個并不是我們的工作,但是文章寫得很好,其中有不少觀點也和我們在模型結構優化過程中得到的一些結論是一樣的。在分析的時候,我們以 1x1 的卷積為例,假設所有的參數和輸入輸出特征都可以被放到緩存當中,我們需要特別關注的是卷積的計算量——用 FLOPs(Float-Point Operations) 即浮點數的操作次數去表述,帶寬用 MAC(Memorry Access Cost) 即內存訪問的次數去表示。同時,我們需要額外關注的是帶寬和計算量的比。對于嵌入式的設備來講,帶寬往往是瓶頸。拿 Nvidia 的嵌入式平臺 TX2 為例,它的帶寬比上計算力大概是 1:26。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      第一,要分析一下輸入通道數、輸出通道數以及輸入大小對帶寬和計算量的影響,ShuffleNetV2 提出的準則第一條是,在同等的計算量下、輸入通道數和輸出通道數下,帶寬是最節省的,公式為:地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期。其實輸入通道、輸出通道和輸入大小任意一個過小的話,對帶寬都會產生不友好的影響,并且會花很多時間去讀取參數而不是真正去計算。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      第二,卷積中 Group 的個數又對性能有什么影響呢?ShuffleNetV2 這篇文章指出,過多的 Group 個數會增加單位計算量的帶寬,我們可以看到計算量的帶寬和 Group 的個數近似為正比。從這一點上來看,MobileNet 里頭的 Depthwise Convolution 實際上是一個帶寬需求量非常大的操作,因為帶寬和計算量的比值接近于 2。而實際運用的時候,只要帶寬允許,我們還是可以適當增加 GROUP 個數來節省計算量,因為很多時候,帶寬實際上是沒有跑滿的。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      第三,ShuffleNetV2 說到的第三條準則是,過度的網絡碎片化會降低硬件的并行度,這就是說,我們需要思考 operator 的個數對于最后運行速度的影響。其實 ShuffleNetV2 這種觀點不夠嚴謹,準確來說,我們需要把 operator 分為兩類:一類是可以并行的(如左圖),兩個框可以并行計算,concat 的內存也可以提前分配好;另一類是必須串行去進行計算,沒有辦法并行的 operator 則會降低硬件的并行度。對于硬件來說,可以并行的 operator 可以通過指令調度來充分利用硬件的并行能力。從這條準測上看,DenseNet 這種網絡結構在應用實際上非常不友好。它每次的卷積操作計算量很小,而且每次計算需要依賴先前所有的結果,操作之間不能并行化,跑起來很慢。另外,太深的網絡跑起來也比較慢。

      最后,ShuffleNetV2 也指出,Element-wise 對于速度的影響也是不可忽視的——一定程度上可以這么說。因為 Element-wise 雖然計算量很小,但是它的帶寬需求比較大。其實如果把 Element-wise 的操作和卷積結合在一起,那么 Element-wise 的操作對最后帶寬帶來的影響幾乎為 0。常用的例子是,我們可以把卷積、激活函數和 BN 放在一起,這樣的話,數據可以只讀一次。

      講到這里,我們做一下總結,設計高效的神經網絡,我們需要盡可能讓 operator 做并行化計算,同時去減少帶寬的需求,因為最后的速度由帶寬和計算量共同決定的,所以這兩者哪個存在瓶頸,都會制約運行速度。

      過去優化神經網絡結構往往依靠非常有經驗的工程師去調參,我們能不能直接讓機器去自動搜尋網絡結構呢?

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      其實也是可以的,比如說 Google 前段時間進行一項工作叫 NASNet,就是通過強化學習,把圖像分類的準確率和網絡本身的計算量作為反饋,去訓練網絡結構生成器,讓網絡結構生成器去生成比較好的網絡結構。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      Google 的這項工作大概用了 450 GPUs 和 4 天,搜索出了性能和計算量都還不錯的網絡結構,這兩個圖是網絡結構的基本單元。然而,通過我們之前的分析,它這兩個基本單元肯定是跑不快的,因為操作太零碎,而且很多操作沒有辦法并行。所以對于搜索網絡結構,考慮真實的運行速度是一個更合適的選擇。所以就有了后續的工作,叫做 MnasNet。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期



      Google 這次直接把手機上的運行速度作為強化網絡的反饋。我們可以看到用這種方法搜索出來的網絡結構合理很多,同時性能也比之前稍微好一些。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期


      在同時期,我們也有進行了類似的工作——RENAS,它實際上借鑒了 NASNet,但我們側重于去解決搜索效率低下的問題。和 NASNet 不同,我們采用進化算法搜索網絡結構,同時用強化學習去學習進化的策略。工作方式的鏈接放在上面,大家感興趣也可以去看一下。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      RENAS 的一個優點是,它的網絡搜索的效率要高得多:我們用了 4GPU 和 1.5 天就搜出比 NASNet 更好的結構。不過它的缺點也跟 NASNet 一樣,都用了計算量作為一個衡量指標,因此它搜索出來的所有結果只是計算量低,但是運行速度并不一定特別快。

      算法+硬件在計算機應用上的一些成果

      講了這么多,最后我們可以展示一下,經過優化后的網絡在主流視覺任務上的應用效果:

      最常見的圖像級別的感知任務比如圖像分類、人臉識別等,由于它們輸入比較小,所以整體計算量并不大,對于網路的效率要求也沒有那么苛刻。而在圖像分類以外的工作比如物體檢測 語義分割等等,它們的輸入比圖像分類大得多,往往在 1280x720 這種分辨率或者更大的分辨率。MobileNet 或者 ShuffleNet 在這個分辨率下的計算量,還是挺高的。另外在物體檢測、語義分割的問題當中,尺度是一個要考慮的因素,所以我們在設計網絡的時候,要針對尺度問題做一些額外的配置,包括并引入更多分支,調整合適的感受野等等。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      對于物體檢測、語義分割任務,我們專門設置了一個網絡結構,它的大概樣子如上圖中的右圖所示,特點是我們使用了很多跨尺度的特征融合模塊,使網絡能夠處理不同尺度的物體,另外,我們這個網絡的基本單元都遵循了簡單、高效的原則,用硬件最友好、最容易實現的操作去組建基本模塊。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      我們在一些公開數據集上測試了這個模型的性能,主要有兩個數據集,一個是 Cityscapes,它是語義分割數據集,圖像分辨率很大,原始圖像分辨率為 2048x1024,標注有 19 類。在這些數據集上,我們的網絡跟曠世最新的一篇論文 BiSeNet 做比較——BiSeNet 是目前能夠找到的在語義分割領域中速度最快的一個方法,它的計算在右邊的表格中,其中的計算模型*Xception39 在 640x320 的分辨率,大概需要 2.9G 的計算量,而我們的一個小模型在同等規模的輸入下,達到幾乎一樣的效果,只需要 0.55G 的計算量。

      同時,在性能上,——語義分割里面我們用 mIoU 作為指標,在 2048x1 024 的分辨率下,我們稍微大一點點的網絡跟 Xception39 非常接近。我們的網絡還在 KITTI 數據集上做了一個測試,它的分辨率大概為 1300x300 多,特別是車和人的檢測任務上所表現出來的性能,和 Faster RCNN,SSD,YOLO 等常見的方法的模型相比,具有非常高的性價比。

      下面展示一下我們算法在 FPGA 平臺上實施的一個 Demo。

      我們這個網絡同時去做物體檢測和語義分割,以及人體姿態估計。FPGA 也是我們第二代芯片的一個原型,第二代芯片年底會流片回來,單塊芯片性能會是 FPGA 這個平臺的 2-4 倍。這個數據是在美國的拉斯維加斯采集的,除了人體姿態的檢測,我們還做了車載三維關鍵點定位,它的運行速度可以達到實時,也作為我們重要的產品在車廠中使用。Demo 只是我們工作的冰山一角,我們還有很多其他的方向的工作,比如智能攝像頭、商業場景下的應用,目標是為萬物賦予智能,從而讓我們的生活更美好。這是我們的宣傳片,相信大家在進職播間的時候都已經看過了。

      最后回歸本次做直播的一項非常重要的目的——校招。我們今年的校招馬上要開始了,接下來由 HR 姐姐來介紹一下地平線招聘的情況。

      地平線 2019 年最全的校招政策解讀

      大家好,我是地平線負責招聘的 HR 趙紅娟,接下來我來整體介紹一下公司的情況以及校招流程。

      地平線(「公司」)是國際領先的嵌入式人工智能(「AI」)平臺的提供商。公司基于自主研發人工智能芯片和算法軟件,以智能駕駛,智慧城市和智慧零售為主要應用場景,提供給客戶開放的軟硬件平臺和應用解決方案。經過三年的發展,地平線現在有 700-800 的正式員工,加上實習生,大概有 900 人左右。同時,公司 70% 多的員工都是研發人員,我們的平均工業界經驗為 7 年左右。

      我們公司的技術團隊實力雄厚,除了國內的各大廠之外,同時也有來自如 Facebook、華為、高通等國際知名企業的成員。目前,我們的業務橫跨「軟+硬,端+云」領域,后續會持續深耕嵌入式人工智能。

      目前,我們也對已經確立的業務方向內部做了一個總結歸類,叫「一核三翼」,「核」是指我們的芯片,應用到智能駕駛、智慧城市和智慧零售三個領域。其中,智慧城市主要是泛安防領域——這是一個非常有潛力的市場,而我們的智慧零售的具體方向是基于我們嵌入式人工智能芯片技術,將線下零售數據線上化、數據化,為零售管理者提供多層次解決方案。

      下面進入關鍵點,即我們希望什么樣的同學加入?用幾個詞來概括就是:Dedicated、 Hands-on、 Team working。

      我們能夠提供給大家什么呢?這也是大家比較感興趣的點。我將從職位、工作地點和福利三個方向講一下。

      職位方向有算法、軟件、芯片、硬件、產品五大方向。

      工作地點,總部在北京,同時在、南京、上海、廈門、深圳、杭州、硅谷都有 office,大家可以選擇自己喜歡的城市。

      福利則包括:

      1.    拿到校招 Offer 的同學,畢業前能來地平線實習,可以享受到跟畢業以后正式員工相同的薪酬標準;

      2.    試用期結束以后,所有畢業生統一組織轉正答辯,根據轉正答辯成績有推薦大家去參加各種國際頂級會議,或者前往硅谷工作或參觀等諸多開眼界的機會。

       3.    針對大家從學生到職場人的轉型,我們會提供升級版地平線大學,助力職業生涯發展。地平線大學分為必修課和選修課,同時會有常用的禮儀方面的培訓

      4.    其他福利其他公司可能都有,但是我們公司會更貼心,比如電競椅、升降桌,補充醫療、入職&年度體檢、全天零食供應、餐補、交通補、租房補貼、帶薪年假 10 天、產假 6 個月、陪產假 15 天、多彩 offsite、各種興趣社團等等。

      最后,我們附上校招通關秘籍:

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      宣講學校:東南大學、哈爾濱工業大學、華中科技大學、南京大學、清華大學、上海交通大學、西安交通大學、浙江大學、中國科學技術大學和 中國科學院大學等十所學校。

      校招流程:宣講會當天筆試,當晚出筆試成績,隔天進行面試,面試通過就會發錄用意向書,十一后發正式 Offer。

      簡歷投遞方式:包括網申和宣講會現場投簡歷。

      總之,地平線非常重視校招生及其培養,希望給大家更好的發展空間,培養一代又一代的地平線人,為公司創造更大的價值,為科技進步貢獻自己的力量!

      下面是中科院站的宣講群二維碼,歡迎同學們前來圍觀。

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      分享結束后,兩位嘉賓還對同學們提出的問題進行了回答,大家可以移步社區(http://www.gair.link/page/blogDetail/8437)進行詳細了解。

      以上就是本期嘉賓的全部分享內容。更多公開課視頻請到雷鋒網 AI 研習社社區觀看。關注微信公眾號:AI 研習社(okweiwu),可獲取最新公開課直播時間預告。


      附:問答環節

      技術類問題:

      1.地平線之前應該基于 FPGA 做過一些駕駛輔助相關的產品吧?實時性大概可以做到多少?第二代芯片在此基礎上能夠提升 2~4 倍嗎?

      做過,能做到 20 幀每秒以上。是的。

      2.地平線在車道檢測上有沒有比較好的方案?

      如果你感興趣的話,可以來地平線參觀參觀,一起聊一聊。

      3.輕量級網絡模型有哪些?

      有一些專門討論輕量級網絡的文章,比如 MobileNet 和 ShuffleNet 這類文章,都會提供計算量和性能的指標,直接拿來用就可以了。文章也會提供一些物體檢測和語義分割的 baseline,你可以把輕量級網絡稍微改造一下,就可以用在這些任務上。

      4.地平線有相關 Paper 發表嗎?

      地平線內部工作可以分為兩類,一類是探索性的工作,這部分工作我們會有實習生發表一些論文;另一類是優化的工作,并沒有發表論文。

      5.貴公司現在都是專用芯片?以后有可能有通用芯片賣給用戶跑自己的模型嗎?

      自己訓練的網絡當然能在我們自己的芯片上跑,在芯片上跑是我們訓練網絡最重要的一個目的。但是,我們以后也會公開,兼容去跑一些其他的模型。

      6.Tensorflow 和騰訊的嵌入式優化有什么區別?

      Tensorflow 的系統和社區很龐大,相關知識文檔和模型也比較完善,騰訊的這個嵌入式設備上優化得很好,可能比 Tensorflow 好一些,輕量級一些,看大家的取舍吧。

      7.產品落地需要考慮小目標檢測嗎?

      小目標檢測這個問題在產品落地的時候肯定是需要考慮的,因為很多時候車輛檢測任務,客戶對你的算法需求是檢測到 100 米甚至 150 米的車,而在常規的廣角攝像頭下,檢測的圖像大概只有十幾的像素了。

      校招相關問題:

      1.招 2020 屆應屆生嗎?

      當然可以,非常歡迎。2020 屆同學可以先申請實習,以后可以參加 2020 屆的校招。我們明年會在夏天安排招聘會,專門針對 2020 屆畢業生。并且,我們長期招聘實習生。

      2.社招有嗎?社招有筆試嗎?

      也有,大家可以通過網申投遞。一般情況下,社招沒有筆試,但是針對工程專業的同學,我們會考察你們的代碼功底。

      3.杭州有什么崗位?是新開的分部嗎?

      明年在杭州開設 office,大部分職位都是開放的,目前我們沒有職位的限制

      4.工程院和研究院有崗位嗎?

      工程院在北京和南京都有職位,南京研究院也在招實習生。

      5.具體職位要求是什么?

      具體職位要求大家可以去我們發布的職位招聘網站上看一下。

      附上校招網申地址:http://hobot.zhiye.com/Campus

      6.非 985 學校的學術要嗎?有學歷要求嗎?

      我們對所有學校的學生都開放,不限大家是本科生、研究生以及是否 985 院校畢業生,關鍵看大家的實力,我們有筆試和面試的環節對大家進行考察。

      7.廈門招算法工程師嗎?

      廈門有招算法工程師,但是會跟北京的算法工程師有一些區別,深度學習的算法工程師集中在北京。

      9.是否有面試機會?

      是否有機會面試要取決于大家的筆試成績。

      10.什么時候到華科進行校招?

      我們會在公眾號(HorizonRobotics)上同步行程。

      11.校招安排在什么時間?

      最早的一場是在號 2018 年 9 月 12 日 18:00,國科大中關村校區教學樓 S101 報告廳 (數學所西側 經管學院教學樓內)。后續站次安排會在微信公眾號(HorizonRobotics)及時更新。

      12.中科院畢業生去得多嗎?

      我們公司中科院來的工程師應該是最多的。


      雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知

      地平線:面向低功耗 AI 芯片上視覺任務的神經網絡設計 | AI 研習社職播間第 2 期

      分享:
      相關文章
      最新文章
      請填寫申請人資料
      姓名
      電話
      郵箱
      微信號
      作品鏈接
      個人簡介
      為了您的賬戶安全,請驗證郵箱
      您的郵箱還未驗證,完成可獲20積分喲!
      請驗證您的郵箱
      立即驗證
      完善賬號信息
      您的賬號已經綁定,現在您可以設置密碼以方便用郵箱登錄
      立即設置 以后再說
      主站蜘蛛池模板: 达斡尔族歌曲| 《美丽小蜜蜂10姐姐叫》中文字幕高清完整版免费在线观看-八戒影视 | 台剧浪漫女家教免费观看第14集| 仙逆在线观看全集完整版高清| 维修工人的艳遇2| 新网球王子| 最新港剧| xl司令第一季全集免费观看动漫 | 与外婆同行| 需要爸爸播种2美版在哪里可以看 白峰美羽女教师在线观看 | 骨语2电视剧在线播放免费完整版| 未来日记17| 二龙湖爱情故事2020| 私人助理2法国版电影免费看| 辉月あんり| 岳飞传117集全免费听| 线切割教程| 高达00第一季| 想要爸爸的种子| 午夜阳光高清完整版在线观看| 棺姬嘉依卡| 铿锵锵锵锵锵在线观看大全| 搞笑小猪佩奇| 方子传免费观看| 星级狂魔满天星| 饥饿游戏高清下载| 不安2人在线观看免费版| 交易凯登克罗斯的电影| 菜鸟老警 第八季全集观看| 辛德勒的名单下载| 吞噬星空第二季1集| 大丫鬟大结局| 老舅1-27集全免费播放| 美版HD古墓丽影山寨版满天星| 村民在墓穴躺坐一排乘凉:人多不怕| 朋友的妈妈电影免费| 《小欢喜》电视剧| 棺姬嘉依卡| 美国版荷尔蒙6| 空调师傅疑操作不当致买家触电身亡 | 我推的孩子樱花在线观看| 龙潭虎穴电影| 堕落律师免费观看全集| 扫黑风暴11集| 雪中悍刀行电视剧剧情介绍| 战狼在线观看完整版| 喜爱夜蒲免费在线观看| 美丽又紧致 凯帕克英文| 正在直播郑钦文比赛| 锦月如歌电视剧免费观看| 白峰美羽主演的为父报仇| 分手大师 电影| 甜蜜惩罚在线观看| 最高的爱人诏| 家教的高级高程中字| 午夜剧场色| 梅川小帅上司送伞完整版| 情满雪阳花电视剧全集| 惊变1996完整版| 战狼6免费播放高清版在线观看| 11分钟模拟成结动画在线观看免费 | 时间裂缝在线观看| 电影《法国空少》免费观看| 怎敌她千娇百媚在线播放| 成龙电影全集粤语| 欧式少女第16集全集剧情介绍视频下载| 爱情睡醒了全集40| 一夜情人| 爱我几何电影免费观看高清完整版| 17岁在线观看完整版| 危险关系未删减版电影完整版| 维修工的艳遇手机播放| 扫黑风暴第21集| 《夕颜》动漫番剧全集免费观看| 隔山有眼3起源免费完整版| 张靓颖 奥普拉| 亲爱的你免费观看| 兔子先生第一季第6期在线观看免费| 熊出没逆转时空| 庆余年2首支预告| 法国空少免费观看| 豹在线观看| 爱我几何莫妮卡原版电影在线观看| 道师爷3电影在线观看完整版| 黏黏糊糊的你第1集| 大街上强?在线观看| 星克莱尔《X迷宫》播放| 门事件曝光国产在线| 法国啄木鸟酒店实习生| 迪斯科舞厅| 爱情攻略吻戏| 韩国R片视频| 凡尘称尊:仙帝弃少全集免费| 绝战桂林电视剧全集| 杰伊比姆| 阳光先生 电视剧| k8s经典版(老经典版)全集免费 | 葡萄姐姐| 色拉拉视频| 黑衣人3国语高清| 奇皇后32集| 哈德威尔| 《妻子去加班的夜》中文翻译| 亲爱的妈妈4韩国完整版| 魔女2:另一个她在线观看| 新还珠格格的所有歌曲| 电影爱我几何| 指环王在线观看| 美国派4:美国重逢| 火山口2人| 大水井风云| 女员的付出中字1230| 火影忍者485集| HD版泰山《激战丛林》完整版免费国语 | 金瓶梅电影 未删减版| 流金岁月在线观看| 爱上电视剧| 同学两亿岁全集免费可以看| 西班牙《掌中之物》完整版免费| 松药店的儿子们54集| 女超人麦乐迪无删减版免费在线观看| 眷思量免费观看全集| 《义姐不是贤妻良母》动漫全集樱花| 金元大劫案| 海底捞回应女大学生包间留宿 | 舒淇三圾片在线观看| 骸骨骑士大人奇幻世界冒险中| 传闻中的陈芊芊| 繁华似锦电视剧演员表| 无限资源日本动漫版在线| 灵与欲百度影音| melody在线播放高清观看女超人| 旗开得胜集体舞| 特邀外卖员| 历任国防部部长| 被光抓走的人电影完整版观看| 放在里面边顶边吃饭| 履霜坚冰至| jizz日本一| 八佰免费完整版在线观看| 辣妈正传快播| 星际迷航:叛徒| 台湾贝贝| 老公上班的日子剧情介绍| 女版战狼6免费播放国语版| 贤妻电视剧全集下载| xl司令| 父母儿女媳妇一起来玩的说说 | 甄嬛传第76集| 前苏联二战电影| 坎贝奇《无憾》电影播放| 两天一夜20110529| 社长夫人的美貌| 山西电视台科教频道| 高清《主播女孩重度依赖》电视剧| 电视剧启航| 《出差被前任多次侵犯| 美丽小蜜桃2免费观看完整版全集| 花与蛇2电影全集免费播放| 我的女上司短剧全剧免费观看 | 奔跑吧兄弟第二季直播| 潜梦追凶在线观看免费完整版| 母亲 日本电视剧 在线观看| 小娘惹全集电视剧免费| 电影《姐妹牙医》完整版在线播放| 大奥电视剧| 隐形的帽子电影| 高清《潜渊》电视剧全集免费观看 | 普京抵达人民大会堂| 不良义姐第一季在线观看免费全集高清 | 雅典八分钟| 忘年恋曲无删减版| 法国私人航空电影在线观看| 百媚千娇全集在线观看| 试驾问界m9| 美国式家庭禁忌结局-3人狗| 英雄虎胆电影| 舞乐传奇全集| 美景之屋6普通话版百度云| 牧神记51集完全版| 小柔的性放荡羞辱日记动漫| 《女海盗1》美版免费观看| 老师的恩惠百度影音| 巴拉拉小魔仙全集100| 《快递员的艳遇》中字 | 乡村名流全集| 欧剧妈妈爱上儿子同学剧情| 男生女生高清在线观看| 斗罗大陆111集免费观看| 妻子和上司出差住酒店怎么办| 仙武传在线观看全集免费播放| 寡糖电影| 七三一电影高清在线播放免费观看| 大清风云| 白毛女在线观看| 日本电影和部长一起出差| 致美丽的你韩剧免费观看全集| 《猎毒人》大结局| 如如影视父子| 想明白了再结婚剧情介绍| 亲密百度影音| 爽脆胡萝卜| 电视剧和平年代| 乡村爱情5小夜曲全集| 安斋拉拉电影躲雨在线观看| 我的姐姐很逆天短剧| 永生3之气壮山河在线观看| JUL-945在线观看| 高清《你好 李焕英》电影免费观看 | 房奴试爱激情戏做爱| 以家人之名免费看 | 贾玲拍露腹肌戏份脱了8斤水| 大嫂大嫂电视剧| 壮志凌云满天星无删减版| 消失的十一层免费观看| 课中坏事 韩国| 《法国空乘2023版》在线完整观看 | 高清《时光与你都很甜》大结局| 聚会的目的3高清完整版在线播放| 白雪公主成人版在线免费观看| 少年张三丰张卫健电视剧免费观看| 终极斗士2| 小蜜桃五| 《扫黑风暴》电视剧| 易烊千玺抱胖虎女儿| 电影《特殊游泳教练》免费观看| 林正英国语全集| 忒弥斯的不确定法庭| 酒店1-50集在线观看| 大江大河2免费完整版在线观看| 海盗2:鬼怪的旗帜 电影在线观看| 太后吉祥电影| 法国空姐3完整版观看| 哥谭第三季在线观看免费完整版 | 天海翼lpⅹ566中文字幕在线| 全球最让人害羞的时装比赛| 男女一起愁愁愁的视频| 危险的爱电影| 公与3个媳HD播放| 年轻瘦子23| 韩国我们结婚了| 评书三国演义袁阔成播讲365集| 老千电影| 特邀外卖员免费在线观看| 折腰电视剧免费观看全集在线播放| 朴妮唛12部| 公的浮之手在线| 死亡笔记 日剧| 德田重男电影免费观看中文版| 机动战士敢达| 《花子vs倔强驱魔师》| 北京遇上西雅图 影音| JIZZ学生18| 私人航空 电影| 小狐狸发明记主题曲| 夫妻的成长日记| 韩剧理发店的特别待遇| 魅男gv| 蜜雪冰城加盟 官网电话| 《冢本战争》在线观看| 西游记香港版| 悬崖之上免费| 《需要爸爸播种美国》英文版演员全 | 蛮好的人生在线观看免费高清电影| 明星换脸高清在线观看完整版免费换脸| 聊斋觅仙路| 重影电视剧免费观看全集完整版| 我女朋友的妈妈ID中字女主角是谁| 我叫金三顺国语全集| 《局内人》电影完整版在线观看| 电视剧斗破苍穹第二季| 《越南女兵满天星》电影 在线看| 侯友宜再喊话柯文哲:一同放下自己| 泰山电影完整版播放| 束缚游戏在线观看完整免费版| 《红海行动》| 交换玩弄两个美妇教师韩国电影| 《女销售员的销售秘密》签合同| 倾城之泪百度影音| 《售楼小姐的秘密》的秘密电视剧| 凶城计中计粤语| 吗吗吗的朋友33| 仙逆剧场版 神临之战| 《破·地狱》国语版免费看| 韩国电影我的妻子| 和部长一起去出差旅电影完整版| 熊出没第一季免费观看| 仙逆113集在线看| 《替夫还债》高清完整版中字| 《天空》 电影| 我的妈妈日语| 双龙会高清完整版免费观看| 爱我几何电影在线观看免费版高清全| 上海女子图鉴在线观看免费完整版| 煎饼侠电影完整版| 麦乐迪 在线| 丰满姨母2电影| 哦我的鬼神大人 电视剧| 新三国免费观看1-95集普通话| 女超人麦乐迪无删减版完整版| 世上不安心的人3纪录片在线观看| 广场舞阿哥阿妹背面| 松桃| 男按摩师吸乳房HD中字| 电视剧铁腕行动| 大突围在线观看完整版| 与讨厌的部长一起去出差旅电影| 在广东买虾还没到家就熟了| 世界之外| 琦琦上司妻女主角是谁| 《麦乐迪女超人》完整版在线观看电影| 绿野奇缘| 扫毒3电影在线观看免费完整版| 《卖房子的女销售》电影| 高清《破·地狱》粤语完整| 电视剧怒放| 《奇怪的夜晚》| 控制美女老板遥控器在线看| 高清绝望写手 第五季未删减| 三d肉浦团| 巜色诱女教师4在线播放| 囗交大图片26交| 法网柔情主题曲| 女朋友们| 影音先锋资源网| 地牢围攻2电影| 寒武纪免费观看在线观看完整版| 总会再相见全集观看| 日本波多野吉衣| 坂口美穗乃| 沉香如屑60集全免费看| 美国爸爸播种电影在哪看 | 用我的手指搅乱吧全集| 一门三司令在线观看| 仙女屋电影免费观看| 神级选择:次次都对完整版观看| 野兽电影完整版| 《艾伦与艾薇》满天星播放| 恰似你的温柔原唱| 《村妓》国语版演员表介绍| 高清《夕颜》动漫番剧全集| 光速大冒险| 鞋样设计| 韩剧《财阀儿媳》| 《和讨厌的部长出差旅》在线| 吸血鬼伯爵| 我的美女姐姐欧美。| 妖精的尾巴45| 粉红女郎2| 女律师的堕落免费| 美国农场主儿女1984免费| 秘制牛杂配方| 高清招魂4:终章未删减| 公浮之手2023| 上海龚家花园| 杨光的爱情故事2| 宁陵县| 先锋影音日韩| 男生和女生愁愁愁电视剧在线观看网页版 | 继母17岁| 印度电影 天生一对| 《卖百科全书》播放| 你是我的荣耀在线观看完整版免费| 帕丁顿熊3电影国语版免费观看 | 心动的信号第七季免费观看| 《欲乱上班族》在线观看| 替嫁王爷:婚后被宠全集免费| 高压监狱2019法版完整版| 大宋惊世传奇电视剧 | 高清《建军大业》电影高清在线观看 | 罪恶斗争电影在线播放| 电视剧记忆之城| 美国爸爸要播放的电影| 战至巅峰二在线观看免费高清全集| 快乐到死 在线观看| 精忠岳飞大结局| rhts 040| 女飞行员(美国)满天星女版| 这省凭什么春节游客量第一| 夜上海广场舞| 法国空乘在线观看完整免费高清原声满天星奔跑吧式叫庆 | 妻子妈妈双字ID电影| 阳光姐妹淘高清| 我的妹妹在线观看| 《执行秘书》| 渔夫荒淫史无删减版 | 王小虎陈晶晶短剧2022年| 肉汁奴隶完整版| 《烬相思》电视剧| 你是我兄弟2| 美国5~1普通话| 人猿泰山hr版 在线播| 花鼓戏哭灵| 终结的后宫| 《浪漫女家教》-电影-电影时期| 簧瑟片| 冰川时代1| 快嘴李翠莲高清| 《卖房的女销售员》| 日韩电影女律师的堕落| 极度召唤电影| 妖怪人间| 黑白配HD1080完整版在| 高压监狱在线观看完整免费高清原声满天星2019法国 | 浮之手中字22| 袁隆平微博| 上海卫视六个主持人参加生日宴| 人皮灯笼粤语| 1987版《娃娃脸》满天星| 精忠岳飞演员表| 高清《大学》电影| 盗墓笔记在线观看免费| 电影《私人航空》法国电影| 派对和谎言在线看| 悲伤比更悲伤的故事| 电锯惊魂9完整版在线观看| 《特殊游泳教练》免费观看| 光溜溜的荒野求生| 欢乐颂5| 终极三国花絮| 《理发店的特殊待遇》| 胜女的代价2结局| 猎场大结局| 圣贤教育改变命运全集下载| 《高压监狱2》法国版正版 | 电影《打黑》2免费观看| 我们有点不对劲第八集| 至尊瞳术洛清瞳免费漫画| 维修工人的绝遇免费观看电视剧全部| 魔女游戏国语| 公主嫁到粤语版| 司藤电视剧在线观看免费完整版 | 卖保险套的女销售完整版电影观看| 斗罗大陆第206集免费观看| 沧元图第二季2集完整版 | 《法国空乘4》伦理HD| 灌篮高手免费国语版在线播放| 玉米靠什么传播种子| 大秦帝国第二部高清| 金并梅电视剧全集免费观看| 方子传 电影完整版| 屋塔房王世子快播| 一起去吃拉面吗韩国电影| 哇嘎国语电影| 暗黑西游记| 枭起青壤免费观看| 轮到你了第9集| 《爱我几何》莫妮卡贝鲁奇| 龙年档案电视剧全集| 叶问外传张天志在线观看免费版| 向风而行电视剧四十集| 法国满天星《女飞行员》观看 | 蝶舞天涯全集| 女版战狼10在线观看免费高清9| 北下关小学| 历史的天空40集免费版| 架设单机传奇| 木府风云主题曲净土| 终末的女武神在线观看第二季 | 莫妮爱我几何免费高清电影无删减| 加勒比女海盗h成版手机在线| 浦城县| 秘密飞行| 绝对臣服短剧免费观看全集高清| 百炼成神动漫在线播放| 把可爱的男孩子c哭动漫| 妈妈的男朋友5线观看 高清 | 李卫当官第一部免费播放| 和上司女部长出差完整版免费观看| 神盾局特工第四季| 最后一枪百度影音| over flow第一季在线观看翻译| 伙头智多星动漫| 电视剧母亲的战争| 婚姻保卫战1| 《飞机上特殊服务5》| 迪拜女孩满天星在线观看完整免费高清| 家庭教师动漫在线观看全集| 甜蜜惩罚全集在线观看| 战火青春43集免费观看完整版| 光明与黑暗| 乌云之上免费播放在线观看| 壮乡小莫现实的老婆| 大牛影库存战狼6| 电视剧问心免费观看| 黄飞鸿新传| 春风燃情电视剧免费观看全集| 坎贝奇电影在线观看免费版| 单桂敏艾灸培训| 爱情前规则全集| 大学生第一季| 神雕侠侣大结局| 忒弥斯的不确定法庭| 比天堂还美丽| overflower第一季无删减在线观看 | 高清《蝙蝠》电影完整版| 白袜子俱乐部| 木下檩檩子电影免费观看普通话版| 玛戈没钱了| 哎呀我愿意全集| 台剧黛比浪漫女家教1免费播放 | 小马宝莉动画片全集免费中文版| 猎心者免费观看| 疯狂第一次| 白峰电影免费版高清在线播放| 倾城电影| 正负之间台剧免费观看| 速度与激情10完整版免费| 哇嘎哇嘎哇嘎在线观看 | 明星大侦探第八季免费观看完整版| 特殊的诊疗室6| 东方之珠国语| 最美的时光第一集| 蛇蝎美人百度影音| 激情丛林女主角| 借兵粤语| 男生和女生在一起愁愁愁电视剧在线观看30集 | 啄木鸟满天星凌云壮志百度云| 木乃伊1高清完整版电影在线观看| 高清《沈家嫡女》短剧全集| 性解密之大妈| 夏色のコワレモノ| 桃恋者未删减| 我们都是超能力者完整版电影| 二对一:三人一次性体检4在线播放| 厨艺大师第三季| 八佰免费播放完整版| 金银悔1-5全集普通话免费看| 不及格邻居| 烽火连城诀电视剧全集在线观看| 战狼9999| 乒乓球混合双打决赛直播| 色戒删除的13分钟| 黄色仓库视频| 《我的初恋不是姐姐》动漫| 男与女 电影 2016| 好妈妈8全集在线观看| 猎金游戏电影免费观看| 放荡的女人2| 马头琴曲| 纷至沓来的意思| 《村枝》1994年| 美国版《保险》在线观看| 飞行者百度影音| 平凡的世界电视剧全集| 密战下载| 杨玉环的三港版1996| 星月神话简谱| 成吉思汗电视剧音乐| 哪吒之魔童降世在线观看| 爱我几何完整版在线观看| 战神归来:守护妻女短剧全集| 新上海滩全集| 为歌而赞| 咸阳市| 韩国少女电视剧高清完整版| 365dni电影完整免费观看| 乌云之上| 《可疑诊疗室:特殊待遇》8| 恨锁金瓶电视剧全集免费观看完整版| xl司令第一季无马赛克全集在线观看完整版免费动漫 | 盖网投资| 仙逆113集在线看| 致命录像带:万圣节| 花与蛇3电影| 《激战丛林》满天星在线看 | 装腔作势代表什么生肖| 京香电视剧全集免费观看 | 斗破苍穹缘起在线观看| 风月俏佳人qvod| 儿子爱上妈妈| 伊沢千夏| 原始人电影免费完整版观看| 海之声如如理论| 赤裸兵团| 海大鱼电影免费完整版| 保拉的诱惑| 生死狙击百度影音| 绝伦人妻的一夜日本电影| 插曲的痛第60集完整版 | 电影韩国太太的告白| 我叫李焕英电影| 法国空乘11完整版在线看| 《玉女心经3》高清电影在线观看| 韩国去年出生23.5万| 饮食男女高清免费完整版在线观看| 大秦帝国之纵横高清| 《xl司令》第一季动漫免费观看| 中国vs法国| 我和我的家乡免费版播放| 法国色情巜情欲含苞待放| 入室暴行HD电影在线观看| 私人女子监狱视频中文字幕版| 都挺好电视剧全集免费| 眼泪女王| 南京!南京!电影| 金珠恩满天星三部曲免费观看| 韩剧金银梅5普通话免费观看| 翻云覆雨国语| 数码暴龙| 他说爱情已迟暮免费| 售楼小姐的秘密韩国电视剧| 高清《清宫性史》香港在线观看| 追鱼电视剧| 韩剧电视剧| 我的学生的爸爸中字ID| 和部长一起出差旅电影| 我们是坏蛋理发师全集观看| 电视剧幸福的眼泪| 夹震蛋玩到失禁PLAY调教| 动感之星妖精135集免费观看视频| 19岁大学生真人观看| 丹东警方回应锁匠帮开锁被炸身亡| 风灵玉秀第二季| 亚塞诺瓦茨电影完整版在线观看| 凯登克罗斯HD版高清播放电影| 房间里的二人世原声免费观看| 致命游戏在线观看| 歌曲披着羊皮的狼| 鬼吹灯什么时候更新| 21世纪爱情指南在线免费看| 美国电影需要爸爸播种 | 梦幻华尔兹| 夺粮剿匪记在线观看| 正在播放:最棒的小三沼泽 与不干涉工作和家庭、只有做爱理想关系的三上悠... | 味道2在线观看免费完整版电视剧| 缘分五月在线播放| 小楼又东风| 欧美满天星在线观看| 韩国电影姐姐高清完整版免费观看 | 电影《元敬》在线观看| 插曲的痛免费高清观看完整版| 寻龙传说免费观看国语版| 尸控警戒在线完整版免费观看| 《外出》2015版| 叔母的爱电影免费观看完整版| 粉红色大白菜正宗版2| 乡村爱情小夜曲在线观看| 盛夏假期遇见爱全集观看| 孙颖莎1比3穆克吉| 禁忌结局-9| 垂涎15| 重影电视剧免费观看全集完整版 | 蛛丝马迹| 复仇联盟4电影在线观看| 美版灭火宝贝2监狱在哪里| r片| 《钢之炼金术师》| 电视连续剧与狼共舞| 全州县| 郝板栗牙医无删减版在线观看电视剧 | 冰血暴第二季| 海上孟府全集46集免费观看完整版| 贝金赛尔满天星| 恋爱的味道观看| 《特战荣耀2》免费看| 死亡包裹| 月见草油的作用| 《和部长一起去出差旅》中文日语百| 3d肉蒲团之极乐宝鉴2| 仙帝奶爸:萌宝找妈全集免费| 姨妈2完整版免费观看| 打工仔的梦想房sp| 品味人生电影在线观看免费| 叶子楣电影| 爱情 电影| 盗墓风云| 安徽卫视海豚tv| 白峰在线观看| 牙医姐妹1986无删减版 | 三十而已在哪看| 请成为我的家人一共多少集| 啄木鸟:女版《壮志凌云》百度网盘| 白峰美羽无码电影观看| 警察故事2013粤语| 高压监狱免费观看完整版全集| 宽松世代又如何| 极速车魂 第三季| 法国经典电影女狱警》理论片高清在线观看 - 全集韩国剧 -南瓜...导演:William | 千灭天际线| 林家铺子| 吸血鬼女孩| 《替夫还债3》高清完整版在线观看中| 美国女大兵的艳遇2| 财经郎眼2016| 米加小镇日常vlog| 抓钱舞标准版| 凯帕克主演的电影在线观看| 美国派9我爱熟女| 西游降魔篇粤语| 美妙的邂逅| 凭祥市| 《灭火行动》美国在线播放| 《沉香如屑》电视剧| 豹在线观看| 男女电视剧演员表免费观看| 军人道德组歌| 日本jIzz| 惊变1—42集免费观看电视剧| 快色视频在线观看| 女王之剑| 繁峙县| 特殊的游泳教练在线观看| 赤桥下的暖流完整版| 韩国理论电影老公没在家别人修灯的电影 | 黑白配1080p国语版在线观看| 乔西的虎与鱼| 密桃诚熟时1997| 溪暮悦影短剧免费播放大全| 崇阳县| 动感小玲| 使徒行者2粤语百度网盘| 女明星们的按摩师免费观看| 电影《风声》在线观看| 需要爸爸种子在线观看| 韩剧《恶行之外》| 老师·好电影在线观看| 王者清风电视剧| 蝴蝶行动电视剧全集30| 韩国售楼小姐电影在线观看完整版| 伊拉伯病毒2电影完整版| 了不起的村落| 异世界四重奏| 毛驴县令之你我他| 雷神4在线观看| 美国式保罗2 原版电影| 女男变错身百度影音| 电视剧大唐女巡按全集| 热线女孩在线完整版中文字幕| 放韩国电影特殊游泳的裸课| 女武神的终末动漫在线观看| 荒野飙客| 电影修理工的艳遇| 黄渤不醉mv| 满清十三皇朝之血染紫禁城| 大夏傻神之逆袭| 花与蛇6之眼镜女| 木下凛凛子出演电影交换夫妇 | 鸟人战队喷射人| 等一个晴天说再见| 普法栏目剧听见凉山6| 《温柔的谎言》韩世雅| 郝板栗《千金》免费看| 禁忌女孩第三季免费观看| 快乐方程式2| 秘密的爱| 在暴雪时分电视剧全集免费观看| 井冈山市| 我的游泳女教| 呼吸过度电影| 3d如蒲团| 我的野蛮女友 全智贤| 黑白配高清国语观看| 还珠格格第三部天上人间| 笼中女在线观看| 美剧 监狱风云| 河南发生重大刑案警方悬赏5万元| 肉蔻之香1意大利完整版| 牙医姐妹郝板栗1986| 我们的滚烫人生在线观看| 还珠格格之风儿阵阵吹全集| 诛仙2电视剧| 泫雅否认曾对同学校园暴力| 美发沙龙2| 韩国成人版电影神奇的帽子在线观看| 王曼昱对张本美和的比赛| 能登的新娘| 法政先锋第三部粤语 | xxxx69xxxx| 白雪公主白雪姬| 少年卫斯理| 舒淇电影玉女心经| 高清《蜜桃成熟时3》| 鬼子暴行少女电影VCD正片| 巜生殖按摩无删减Tv| 彩礼谈崩后转身嫁给豪门大佬| 《要听爸爸的话》第4集| 天若有情 郑伊健| jizz日本视频| 女友的妈妈双字ID怎么设置| 秘密花园第三集| 夏天全集在线观看免费| 老师去学生家家访的电影| 泰剧爱属我心| 禁忌1年转一代| 女子学院姑娘们1983第一季| 鬼神的香气| 藏精阁在线观看| 临时劫案在线观看免费版| 高清《黑暗面》| 女战狼6在线高清免费观看全集| 一起愁愁免费全集在线看| 芭比与胡桃夹子的梦幻之旅| 神犬奇兵| 最美的时候遇见你在线观看完整版 | 电视剧天龙八部| 人生路不熟免费| 我爱几何电视剧免费观看| 四位人妇精油按摩的功效电影 | 约翰尼盖尔克奇| 《女律师还债》| 总统之夜1997法国版第一季 | 《蓝色隐形帽子完整版| 林由奈jufd467在线播放| 迪迦奥特曼国语版全集高清| 美教师地狱责罚无删减版| 爱唯侦察D V D| 国足vs沙特在线直播| 拒绝爆冷 大头王者归来打疯了 | 哇嘎哇嘎高清在线观看| 假面骑士樱花动漫| 百万新娘之爱无悔61| 画皮2电影完整在线播放| 新射雕英雄传主题曲| 灵山县| 女人的滋味3| 刃牙第三部| 《琉恩传说芙蕾雅》完整版| 墨雨云间电视剧免费高清观看| 法国空姐完整版剧情HD| 全红婵预赛第一晋级| 家庭分歧麦乐迪| 菠萝蜜电影免费看| 小蜜桃5观看免费高清版电视剧| 她的一生全集电视剧| 想要电影完整版在线播放| 宦海奇官粤语| 插曲的痛60全集| 瓜达卢佩的玫瑰在线观看免费| 超市特工第四季| 那年匆匆| 刘易斯vs霍利菲尔德| 陆贞传奇33| 囧妈免费播出| 泰莎的绣感1986| 女子护卫队1973| 洛城特警| 不要回头 电影| 美人鱼战队高清完整免费观看| 聊斋艳谭叶子楣| 牙医郝板栗未删减版共几集| 斯巴达第七季72集全剧情详解| 人犬兽人100集全部| 黄飞鸿之无头将军| 非洲女人免费播放的电视连续剧| 灵域第四季| 东北一家人2| 甜美姐姐动漫1-2集| 牙医姐妹完整版高清版| 爱情睡醒了40集| 遥远的距离大结局|