IT資訊
當前位置:天齊網 > IT資訊 >  物聯網

僅2毫秒!英偉達打破實時對話AI的訓練和推理用時記錄

2019-09-05 16:48:48 網易科技 樂邦 編輯:齊齊 浏覽數:23天齊網

據國外媒體報道,英偉達用于開發和運行可理解和響應請求的對話式AI的GPU強化平台,已經達成了一些重要的裡程碑,并打破了一些記錄。這對任何基于其技術進行開發的人來說意義重大——當中包括大大小小的公司,因為英偉達将很多用于實...

據國外媒體報道,英偉達用于開發和運行可理解和響應請求的對話式AI的GPU強化平台,已經達成了一些重要的裡程碑,并打破了一些記錄。

這對任何基于其技術進行開發的人來說意義重大——當中包括大大小小的公司,因為英偉達将很多用于實現這些進步的代碼開源。那些代碼用PyTorch編寫,易于運行。

英偉達今天宣布的最大成果包括:BERT訓練用時打破記錄,進入1小時關口。BERT是世界上最先進的人工智能語言模型之一,也被廣泛認為是自然語言處理(NLP)标杆的先進模型。英偉達的AI平台僅僅需要53分鐘就能夠完成模型訓練,經過訓練的模型在短短2毫秒多一點的時間裡(10毫秒在業内被認為是高水平線)就能夠成功地做出推理(即利用通過訓練學習到的能力得出結果)——又一個記錄。

英偉達的這些突破不僅僅是吹噓的資本——這些進步可為任何使用NLP對話式人工智能和GPU硬件的人提供切實的好處。英偉達在它的其中一個SuperPOD系統上打破了訓練時間記錄,該SuperPOD系統由運行1472個V100 GPU的92個英偉達 DGX-2H系統組成;在運行英偉達 TensorRT的英偉達 T4 GPU上完成推理過程。英偉達 TensorRT在性能上超出高度優化的CPU許多個量級。不過,該公司将公開BERT訓練代碼和經過TensorRT優化的BERT樣本,讓所有人都可以通過GitHub利用。

除了這些裡程碑以外,英偉達的研究部門還建立并訓練了有史以來最大的一個基于“Transformer”的語言模型。這也是BERT的技術基礎。該定制模型包含的參數多達83億個,規模是當前最大的核心BERT模型BERT-Large的24倍。英偉達将這個模型命名為“Megatron”,它也對外提供了用于訓練這個模型的PyTorch代碼,因而其他人能夠自行訓練出類似的基于“Transformer”的大型語言模型。

分享到:

版權與免責聲明:

凡未注明"稿件來源"的内容均為轉載稿,本網轉載出于傳遞更多信息的目的;如轉載稿涉及版權問題,請作者聯系我們,同時對于用戶評論等信息,本網并不意味着贊同其觀點或證實其内容的真實性;


本文地址:http://caifu61288.cn/news/2019/09/05/5230556.html

轉載本站原創文章請注明來源:天齊網

行業聚焦

2020考研今起正式報名,預計考生規模達330萬

IT之家10月10日消息 今日起至31日,2020年全國碩士研究生招生考試進入正式報名階段,考生可在每天9:00—22:00進行網上報名。近年來,考研報名人數不...[詳細]

滴滴回應 “吐槽大會” 已收集萬條用戶意見

近日,滴滴舉行了一場“七嘴八舌吐滴滴”節目,滴滴出行總裁柳青、員工代表、司機代表都紛紛登台,公開接受社會各界吐槽。今天,滴滴通過官方微博表示,“我們打着傘收到了...[詳細]

榮耀老熊詳解全場景加速引擎技術

IT之家9月20日消息 據熱心網友投稿,今日晚間榮耀業務部副總裁(産品)熊軍民科普全場景加速引擎技術。熊軍民概括稱,全場景加速引擎就是通過系統内核架構調整,優化...[詳細]

魅族手機官方詳解Flyme 8系統夜間模式2.0:全面深邃

IT之家9月18日消息 魅族8月底正式發布了全新的Flyme 8,官方稱Flyme用戶已達9000萬,Flyme 8研發耗時491天,采用Alive Desig...[詳細]

中國移動咪咕與韓國KT簽署5G新媒體内容合作諒解備忘錄

9月26日,中國移動咪咕公司與韓國電信公司KT(以下簡稱KT)在咪咕咖啡簽署5G新媒體内容合作諒解備忘錄,雙方将圍繞超高清視頻、遊戲内容、VR内容、音樂内容等領...[詳細]

科學科技

更多

安裝Windows 10補丁KB4515384後,部分用戶遭遇網絡适配器和操作中心Bug

 

IT之家9月16日消息 Windows 10 KB4515384是微軟于9月10日發布的最新累積補丁更新,修複了高CPU...[詳細]

一加7T系列全球發布會時間官宣 國行版亮相時間尚未公布

 

在下半年的熱門旗艦手機中,近年來熱度不斷上升的一加旗下即将亮相的一加7T系列必然是其中一款,随着越來越多的重磅旗艦亮相,...[詳細]

watchOS 6正式版已推送 六大全新功能提前預覽

 

Apple Watch今天推出了一項重要的軟件更新,為現有型号帶來了大量新功能。在iPhone更新到iOS 13後,從手...[詳細]

蘋果回應iPhone漏洞問題:确實存在但被誇大

 

IT之家9月7日消息 谷歌近日發布了一份關于蘋果操作系統漏洞的深度研究彙編,此事一出也在網上引起了讨論。不過蘋果官方近日...[詳細]

京東夜經濟數據:滬夜間訂單量最高,京津最愛吃零食

 

8月27日消息,京東大數據研究院聯合北商研究院發布《2019上半年互聯網夜經濟報告》。報告顯示,廣東、北京、江蘇、四川、...[詳細]

一周排行每月關注