“DriveGPT雪湖·海若將重塑汽車智能化技術(shù)路線,面向全行業(yè)開放。毫末有信心在中國第一個進(jìn)入自動駕駛3.0時代。”在4月11日舉行的第八屆HAOMO AI DAY上,毫末智行CEO顧維灝在《DriveGPT雪湖·海若驅(qū)動自動駕駛3.0時代加速到來》的演講中,重磅發(fā)布自動駕駛生成式大模型DriveGPT,中文名“雪湖·海若”,并分享了圍繞大模型的應(yīng)用能力,以及介紹了中國首個自動駕駛數(shù)據(jù)智能體系MANA和中國自動駕駛行業(yè)最大智算中心MANA OASIS雪湖·綠洲最新升級。同時,顧維灝還宣布雪湖·海若智能駕駛能力首發(fā)車型將落地在即將量產(chǎn)上市的新摩卡DHT-PHEV上。

(毫末智行CEO顧維灝)

重塑汽車智能化技術(shù)路線,毫末發(fā)布自動駕駛生成式大模型DriveGPT雪湖·海若

(資料圖片僅供參考)

當(dāng)下,AI大模型的落地應(yīng)用再度引發(fā)廣泛關(guān)注,而不同行業(yè)領(lǐng)域的從業(yè)者,也在積極探索面向各自細(xì)分行業(yè)行之有效的AI大模型。在AI自動駕駛領(lǐng)域,毫末是大模型研發(fā)和應(yīng)用的先行者。AI DAY現(xiàn)場,顧維灝重磅發(fā)布自動駕駛生成式大模型DriveGPT,中文名雪湖·海若。

(毫末自動駕駛生成式大模型毫末DriveGPT,中文名“雪湖·海若”)

“海若”出自《莊子·秋水》。《莊子·秋水》中有兩個神話人物河伯和北海若。河伯請教北海若,何謂大小之分,北海若教導(dǎo),不因天地而覺大,不因毫末而覺小。因此,毫末把DriveGPT中文名命名為“雪湖·海若”,寓意著智慧包容、海納百川,為行業(yè)發(fā)展貢獻(xiàn)力量。

毫末DriveGPT雪湖·海若通過引入駕駛數(shù)據(jù)建立RLHF(人類反饋強(qiáng)化學(xué)習(xí))技術(shù),對自動駕駛認(rèn)知決策模型進(jìn)行持續(xù)優(yōu)化。DriveGPT雪湖·海若的目標(biāo)是實(shí)現(xiàn)端到端自動駕駛,現(xiàn)階段主要用于解決自動駕駛的認(rèn)知決策問題,后續(xù)持續(xù)會將毫末多個大模型的能力整合到DriveGPT雪湖·海若。目前,毫末DriveGPT雪湖·海若實(shí)現(xiàn)了模型架構(gòu)與參數(shù)規(guī)模的升級,參數(shù)規(guī)模達(dá)到1200億,預(yù)訓(xùn)練階段引入4000萬公里量產(chǎn)車駕駛數(shù)據(jù),RLHF階段引入 5萬段人工精選的困難場景接管Clips。

DriveGPT雪湖·海若的底層模型采用GPT(Generative Pre-trained Transformer)生成式預(yù)訓(xùn)練大模型,與ChatGPT使用自然語言進(jìn)行輸入與輸出不同,DriveGPT雪湖·海若面向自動駕駛場景,輸入是感知融合后的文本序列,輸出是自動駕駛場景文本序列,即將自動駕駛場景Token化,形成“Drive Language”,最終完成自車的決策規(guī)控、障礙物預(yù)測以及決策邏輯鏈的輸出等任務(wù)。

(DriveGPT雪湖·海若的技術(shù)原理介紹)

顧維灝對DriveGPT雪湖·海若的實(shí)現(xiàn)過程進(jìn)行了詳細(xì)的解釋。首先在預(yù)訓(xùn)練階段通過引入量產(chǎn)駕駛數(shù)據(jù),訓(xùn)練初始模型,再通過引入駕駛接管Clips數(shù)據(jù)完成反饋模型(Reward Model)的訓(xùn)練,然后再通過強(qiáng)化學(xué)習(xí)的方式,使用反饋模型去不斷優(yōu)化迭代初始模型,形成對自動駕駛認(rèn)知決策模型的持續(xù)優(yōu)化。同時,DriveGPT雪湖·海若還會根據(jù)輸入端的提示語以及毫末CSS自動駕駛場景庫的決策樣本去訓(xùn)練模型,讓模型學(xué)習(xí)推理關(guān)系,從而將完整駕駛策略拆分為自動駕駛場景的動態(tài)識別過程,完成可理解、可解釋的推理邏輯鏈生成。

(DriveGPT雪湖·海若的實(shí)現(xiàn)過程)

顧維灝還在現(xiàn)場宣布雪湖·海若智能駕駛能力首發(fā)車型是即將量產(chǎn)上市的新摩卡DHT-PHEV。他表示,雪湖·海若可以逐步應(yīng)用到城市NOH、捷徑推薦、智能陪練以及脫困場景中。有了雪湖·海若的加持,車輛行駛會更安全,動作更人性、更絲滑,并有合理的邏輯告訴駕駛者,車輛為何選擇這樣的決策動作。對于普通用戶來說,車輛越來越像老司機(jī),用戶對智能產(chǎn)品的信任感會更強(qiáng),理解到車輛的行為都是可預(yù)期、可理解的。

(毫末雪湖·海若智能駕駛能力首發(fā)車型:新摩卡DHT-PHEV)

目前,毫末DriveGPT雪湖·海若已正式對行業(yè)開放,開啟對限量首批客戶的合作,北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院、高通、火山引擎、華為云、京東科技、四維圖新(002405)、魏牌新能源、英特爾等已經(jīng)加人。DriveGPT雪湖·海若對行業(yè)提供開放服務(wù),將促進(jìn)自動駕駛的從業(yè)者和研究機(jī)構(gòu)快速構(gòu)建基礎(chǔ)能力,釋放創(chuàng)新。

(毫末自動駕駛生成式大模型雪湖·海若對行業(yè)開放)

當(dāng)前,毫末在使用數(shù)據(jù)過程中,逐步建立起一套基于4D Clips駕駛場景識別方案,具備極高性價比。在行業(yè)上,給出正確的標(biāo)注結(jié)果,一張圖片需要約5元;如果使用DriveGPT雪湖·海若的場景識別服務(wù),一張圖片的價格將下降到0.5元。單幀圖片整體標(biāo)注成本僅相當(dāng)于行業(yè)的1/10。接下來,毫末會將圖像幀及4D Clips自場景識別服務(wù)逐步向行業(yè)開放使用,這將大幅降低行業(yè)使用數(shù)據(jù)的成本,提高數(shù)據(jù)質(zhì)量,從而加速自動駕駛技術(shù)的快速發(fā)展。

(雪湖·海若場景識別能力對外開放,價格為行業(yè)當(dāng)前水平的十分之一)

MANAOASIS升級三大能力,為DriveGPT雪湖·海若提供算力支持

云端算力對于大模型平穩(wěn)落地運(yùn)行不可或缺。此前,毫末已經(jīng)構(gòu)建了中國自動駕駛行業(yè)最大的智算中心MANA OASIS(雪湖·綠洲)?；顒由?顧維灝介紹,在DriveGPT雪湖·海若的算力支持方面, MANA OASIS從算力優(yōu)化等層面升級了三大能力。

(MANA OASIS雪湖·綠洲)

首先,毫末與火山引擎全新搭建了“全套大模型訓(xùn)練保障框架”,實(shí)現(xiàn)了異常任務(wù)分鐘級捕獲和恢復(fù)能力,可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)個月沒有任何非正常中斷,有效保證了大模型訓(xùn)練穩(wěn)定性。

其次,將“增量式學(xué)習(xí)”推廣到大模型訓(xùn)練,構(gòu)建 DriveGPT雪湖·海若大模型學(xué)習(xí)系統(tǒng)。毫末研發(fā)出以真實(shí)數(shù)據(jù)回傳為核心的增量學(xué)習(xí)技術(shù),并將其推廣到了大模型訓(xùn)練,構(gòu)建了一個大模型持續(xù)學(xué)習(xí)系統(tǒng),自主研發(fā)任務(wù)級彈性伸縮調(diào)度器,分鐘級調(diào)度資源,集群計(jì)算資源利用率達(dá)到95%。

最后,優(yōu)化關(guān)鍵算子,以提升數(shù)據(jù)吞吐量,提升 DriveGPT雪湖·海若大模型訓(xùn)練效率。MANA OASIS通過引入火山引擎提供的Lego算子庫實(shí)現(xiàn)算子融合,端到端吞吐提升84%,滿足大模型訓(xùn)練的效率要求。

MANA視覺感知能力持續(xù)提升,MANA架構(gòu)全線升級開放賦能

毫末打造的中國首個自動駕駛數(shù)據(jù)智能體系MANA,在經(jīng)過一年多的應(yīng)用迭代后,本次AI DAY也迎來了全面的升級。顧維灝介紹,首先,感知和認(rèn)知相關(guān)大模型能力統(tǒng)一整合到DriveGPT雪湖·海若;其次,計(jì)算基礎(chǔ)服務(wù)針對大模型訓(xùn)練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專項(xiàng)優(yōu)化,并集成到OASIS當(dāng)中;第三,增加了使用NeRF技術(shù)的數(shù)據(jù)合成服務(wù),降低Corner Case數(shù)據(jù)的獲取成本;最后,還針對多種芯片和多種車型的快速交付難題,優(yōu)化了異構(gòu)部署工具和車型適配工具。

(中國首個自動駕駛數(shù)據(jù)智能體系MANA全面升級,開放賦能)

此外,MANA的視覺感知能力持續(xù)提升,一方面可同時學(xué)習(xí)三維空間結(jié)構(gòu)和圖片紋理,并將純視覺測距精度超過了超聲波雷達(dá),也使得BEV方案也擁有了更強(qiáng)的通用性和適配性;另一方面,可實(shí)現(xiàn)單趟和多趟純視覺NeRF三維重建,道路場景更逼真,肉眼幾乎看不出差異。通過NeRF進(jìn)行場景重建后,可以編輯合成真實(shí)環(huán)境難以收集到的CornerCase。在原有的全局視角修改、添加光照/天氣效果的基礎(chǔ)上,新增合成虛擬動態(tài)物體的能力,可以在原有設(shè)定的運(yùn)動軌跡上,合成各種Hard Case,模擬城市復(fù)雜交通環(huán)境,用更低成本測試提升城市NOH能力邊界,更好提升應(yīng)對城市復(fù)雜交通環(huán)境。

(MANA視覺感知能力進(jìn)展)

值得一提的是,面對目前行業(yè)里最難的視覺任務(wù)之一——單目視覺測量,繼特斯拉后,毫末也在中國率先開始驗(yàn)證能否使用魚眼相機(jī)代替超聲波雷達(dá)進(jìn)行測距,以滿足泊車要求。毫末把視覺BEV感知框架引入到了車端魚眼相機(jī),做到了在15米范圍內(nèi)達(dá)到30cm的測量精度,2米內(nèi)精度高于10cm的視覺精度效果。泊車場景使用純視覺測距來取代超聲波雷達(dá),將進(jìn)一步降低整體智駕成本。

(毫末純視覺測距精度可以使用魚眼相機(jī)取代超聲波雷達(dá))

在演講最后,顧維灝表達(dá)了毫末人的技術(shù)信仰,“毫末成立到現(xiàn)在接近三年半時間……毫末對技術(shù)的堅(jiān)定投入始終未變。毫末人始終熱愛技術(shù),枕戈待旦,全力沖刺。再難,都不會放棄。所愛隔山海,山海皆可平。技術(shù)必將改變世界!”

【廣告】

（免責(zé)聲明：此文內(nèi)容為廣告，相關(guān)素材由廣告主提供，廣告主對本廣告內(nèi)容的真實(shí)性負(fù)責(zé)。本網(wǎng)發(fā)布目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)，請自行核實(shí)相關(guān)內(nèi)容。廣告內(nèi)容僅供讀者參考。）

關(guān)鍵詞：