過(guò)去五年間，理想汽車(chē)在智能駕駛領(lǐng)域長(zhǎng)期扮演著追趕者的角色。從依賴(lài)高精地圖到轉(zhuǎn)向“輕地圖”策略，再到最終的去地圖化，其技術(shù)路線(xiàn)幾經(jīng)更迭，卻始終未能躋身行業(yè)第一梯隊(duì)。

7 月 29 日晚，理想 i8 正式上市，售價(jià) 32.18 萬(wàn)元至 36.98 萬(wàn)元，這是理想的首款純電 SUV。與多年前切入增程賽道時(shí)不同，如今純電領(lǐng)域的技術(shù)探索已相當(dāng)深入，理想難以找到真正的空白地帶開(kāi)辟新賽道。這次他們嘗試瞄準(zhǔn)用戶(hù)還有痛點(diǎn)的地方，做突圍。補(bǔ)能效率、智駕。

隨著 i8 上市，理想首發(fā)了 VLA（Vision 視覺(jué) - Language 語(yǔ)言 -Action 行動(dòng)），早于所有對(duì)手。i8 上市前夕，我們與幾位同行，一起同理想自動(dòng)駕駛的幾位研發(fā)負(fù)責(zé)人進(jìn)行了一次深入對(duì)話(huà)。

文|曹琳 冒詩(shī)陽(yáng)

汽車(chē)像素(ID:autopix)原創(chuàng)

對(duì)話(huà)嘉賓

理想汽車(chē)自動(dòng)駕駛研發(fā)高級(jí)副總裁 郎咸朋博士；

理想汽車(chē)自動(dòng)駕駛高級(jí)算法專(zhuān)家 詹錕；

理想汽車(chē)自動(dòng)駕駛高級(jí)算法專(zhuān)家 湛逸飛。

01.如何配合 i8 的產(chǎn)品定位

你覺(jué)得VLA能給 i8 的產(chǎn)品力加分多少？

郎咸朋首先 i8 是非常好的車(chē)，其次對(duì)于 VLA 模型的整個(gè)工程化部署以及相關(guān)軟硬件調(diào)試，我們花了大量精力，不夸張地說(shuō)，至少在駕駛的舒適度上，肯定比原來(lái)大家體驗(yàn)過(guò)的理想汽車(chē)都要好。

我們當(dāng)然也希望 VLA 會(huì)成為用戶(hù)購(gòu)買(mǎi) i8 的一個(gè)非常重要的因素，同時(shí)也會(huì)致力于首先讓之前用過(guò)理想智駕的老用戶(hù)有個(gè)非常好的體驗(yàn)升級(jí)，其次也希望有更多沒(méi)有用過(guò)輔助駕駛、自動(dòng)駕駛的用戶(hù)一上來(lái)就會(huì)對(duì)智駕有很好的感受和新鮮感。

你們真的相信純電的用戶(hù)會(huì)更加在意智駕嗎？

郎咸朋現(xiàn)在新購(gòu)車(chē)的人對(duì)智駕的要求，我覺(jué)得一年前可能問(wèn)這個(gè)問(wèn)題大家還有點(diǎn)質(zhì)疑，但現(xiàn)在我相信特別是新購(gòu)車(chē)的用戶(hù)智駕一定是排在它的首選要素里的，像去年麥肯錫的調(diào)研基本上都是第一或第二的購(gòu)車(chē)要素。我們市場(chǎng)部的同學(xué)是做過(guò)調(diào)研的，并且給到我的反饋肯定是需要，都是排在首選 Top3 里的。

效率、舒適和安全，理想汽車(chē)的 VLA 目前在當(dāng)前階段最先優(yōu)化的指標(biāo)是哪一個(gè)？

郎咸朋有一個(gè)指標(biāo)是 MPA，也就是指發(fā)生事故的里程。理想車(chē)主的人駕數(shù)據(jù)是 60 萬(wàn)公里左右出一次事故，而在使用輔助駕駛功能的情況下是 350 到 400 萬(wàn)公里發(fā)生一次事故。這個(gè)里程數(shù)據(jù)我們還會(huì)持續(xù)提升，我們的目標(biāo)是將 MPA 能提升到人類(lèi)駕駛的 10 倍，也就是比人駕安全 10 倍，我們希望在輔助駕駛功能下能夠做到 600 萬(wàn)公里才出一次事故，但這必須等到 VLA 模型提升之后才能做到。

但行業(yè)提的最多的是 MPI，強(qiáng)調(diào)做到更少的人工接管，這是評(píng)價(jià)智駕技術(shù)水平一個(gè)更顯性的指標(biāo)。

郎咸朋我們也做過(guò)分析，可能一些安全風(fēng)險(xiǎn)問(wèn)題會(huì)導(dǎo)致接管，但有時(shí)候舒適度不好也會(huì)導(dǎo)致接管，比如急剎、重剎等，因?yàn)椴⒉灰欢看味紩?huì)遇到安全風(fēng)險(xiǎn)，但是如果駕駛舒適度不好，用戶(hù)依然不想用輔助駕駛功能。

效率是排在安全和舒適之后的，比如走錯(cuò)路，雖然效率有所損失，但我們不會(huì)通過(guò)一些危險(xiǎn)的動(dòng)作立刻糾正，還是要在安全和舒適的基礎(chǔ)上去追求效率。

剛才試乘 i8 的時(shí)候，我們遇到一個(gè)場(chǎng)景，很窄的雙向道上，我們右手邊有一個(gè)三輪車(chē)，我們讓試駕車(chē)向左變道， 這需要跨到對(duì)向車(chē)道才能完成指令，但是 VLA 沒(méi)有過(guò)去。我聽(tīng)講解員說(shuō)，以前的版本是可以過(guò)去的，現(xiàn)在不可以過(guò)去。這是為什么？

詹錕VLA 是一個(gè)更好的家庭司機(jī)，無(wú)論在什么情況下，我們還是會(huì)以安全、舒適、安心的價(jià)值觀(guān)來(lái)對(duì)齊它。所以在這種情況下去跨逆行車(chē)道，我們是不建議的。但是如果需要微調(diào)出這樣的版本，在技術(shù)上肯定是可以的，但是我們還是希望能給到一個(gè)更安全、更安心的駕駛體驗(yàn)。如果后面有機(jī)會(huì)，我們會(huì)做一些更好的風(fēng)格或者是嘗試。

▍理想 i8

VLA 和過(guò)去通常所說(shuō)的端到端大模型的本質(zhì)區(qū)別是什么？

郎咸朋我們認(rèn)為 VLA 模型是可以走向更高級(jí)別的自動(dòng)駕駛，但它現(xiàn)在處于起步階段，在這個(gè)技術(shù)周期里，起步階段 VLA 模型約等于端到端的上限，它還有很長(zhǎng)一段路要走。

但我認(rèn)為這個(gè)過(guò)程不會(huì)特別慢，因?yàn)槎说蕉藦?10MPI 到現(xiàn)在 100MPI 只用了一年左右的時(shí)間，我相信 VLA 的迭代速度也會(huì)非常快，可能我們明年坐在這兒的時(shí)候它已經(jīng)迭代到 1000MPI 了。去年我和大家溝通過(guò)，當(dāng)時(shí)很多人也認(rèn)為不太可能，但我們的確做到了。

為什么一定要等到 i8 交付才推送 VLA？很多競(jìng)爭(zhēng)對(duì)手也在搶第一。

郎咸朋我們一定會(huì)比友商早，我們一定是第一個(gè)。

02.如何翻盤(pán)

是否可以用更通俗的方式，介紹一下車(chē)企做成 VLA 模型的難度在哪里？

郎咸朋曾經(jīng)也有很多人問(wèn)過(guò)，如果車(chē)企想做 VLA 模型是不是可以跳過(guò)前面的規(guī)則算法，跳過(guò)端到端階段，我認(rèn)為是不行的。雖然 VLA 的數(shù)據(jù)、算法等可能跟之前不太一樣，但是這些仍然是要建立在之前的基礎(chǔ)上的，如果沒(méi)有完整的通過(guò)實(shí)車(chē)采集的數(shù)據(jù)閉環(huán)，是沒(méi)有數(shù)據(jù)能夠去訓(xùn)練世界模型的。

理想汽車(chē)之所以能夠落地 VLA 模型，是因?yàn)槲覀冇?12 億數(shù)據(jù)，只有在充分了解這些數(shù)據(jù)的基礎(chǔ)上，才能夠更好的生成數(shù)據(jù)。如果沒(méi)有這些數(shù)據(jù)基礎(chǔ)，首先不能訓(xùn)練世界模型，其次也不清楚要生成什么樣的數(shù)據(jù)。

什么時(shí)候開(kāi)始意識(shí)到數(shù)據(jù)的重要性？

郎咸朋5 年前確實(shí)理想作為一個(gè)追隨者進(jìn)入了自研的自動(dòng)駕駛賽道，但我們對(duì)自動(dòng)駕駛的思考并不是從 2020 年開(kāi)始的，我們剛進(jìn)理想的時(shí)候，當(dāng)時(shí)李想面試的時(shí)候跟我聊，說(shuō)你覺(jué)得最重要的是什么，比如想在自動(dòng)駕駛做成功或者做到第一？

我說(shuō)現(xiàn)在來(lái)看就是數(shù)據(jù)，雖然說(shuō)別的都很重要，但數(shù)據(jù)必須要提前開(kāi)始準(zhǔn)備，我們是從理想 ONE 開(kāi)始做數(shù)據(jù)閉環(huán)的。2020 年我們通過(guò)第一個(gè)完整的交付年，累計(jì)了 1500 萬(wàn)左右的有效回傳數(shù)據(jù)，我們確實(shí)做了很多數(shù)據(jù)標(biāo)注，樣本是從這積累出來(lái)的。

理想之前一直是自研智駕領(lǐng)域的差生，為什么能用一年時(shí)間翻盤(pán)？

郎咸朋其實(shí)還是站在巨人的肩膀上，如果再往前走，整個(gè)行業(yè)如果從規(guī)則算法走到端到端的話(huà)，我可以說(shuō)走了 10 年左右，但是從端到端開(kāi)始迭代會(huì)非常快，因?yàn)槟菚r(shí)候整個(gè)工程、整個(gè)數(shù)據(jù)都會(huì)成熟起來(lái)，到 VLA，我認(rèn)為也是這樣一個(gè)速度，大家可能現(xiàn)在感覺(jué) VLA 還沒(méi)有什么感覺(jué)，就是做了一個(gè)比端到端稍微好一點(diǎn)的一個(gè)感受，但一年之后你看到一個(gè) 1000MPI 的產(chǎn)品放在你面前的時(shí)候，相信大家都會(huì)覺(jué)得自動(dòng)駕駛真的開(kāi)來(lái)了。

在研 VLA 的車(chē)企很多，雖然理想現(xiàn)在搶到了首發(fā)，但你是否擔(dān)心其他車(chē)企利用后發(fā)優(yōu)勢(shì)彎道超車(chē)？就像理想過(guò)去一年做到的那樣。

郎咸朋從去年端到端開(kāi)始，業(yè)界或我們的競(jìng)爭(zhēng)對(duì)手真正把理想自動(dòng)駕駛當(dāng)回事了，但他們?yōu)闀r(shí)已晚，因?yàn)檫@些能力建設(shè)不是一天兩天就能完全建立起來(lái)或者達(dá)到我們效果的，今年開(kāi)始做 VLA，我們是第一個(gè)提出并馬上是第一個(gè)交付的，很多人還在嘴上說(shuō)，還在用端到端的方式去做 VLA。

如果還是沿著端到端思路去做所謂 VLA 的話(huà)，你的速度一定會(huì)變慢，不管是 1000 萬(wàn)還是 2000 萬(wàn)，哪怕是 1 個(gè)億的 Clips，首先這么大參數(shù)量，需要多大的訓(xùn)練算力，模型得搞到多大先不說(shuō)。另外，你的迭代速度會(huì)變慢。

理想今年實(shí)車(chē)測(cè)試只有 2 萬(wàn)公里，請(qǐng)問(wèn)大幅減少實(shí)車(chē)測(cè)試的依據(jù)是什么？理想汽車(chē)的保有量在新勢(shì)力中算是多的，為什么要放棄自己的優(yōu)勢(shì)？

郎咸朋現(xiàn)在的超級(jí)版本和理想 i8 的 VLA 版本中 90% 以上的測(cè)試都是仿真測(cè)試。我們認(rèn)為實(shí)車(chē)測(cè)試有很多問(wèn)題，成本是其中一方面，最主要的是我們?cè)跍y(cè)試驗(yàn)證一些場(chǎng)景時(shí)不可能完全復(fù)現(xiàn)發(fā)生問(wèn)題時(shí)的場(chǎng)景。同時(shí)，實(shí)車(chē)測(cè)試的效率太低了，在實(shí)車(chē)測(cè)試過(guò)程中要開(kāi)過(guò)去之后再?gòu)?fù)測(cè)回來(lái)，我們現(xiàn)在的仿真效果完全可以媲美實(shí)車(chē)測(cè)試。

通常行業(yè)的做法是保持實(shí)測(cè)測(cè)試規(guī)模，大幅增加仿真測(cè)試做增量。理想是否過(guò)于激進(jìn)了？

郎咸朋仿真測(cè)試效果好，成本低，為什么不用仿真測(cè)試呢？我們保留實(shí)車(chē)測(cè)試是為了一些必要內(nèi)容，任何技術(shù)的提升一定伴隨著研發(fā)流程的變革，工業(yè)時(shí)代來(lái)臨后，刀耕火種的流程被機(jī)械化替代，在自動(dòng)駕駛時(shí)代也是一樣，端到端時(shí)代來(lái)臨后，我們進(jìn)入了使用 AI 技術(shù)做自動(dòng)駕駛的方式，而進(jìn)入了 VLA 大模型時(shí)代，測(cè)試效率是提升能力的核心因素，如果要快速迭代，一定要把在流程中影響快速迭代的因素迭代掉，如果這其中仍有大量的實(shí)車(chē)和人工介入，速度是會(huì)降低的。并不是我們一定要替代實(shí)車(chē)測(cè)試，而是這項(xiàng)技術(shù)，這個(gè)方案本身就要求要使用仿真測(cè)試，如果不這樣做，并不是在做強(qiáng)化學(xué)習(xí)，并不是在做 VLA 模型。

仿真測(cè)試過(guò)程中，能 100% 復(fù)原現(xiàn)實(shí)物理世界么？

湛逸飛我們?cè)?2024 年還是進(jìn)行了 150 多萬(wàn)公里的實(shí)車(chē)測(cè)試，實(shí)際上我們那時(shí)候就已經(jīng)具備了世界模型仿真能力，我們?cè)谟眠@ 150 多萬(wàn)公里的實(shí)車(chē)測(cè)試來(lái)驗(yàn)證仿真環(huán)境的可靠性。

最初世界模型仿真復(fù)現(xiàn)率或真實(shí)性是存在問(wèn)題的，但我們通過(guò)與實(shí)車(chē)測(cè)試數(shù)據(jù)對(duì)比，在過(guò)去一年里針對(duì)仿真測(cè)試中的漏洞或缺陷進(jìn)行了大量工程和算法優(yōu)化，讓仿真一致性達(dá)到了非常高的程度。雖然并沒(méi)有達(dá)到 100%，但準(zhǔn)確率也可以在 99.9% 以上。

近期理想汽車(chē)發(fā)布了 OTA7.5 版本，VLA 很快就發(fā)布了，做這個(gè)版本還有什么意義？

郎咸朋OTA7.5 版本發(fā)布了超級(jí)對(duì)齊，它對(duì) VLA 的意義就是它為 VLA 積攢了很多評(píng)測(cè)場(chǎng)景和數(shù)據(jù)，假設(shè)其他團(tuán)隊(duì)在做 VLA 模型，單純?cè)u(píng)測(cè)就是一項(xiàng)挑戰(zhàn)，需要積累很多的場(chǎng)景。我們?cè)?VLA 模型中能夠快速迭代的原因是 VLA 評(píng)測(cè)就像之前的實(shí)車(chē)評(píng)測(cè)一樣，在實(shí)車(chē)評(píng)測(cè)時(shí)大家都有自己的方式和場(chǎng)景，我們的 VLA 仿真評(píng)測(cè)已經(jīng)在超級(jí)對(duì)齊里做好了基礎(chǔ)，現(xiàn)在已經(jīng)有超過(guò) 40 多萬(wàn)個(gè)場(chǎng)景評(píng)測(cè)了，我們還會(huì)持續(xù)補(bǔ)充。

理想做 VLA 的時(shí)候，有踩過(guò)什么坑？

郎咸朋我們一直認(rèn)知還是比較好的，小坑肯定有，比如算力儲(chǔ)備的多少、交付快點(diǎn)慢點(diǎn)等，小的工程細(xì)節(jié)、優(yōu)化，肯定各家都會(huì)遇到。我覺(jué)得遇到小坑其實(shí)沒(méi)有問(wèn)題，但不要遇到大的判斷失誤，我覺(jué)得我們運(yùn)氣還是可以的。

▍郎咸朋

如果競(jìng)爭(zhēng)對(duì)手也推出了 VLA，即便時(shí)間點(diǎn)晚于理想，但追平的速度是否也會(huì)很快？

郎咸朋VLA 模型的迭代速度也會(huì)非常快，但前提是要有完備的基礎(chǔ)能力，如算法、算力和數(shù)據(jù)等，并且要有工程能力的支撐才能夠?qū)崿F(xiàn)。尤其 VLA 的訓(xùn)練和端到端是不一樣的，它需要更多的和成熟和仿真環(huán)境來(lái)進(jìn)行強(qiáng)化學(xué)習(xí)的訓(xùn)練，和之前只是單純依靠實(shí)車(chē)的數(shù)據(jù)模仿學(xué)習(xí)訓(xùn)練是完全不同的。

它的技術(shù)壁壘有多大？

郎咸朋技術(shù)壁壘肯定是有，理想最核心的技術(shù)壁壘還是世界模型仿真的壁壘，這個(gè)壁壘是非常高的，別人很難短時(shí)間去復(fù)制出來(lái)。因?yàn)樗牡俣鹊么_保，且還得用實(shí)車(chē)去測(cè)試，所以是很難超越我們的。

VLA 帶給理想的領(lǐng)先，能保持多久？

郎咸朋我們組織并不是大家想象的是一個(gè)職能性的組織，還是 IPD 組織，可以理解成是一個(gè)大的項(xiàng)目的形式，雖然大家都在現(xiàn)在部門(mén)里可能有一些部門(mén)的分工、分配，但不管去年做端到端，還是前年做無(wú)圖，還是今年做 VLA，都是成立了內(nèi)部項(xiàng)目組來(lái)做，對(duì)我們來(lái)說(shuō)，組織挑戰(zhàn)倒還好，因?yàn)榇蠹疫@么多年也比較習(xí)慣于這種項(xiàng)目制的研發(fā)了，而且這反而成為我們一種優(yōu)勢(shì)，端到端去年是 180 個(gè)人，今年 VLA 稍微多一點(diǎn)，200 多個(gè)人，其實(shí)并不是弄幾千人去做，我覺(jué)得不需要，我覺(jué)得做得最好的是特斯拉，永遠(yuǎn)都是那一兩百人，做的還都挺好的。

03.壓榨車(chē)端算力

一些競(jìng)爭(zhēng)對(duì)手最近推出的新車(chē)，車(chē)載算力比 i8 更高，你有感受到壓力嗎？

郎咸朋實(shí)際上算力和量化精度是相關(guān)的，也就是如何使用芯片。如果使用精度比較高的表達(dá)方式，等效算力或有效算力會(huì)低一些，但如果使用更好的量化精度，算力就會(huì)高。因?yàn)槲覀儾磺宄渌髽I(yè)的量化精度，所以很難評(píng)判。

我們?cè)谲?chē)載算力上有更加長(zhǎng)期的規(guī)劃，但現(xiàn)在不方便透露。

他們的做法是自研芯片、自研算法，這樣匹配度會(huì)很高。

郎咸朋自研芯片的核心原因是作為一個(gè)專(zhuān)用芯片能夠針對(duì)自己的算法進(jìn)行特定地優(yōu)化處理，性?xún)r(jià)比和效率都會(huì)很高。現(xiàn)在我們依然使用 Thor 芯片是因?yàn)橛ミ_(dá)對(duì)一些新的算子支持是比較好的，算力也比較充足，在整體 VLA 迭代過(guò)程中依然有變化的可能性，所以我們依然在用 Thor 芯片。如果未來(lái)算法鎖定，為了更好的效率和成本，大家都會(huì)考慮自研芯片的。

英偉達(dá)的 Thor 是通用芯片，基于它去做算力壓榨，是可以實(shí)現(xiàn)的嗎？

詹錕我們從去年開(kāi)始用 Orin 芯片做大模型部署，當(dāng)時(shí)英偉達(dá)覺(jué)得這是不可能的，但我們認(rèn)為這是必須要要做的，和英偉達(dá)做了非常詳細(xì)的剖析和拆解，我們的工程團(tuán)隊(duì)、部署團(tuán)隊(duì)做了非常多的工作，包括我們魔改 CUDA 的底層，重寫(xiě) PTX 底層指令，才能實(shí)現(xiàn)現(xiàn)在的效果。

理想汽車(chē)自動(dòng)駕駛團(tuán)隊(duì)的工程部署能力是一以貫之的，其中很關(guān)鍵的一點(diǎn)是我們打磨細(xì)節(jié)的能力，芯片能否被壓榨最主要的事做底層分析，解決瓶頸熱點(diǎn)。大家會(huì)發(fā)現(xiàn) VLA 從最初推理一幀需要 500-600 毫秒到最后實(shí)現(xiàn) 10Hz，提升了近 10 倍的效率，這其中有非常多的細(xì)節(jié)都是我們?cè)谟龅絾?wèn)題后拆解當(dāng)前芯片適配的算法，調(diào)整算子，讓算子和芯片目前的能力更匹配。大家會(huì)常用的推理模型會(huì)用 FP16，我們把它降到 FP8，性能做了非常的提升，同時(shí) FP4 也是英偉達(dá)在最新的 Blackwell 架構(gòu)中非常推崇的，我們會(huì)進(jìn)一步把芯片算力壓榨出來(lái)。

配合 Thor 芯片上車(chē)的過(guò)程，應(yīng)該也不太容易。

郎咸朋我們是第一次用 Thor 芯片上車(chē)的，我們也是在過(guò)去 L9 的時(shí)候，第一個(gè)用 Orin 芯片。再往前，我們是第一個(gè)用 J3 芯片。其實(shí)我們積累的很多跟芯片廠(chǎng)商的供應(yīng)商的這種合作經(jīng)驗(yàn)，包括再往前推算 J3 芯片，當(dāng)時(shí) J3 芯片設(shè)計(jì)很有缺陷。但是我們會(huì)跟合作伙伴一起，去做一些優(yōu)化和迭代，這都是很正常的一個(gè)過(guò)程。

我們也知道，芯片的產(chǎn)生，它需要有很多輸入，我們也在新的芯片研發(fā)過(guò)程當(dāng)中，我們也給它提供很多輸入，比如 J3 上的問(wèn)題，它在 J5 上解決了；Orin-X 問(wèn)題，可能在 Thor 上解決了，Thor 上問(wèn)題可能也會(huì)在其他的方面去解決。我覺(jué)得這是一個(gè)正常的研發(fā)過(guò)程，主要還是看最終的應(yīng)用情況。

如何做到將精度從 FP16 降至 FP8 時(shí)，還能保持模型精度？

詹錕首先這是業(yè)界比較共識(shí)的一個(gè)問(wèn)題，在大模型領(lǐng)域，大家對(duì)數(shù)值精度的要求會(huì)降低，這也是為什么，大家看到 DeepSeek 開(kāi)始推它的 FP8，為什么以前做不到？也是因?yàn)槟Ｐ蛥?shù)規(guī)模過(guò)大，對(duì)它的容錯(cuò)變低了，它通過(guò)更多的層，更多的數(shù)據(jù)容量，把之前的異常值降的越來(lái)越少，這是大模型一個(gè)特性，這也是為什么到 VLM、VLA 領(lǐng)域以后，大家會(huì)逐漸往低精度，更精細(xì)的計(jì)算密集型的算子上去靠近。

另一個(gè)很重要的，我們還是做了大量的數(shù)據(jù)清洗。以往出現(xiàn)這種數(shù)據(jù)噪點(diǎn)還是因?yàn)橛信K數(shù)據(jù)，但是我們這里面做了大量的數(shù)據(jù)清洗、數(shù)據(jù)儲(chǔ)備工作，把不好的數(shù)據(jù)去掉，這樣才能讓訓(xùn)練變得穩(wěn)定、變得收斂，這也是目前像大語(yǔ)言模型大家常規(guī)的迭代方向。

未來(lái)有沒(méi)有可能做到 FP4？那樣相當(dāng)于 Thor 的有效算力又翻了一倍。

詹錕如果你想做 FP4，要在訓(xùn)練上花更多精力，做更多的數(shù)據(jù)迭代、數(shù)據(jù)清洗，才能往這方面做。目前我們也在做這樣的嘗試，很快就可以再把 Thor 芯片的算力進(jìn)一步壓榨出來(lái)。

04.目標(biāo)完成一半

VLA 是一次人工智能領(lǐng)域中的技術(shù)創(chuàng)新，還是一次工程領(lǐng)域的創(chuàng)新？

詹錕VLA 不只是工程方面的創(chuàng)新，大家如果關(guān)注具身智能，會(huì)發(fā)現(xiàn)這波浪潮伴隨著大模型對(duì)物理世界的應(yīng)用，這本質(zhì)就是提出了一個(gè) VLA 算法，我們的 VLA 模型就是想把具身智能的思想和路徑引用在自動(dòng)駕駛領(lǐng)域。我們是最早提出，也是最早開(kāi)始實(shí)踐的。

但對(duì)于自動(dòng)駕駛而言，很大的挑戰(zhàn)是必須要有工程創(chuàng)新。因?yàn)?VLA 是一個(gè)大模型，大模型部署在邊緣端算力上是非常具有挑戰(zhàn)的。很多團(tuán)隊(duì)并不是認(rèn)為 VLA 不好，而是因?yàn)?VLA 部署有困難，把它真正落地是非常具有挑戰(zhàn)性的事情，尤其是在邊緣端芯片算力不夠的情況下是不可能完成的，所以我們是在大算力芯片上才能部署。所以這不僅僅是工程創(chuàng)新，但的確需要工程部署大范圍優(yōu)化才能實(shí)現(xiàn)。

感受層面，VLA 大模型開(kāi)車(chē)會(huì)比端到端的體驗(yàn)好一點(diǎn)，但現(xiàn)在還不多，它的意義是什么。

詹錕相對(duì)于端到端大模型，VLA 模型是有思考能力的，這是它不可否認(rèn)的一個(gè)優(yōu)勢(shì)。剛剛反復(fù)強(qiáng)調(diào)在 VLA 里面，L（Language）是非常重要的。我們也認(rèn)為，自動(dòng)駕駛想要往 L4 或者往更高的能力前進(jìn)，L 是一個(gè)必經(jīng)之路。現(xiàn)在無(wú)論是大語(yǔ)言模型，還是其他的模型，也都開(kāi)始做端到端的 L。我們?cè)谌ツ昴甑椎臅r(shí)候，意識(shí)到這個(gè)過(guò)程，所以我們?cè)诖罅Φ娜グl(fā)展 L，而且目前也在 VLA 里面有很多應(yīng)用。

所以現(xiàn)在的 VLA，和理想同學(xué)智能體，未來(lái)會(huì)統(tǒng)一成一個(gè)架構(gòu)嗎？

詹錕我們相信 VLA 在未來(lái)會(huì)形成一個(gè)更大的、統(tǒng)一的架構(gòu)。我們也覺(jué)得 VLA 是在對(duì)物理世界 AI 落地來(lái)說(shuō)，是非常好、非常一致性的前瞻技術(shù)，并不僅僅是自動(dòng)駕駛，可能是物理 AI 目前看到最合理的一個(gè)方向。

所以 VLA 不只是 L4 智能駕駛的起點(diǎn)，你們判斷它也是人工智能的起點(diǎn)，有計(jì)劃把它用在其他的硬件上嗎，比如機(jī)器人？

郎咸朋這肯定是可以拓展的，我們也成立了各種其他的機(jī)器人部門(mén)。VLA 是一個(gè)很好的具身智能的技術(shù)框架，可能可以延續(xù)到其他方向。

什么時(shí)候能實(shí)現(xiàn)更高層級(jí)的智能體，比如 AI Agent？

郎咸朋之前我們確實(shí)有一個(gè)司機(jī) Agent 的說(shuō)法，但是我們現(xiàn)在把它又迭代了一下，我們認(rèn)為 VLA 先專(zhuān)注于提供一個(gè)好的司機(jī)，我們叫家庭司機(jī)。先把車(chē)開(kāi)好，Agent 的能力，我覺(jué)得后面再結(jié)合其他應(yīng)用去做。我們現(xiàn)在分析各種 AI Agent 體驗(yàn)和 Agent 的產(chǎn)品，我們認(rèn)為還是屬于比較初級(jí)的階段。

車(chē)端部署 VLA 大模型的時(shí)候，是否需要有一些輕量化、更小的版本，比如通過(guò)蒸餾？

詹錕在部署時(shí)的效率和蒸餾上我們做了非常多平衡。我們的基座模型是自研的 8 乘以 0.4B 的 MoE 模型，這是業(yè)界沒(méi)有的，我們?cè)谏钊敕治鲇ミ_(dá)芯片后，發(fā)現(xiàn)這個(gè)架構(gòu)非常適合它，推理速度快的同時(shí)模型容量大，能夠同時(shí)容納不同場(chǎng)景、不同能力的大模型，這是我們?cè)诩軜?gòu)上的選擇。

另外，我們是大模型蒸餾出來(lái)的，我們最早訓(xùn)練了一個(gè) 32B 的云端大模型，它容納了海量的知識(shí)和駕駛能力，我們把它做出的思考和推理流程蒸餾到 3.2B 的 MoE 模型上，配合 Vision 和 Action，使用了 Diffusion。我們用這樣的方法做了非常多的優(yōu)化。

從細(xì)節(jié)上來(lái)看，我們也針對(duì) Diffusion 做了工程優(yōu)化，并不是直接使用標(biāo)準(zhǔn) Diffusion，而是進(jìn)行了推理的壓縮，可以理解為一種蒸餾。以前 Diffusion 可能要推理 10 步驟，我們使用了 flow matching 流匹配只需要推理 2 步就可以了，這方面的壓縮也是導(dǎo)致我們真正能夠（在車(chē)端）部署 VLA 的本質(zhì)原因。

剛才試乘試駕的時(shí)候，對(duì) i8 說(shuō)前進(jìn) 5 米，VLA 就真的能讓 i8 精確的前進(jìn) 5 米。這是因?yàn)樘匾庾鲞^(guò)訓(xùn)練么？

詹錕我們不會(huì)單純地讓模型學(xué)習(xí)向前走 10m、12m 這樣生硬的數(shù)據(jù)，但是在海量的通識(shí)數(shù)據(jù)中，有很多對(duì)物理空間的理解。比如前方白車(chē)距離多少米，前方路沿和我有多少距離，而且現(xiàn)在大模型也已經(jīng)加入很多物理空間的知識(shí)，包括現(xiàn)在的 ChatGPT、千問(wèn)都具備這樣的能力，把這些能力在大模型里學(xué)習(xí)之后，我們只需要在 Action 中把它體現(xiàn)出來(lái)。當(dāng)我們把海量數(shù)據(jù)喂給它以后，這些數(shù)據(jù)具備組合泛化能力，并不是教什么學(xué)什么，當(dāng)量級(jí)達(dá)到一定規(guī)模時(shí)，會(huì)涌現(xiàn)出一些能力，包括行為。

我們很多能力和知識(shí)就是各個(gè)學(xué)科交叉的融合，我們也非常關(guān)注現(xiàn)在大模型的進(jìn)展，隨時(shí)可以向自動(dòng)駕駛上遷移。

（為便于閱讀，本文的提問(wèn)部分經(jīng)重新編輯。回答部分在不影響原意的基礎(chǔ)上，僅做小幅改動(dòng)。）

本文為汽車(chē)像素（autopix）原創(chuàng)內(nèi)容未經(jīng)授權(quán)，請(qǐng)勿轉(zhuǎn)載

原文標(biāo)題:理想 i8 的秘密武器VLA 首發(fā)背后的數(shù)據(jù)、工程與組織準(zhǔn)備