汽車具身智能體軟件工程架構(gòu)與算法模型聯(lián)合開發(fā)項(xiàng)目公開尋源
發(fā)布時間：（略）:00:00結(jié)束時間：
汽車具身智能體軟件工程架構(gòu)與算法模型聯(lián)合開發(fā)
項(xiàng)目公開尋源
為尋求優(yōu)秀的供應(yīng)商進(jìn)行合作，確保《汽車具身智能體軟件工程架構(gòu)與算法模型聯(lián)合開
發(fā)項(xiàng)目》項(xiàng)目采購順利進(jìn)行，現(xiàn)對該采購項(xiàng)目進(jìn)行供應(yīng)商公開招募，歡迎符合條件的供應(yīng)
商報名參加。
項(xiàng)目名稱：（略）
1.項(xiàng)目概述
1.1背景介紹
基于《大模型在智能化領(lǐng)域的研究及工程應(yīng)用》第5子課題：具身智能。
智能體（Agent）指能夠通過感知環(huán)境并采取行動以實(shí)現(xiàn)特定目標(biāo)的實(shí)體。
具身智能（EnbodiedA）指主體（機(jī)器）在自體、對象與環(huán)境等要素間相互作用（信息
感知、轉(zhuǎn)化和響）的過程中建構(gòu)認(rèn)知模型達(dá)成問題解決或價值實(shí)現(xiàn)的人工智能方法。
具身智能體（Enbodiedagent）指能夠與現(xiàn)實(shí)世界（包括人類）聯(lián)系、觀察、互動并從中
學(xué)習(xí)，在學(xué)習(xí)中適應(yīng)環(huán)境變化并在沒有人為干預(yù)的情況下進(jìn)化的智能體。
本課題中的汽車具身智能體定位為可感知、會思考、能決策的智慧出行伙伴是通過與
物理世界的交互獲取：（略）
間更加自然流暢的人機(jī)交互，更個性化且主動地服務(wù)用戶。
依托此項(xiàng)目，開展具身智軟件工程架構(gòu)預(yù)研究和示范應(yīng)用的聯(lián)合開發(fā)，形成端側(cè)具身智
能體技術(shù)應(yīng)用架構(gòu)，具備主動感知、理解環(huán)境，規(guī)劃調(diào)度駕駛、非駕駛?cè)蝿?wù)，實(shí)現(xiàn)專屬司機(jī)、
駕駛助手、家庭陪護(hù)、專業(yè)秘書等智能體示范應(yīng)用場景。
1.2工作范圍
主要工作范圍包括：
（1）具身智能體部署環(huán)境搭建；
（2）（略）接入及調(diào)試：
（3）智能體推理內(nèi)核的算法開發(fā)集成包括作為智能體推理內(nèi)核的多模態(tài)大模型的開發(fā)、
壓縮、評估、部署、后處理及迭代；
（4）具身智能體應(yīng)用開發(fā)集成：包括安裝和配置必要的中間件組件具身智能體應(yīng)用架
構(gòu)設(shè)計開發(fā)與集成、示范應(yīng)用場景的實(shí)車開發(fā)與部署。
具身智能體應(yīng)用開發(fā)的軟件架構(gòu)可參考以下架構(gòu)圖
圖2.1具身智能體軟件架構(gòu)圖
智能體應(yīng)用軟件
推理決策層智能體應(yīng)用層
記憶與個性化模塊意圖識別場景
（略）塊
長期記
注冊管理
反思總結(jié)
智能體應(yīng)用場景涉及任務(wù)原
DMS智能體定義子能力
其余專業(yè)智能
任務(wù)推理行能體
搶內(nèi)駕駛員體
圖像非駕駛?cè)蝿?wù)上下文管理模塊
工具極塊
交互執(zhí)行層
（略）接人
OMS令執(zhí)行模塊
感知層UI交互模塊
艙內(nèi)UI交互模塊
采員圖像
車輛狀態(tài)獲取：（略）
息獲取：（略）
艙內(nèi)外感知駕駛信息獲取：（略）
IMCAN信號
（略）接口
能體推理內(nèi)
駕駛?cè)蝿?wù)
多模大模型
乙方一期開發(fā)乙方二期開發(fā)
甲方提供共建
2.性能指標(biāo)和技術(shù)要求
2.1具身智能體部署環(huán)境搭建
為支持具身智能體研發(fā)工作，需采購下述硬件設(shè)備用于臺架搭建。
口像頭：
每套攝像頭包含連接到控制器的線束及支架，具體性能指標(biāo)要求參照下
表，此性能指標(biāo)作為最終專業(yè)部門驗(yàn)收時指標(biāo)要求：
表2.1攝像頭性能要求
項(xiàng)目參數(shù)
類型環(huán)視攝像頭aM6攝像頭
說明環(huán)視帶紅外補(bǔ)光燈IR和RGB二合一
數(shù)量（件）202
視角范圍（H>120°M>=100°（H>=150°(M>-80°
分辨率>800萬>500萬
幀率>30fps>30fps
HRRange>80dB>40dB
口車載顯示器、麥克風(fēng)、揚(yáng)聲器
每套車載顯示器包含連接到控制器的線束以及安裝支架。
表2.2車載顯示器性能要求
說明參數(shù)
類型車載顯示器
數(shù)量2
屏幕尺寸12-15英寸
屏幕比例16:9
分辨率大于2.5K
接口HDM
供電DC2V
車載麥克風(fēng)包含麥克風(fēng)和連接到控制器的線束和安裝支架；
車載揚(yáng)聲器包含揚(yáng)聲器和連接到控制器的線束和安裝支架。
（略）與軟件
（1）英偉達(dá)Thor（略）由甲方提供的Thor（略）（Liunx）
及深度學(xué)習(xí)開發(fā)的基礎(chǔ)工具鏈，（略）做針對Thar平
臺的模型部署和適配及智能體全套功能的部署，并做對應(yīng)的工具鏈補(bǔ)充和優(yōu)化。
（2）（略）：高通8295芯片以及控制器臺架（不含高通8295深度學(xué)習(xí)開發(fā)
工具鏈）由甲方提供，（略）采用Android+Q系統(tǒng)乙方需根據(jù)高通
（略）做模型的適配部署及部分功能的開發(fā)（具體參見（略））并完善對應(yīng)的工
具鏈保證模型部署運(yùn)行。
2.2（略）對接及調(diào)試
（略）（英偉達(dá)Thor、高通8295）對車輛圖像、語音、（略）等感
知數(shù)據(jù)的接收和解析；
口實(shí)現(xiàn)與車輛IM（略）域控制器與VU（略）域控制器（如座椅，車門，車窗，
空調(diào)）（略）握手，確保具身智能體發(fā)送的指合能夠準(zhǔn)確，及時轉(zhuǎn)換為物理動作和獲
取執(zhí)行結(jié)果；
（略）（僅英偉達(dá)Thor控制器）和IM（略）生態(tài)APP的交互和退
出控制，（略），IM（略）的相關(guān)功能，并及時退
出。
本項(xiàng)目在已經(jīng)改制完成的車輛中，對實(shí)現(xiàn)汽車具身智能示范場景所需要的圖像、音頻、
（略）進(jìn)行接入和調(diào)試，以滿足算法的輸入需求。
甲方提供基于東風(fēng)奕派007優(yōu)化和修改的車型（包含感知數(shù)據(jù)的輸入接口以及智能駕
駛、娛樂、（略）的執(zhí)行接口），（略）中并
輸出與執(zhí)行接口對接的指令，并在優(yōu)化過程中調(diào)試數(shù)據(jù)輸入質(zhì)量，信號的延遲等，下表為包
含的具體任務(wù)。
表2.3攝像頭及其它性能調(diào)試技術(shù)任務(wù)要求
（略）功能功能描述性能指標(biāo)
1信號和數(shù)據(jù)接實(shí)現(xiàn)車輛原有的攝像頭、（略）收發(fā)實(shí)時
收與解析CAN（略）之間的接口對接，（略）進(jìn)行解析、處理，滿足算法所需，（略）能準(zhǔn)確的獲取：（略）
2執(zhí)行器交互與控制1.實(shí)現(xiàn)與車輛控制器（如座椅，車門，車窗，空調(diào)）（略）握手，確保具身智能體發(fā)送的指合能夠準(zhǔn)確，及時轉(zhuǎn)換為物理動作需滿足實(shí)現(xiàn)示范場景功能控制（1）（略）握手，使具身智能體能夠控制（車門，車窗，座椅、空調(diào)等）（2）（略）的簡單控制，如ecall，語音等
3（略）和I（略）的交互與控制實(shí)現(xiàn)與車輛智能駕駛和IM（略）生態(tài)APP的單向交互和退出控制，（略），IM（略）的相關(guān)功能，并能退出需滿足實(shí)現(xiàn)示范場景功能控制（1）（略）（包括NOAACCALO等的調(diào)用，能啟用/關(guān)閉此功能（2）（略）的交互，（略）播報文字，（略）輸出的文字信息（3）實(shí)現(xiàn)與IM（略）的交互，能夠控制車載的生態(tài)應(yīng)用的調(diào)用，
關(guān)閉（包括不限于相機(jī)，音樂，視頻，導(dǎo)航等）
2.3智能體推理內(nèi)核開發(fā)集成
（略）模型開發(fā)
（略）數(shù)據(jù)集前處理工具和數(shù)據(jù)集構(gòu)建
開發(fā)和提供數(shù)據(jù)集前處理工具，并基于提供的多種類型已標(biāo)注數(shù)據(jù)，構(gòu)建多模態(tài)感知任
務(wù)、決策推理任務(wù)訓(xùn)練數(shù)據(jù)集；
基于公開數(shù)據(jù)集或乙方已有數(shù)據(jù)集，完成智能體調(diào)度能力數(shù)據(jù)集、安全隱私保護(hù)任務(wù)訓(xùn)
練數(shù)據(jù)集構(gòu)建。
（略）模型訓(xùn)練
設(shè)計、開發(fā)和提供適用汽車場景應(yīng)用的多模態(tài)大模型的訓(xùn)練算法及相應(yīng)模型。
要求模型：
（1）可進(jìn)行多模態(tài)輸入、推理和輸出，具有常用多語種輸入，支持流式輸入輸出：
（2）適配高通8295/英偉達(dá)Thor（略）部署；
(3）滿足汽車具身智能體應(yīng)用場景理解能力、情緒理解和共情能力、規(guī)劃推理能力、工
具調(diào)用能力要求；
（4）符合團(tuán)體標(biāo)準(zhǔn)TC260-003生成式人工智能服務(wù)安全基本需求中的安全隱私相關(guān)要
求；
（5）設(shè)計實(shí)現(xiàn)模型架構(gòu)，滿足模型的多任務(wù)推理性能；
（6）能導(dǎo)出不同參數(shù)量尺寸的模型，以滿足實(shí)際部署的需要，包括不限于在端側(cè)部署的
小規(guī)模模型。
由乙方提供基座模型并負(fù)責(zé)對模型的迭代達(dá)到具身智能體的推理能力需求，基座模型需
來源于至少2億組數(shù)據(jù)訓(xùn)練得到的預(yù)訓(xùn)練模型。
（略）場景理解能力
基于多模態(tài)大模型，結(jié)合專業(yè)視覺模型能力，完成包括座艙內(nèi)外場景理解任務(wù)、駕乘人
員交互指合識別任務(wù)。
理解座艙駕乘人員和艙外場景。
表2.4場景理解能力及其性能指標(biāo)
（略）功能功能要求性能指標(biāo)
1艙內(nèi)人員識別識別座艙內(nèi)的乘員人數(shù)，位置，性別，年齡段(0-3、3-7、7-12、12-18、20-50、50以上）等準(zhǔn)確率95%
2艙內(nèi)人員情緒感知結(jié)果駕駛員面部表情和情緒狀態(tài)（憤怒、開心、傷心、害怕、無感情）準(zhǔn)確率90%
3艙內(nèi)人員狀態(tài)識別汽車座艙場景下艙內(nèi)人員的狀態(tài)，輸出疲勞分心駕駛，睡眠，閱讀識別結(jié)果準(zhǔn)確率95%
4艙內(nèi)人員特征感知感知艙內(nèi)人員的穿著，衣著類型（正裝、T恤、休閑裝、羽絨服等），衣服顏色，發(fā)型類型（短發(fā)、長發(fā)）等準(zhǔn)確率90%
5艙內(nèi)人員行為識別識別艙內(nèi)人員的有參考意義動作，如手勢（字、6字、K、大拇指向上、大拇指向下）、睡覺，通話，打哈欠，指向窗外，扇風(fēng)，擦汗，吃東西，使用手機(jī)，閱讀等準(zhǔn)確率95%
6艙內(nèi)物品識別識別艙內(nèi)物品：寵物、背包、錢包、手機(jī)、校服、電腦的物體等準(zhǔn)確率95%
7艙內(nèi)環(huán)境感知感知艙內(nèi)光線環(huán)境（白天、夜晚、是否隧道內(nèi)）準(zhǔn)確率90%
8（略）條件識別識別行車條件下的坑洼、積水、窄路、擁堵、高速減速帶等準(zhǔn)確率90%
9艙外環(huán)境感知感知艙外光線環(huán)境：逆光、低光、隧道、地庫準(zhǔn)確率90%
10艙外環(huán)境感知感知艙外天氣狀況：晴天、小雨、大雨、雪天、大霧準(zhǔn)確率90%
11艙外行車環(huán)境感知識別行車場景，交通標(biāo)志準(zhǔn)確率95%
12艙外行車環(huán)境感知識別行車場景，地標(biāo)建筑、路側(cè)風(fēng)景準(zhǔn)確率90%
13艙外行車環(huán)境感知識別行車場景，車型車牌準(zhǔn)確率90%
14艙外行車環(huán)境感知識別行車場景，車輛加塞準(zhǔn)確率90%
15艙外行車環(huán)境感知識別行車場景，大車靠近準(zhǔn)確率90%
（略）情緒理解、共情偏好對齊能力
基于多模態(tài)大模型，完成情緒理解和共情任務(wù)，通過視覺、語音、語言信息，綜合判斷
準(zhǔn)確識別用戶情緒；
（1）生成與用戶共情、關(guān)注用戶情緒的語音互動內(nèi)容；
（2）生成與用戶共情、關(guān)注用戶情緒的主動/被動服務(wù)。
表2.5情緒理解、共情偏好識別能力及其性能指標(biāo)
（略）字段名字段解釋具體要求
1多模態(tài)情緒識別準(zhǔn)確語音/表情/文本綜合判斷準(zhǔn)確率≥80%
率
2共情生成準(zhǔn)確率模型生成的與用戶共情、關(guān)注用戶情緒的語音互動內(nèi)容，符合用戶情緒且恰當(dāng)?shù)谋壤?5%
3主動服務(wù)觸發(fā)準(zhǔn)確率情緒驅(qū)動的服務(wù)建議合理率≥85%
（略）規(guī)劃推理能力
基于多模態(tài)大模型，提升規(guī)劃推理能力：
（1）整合車內(nèi)外場景，提取關(guān)鍵信息能力，訓(xùn)練模型綜合處理艙內(nèi)外場景、對話信息、
（略）信息、多模交互信息、車機(jī)屏幕信息：
（2）提升意圖理解能力：設(shè)計合理的需求洞察體系，微調(diào)模型遵從框架、洞察用戶需求
能力；
3）規(guī)劃如何調(diào)度記憶讀取、工具獲取：（略）
取哪些信息，可通過哪些渠道獲取：（略）
表2.6綜合規(guī)劃推理能力及其性能指標(biāo)
（略）字段名字段解釋性能指標(biāo)
基座模型
1信息提取準(zhǔn)確率艙內(nèi)外關(guān)鍵信息提取準(zhǔn)確率≥95%
2（略）徑的合理的比例≥95%
3重規(guī)劃準(zhǔn)確率模型在反思任務(wù)執(zhí)行后進(jìn)行重規(guī)劃并正確執(zhí)行的比例≥92%
4任務(wù)完成率多步驟任務(wù)完整執(zhí)行比例≥90%
（略）工具調(diào)用與指命遵從能力
口智能體能力任務(wù)
微調(diào)增強(qiáng)多模態(tài)大模型進(jìn)行智能體相關(guān)基礎(chǔ)能力，包括工具調(diào)用能力、指合遵從能力：
（1）微調(diào)模型FunctionGalling能力，訓(xùn)練模型對輸入輸出格式遵從、規(guī)劃合適的工具
使用計劃、理解工具調(diào)用任務(wù)上下文、根據(jù)指命中的備選工具檢索合適的工具、構(gòu)
建合適的工具輸入?yún)?shù)、規(guī)避在未提供工具的情況下進(jìn)行了工具調(diào)用的動作幻覺。
（2）微調(diào)模型思維鏈（COT）、反思（ReAct）指今遵從的能力。
表2.7工具調(diào)用與指合遵從能力及其性能指標(biāo)
（略）字段名字段解釋具體要求
1FunctionCalling格式遵從率輸入輸出格式規(guī)范符合率≥95%
2工具檢索準(zhǔn)確率備選工具選擇正確率≥95%
3工具使用計劃比例對模型規(guī)劃的合適工具的比例≥95%
4工具上下文理解準(zhǔn)確率模型理解工具調(diào)用任務(wù)上下文的正確比例≥95%
5動作幻覺率未授權(quán)工具/不存在工具誤調(diào)用比例≤1%
6COT指合遵從率模型遵從COT指合的比例≥95%
7ReAct指合遵從率模型遵從ReAct指今的比例≥95%
口餐智能體能力評估
（3）工具調(diào)用能力評估采用T-EAL、BFC或者類似的評估數(shù)據(jù)集，以及適應(yīng)座艙場景
的工具調(diào)用數(shù)據(jù)集（需要在本任務(wù)中構(gòu)建），要求準(zhǔn)確率大于95%
（4）指合遵從能力評估采用，適應(yīng)駕駛、非駕駛場景的工具調(diào)用數(shù)據(jù)集（需要在本任務(wù)
中構(gòu)建），要求準(zhǔn)確率大于95%
（略）安全隱私保護(hù)能力
確保模型能夠滿足團(tuán)體標(biāo)準(zhǔn)TC260-003生成式人工智能服務(wù)安全基本需求中的安全隱
私相關(guān)要求。
（略）模型壓縮
進(jìn)行多模態(tài)大模型的壓縮（量化、剪枝、蒸餾）開發(fā)和測試：提供車端大模型量化和部
署環(huán)境、相應(yīng)工具鏈和培訓(xùn)。
（1）要求開發(fā)和提供通用的車端多模態(tài)大模型量化工具，能夠通過剪枝、量化、知識蒸
餾等方法減小模型大小，降低計算復(fù)雜度。
（2）支持輸出多個參數(shù)規(guī)模版本，至少需要包含2B以下及原始參數(shù)量的兩個版本。
（3）硬件適配性：（略）上高效運(yùn)行，（略）
的資源占用要求。
（4）軟件框架：（略）部署的軟件框架等。
壓縮大模型的規(guī)模使得模型能夠部署到車機(jī)端，要求詳見（略）模型部署。
（略）模型評估
針對汽車智能體模型任務(wù)，設(shè)計、開發(fā)和提供模型評估工具和評估用例進(jìn)行模型評估，
提交模型評估報告，評估方法按照符合國標(biāo)GBT45288.2-2025人工智能大模型第2部
分：評測指標(biāo)與方法的方式：（略）
要求利用現(xiàn)有開源數(shù)據(jù)集和汽車場景實(shí)際場景數(shù)據(jù)構(gòu)建評估數(shù)據(jù)集，對算法的魯棒性和
可靠性進(jìn)行評估，評估指標(biāo)要求詳見各個任務(wù)章節(jié)所述要求。
（略）模型部署
實(shí)現(xiàn)模型輸入數(shù)據(jù)的接口，使車輛的艙內(nèi)外感知數(shù)據(jù)（包括但不限于攝像頭、（略））
采集的數(shù)據(jù)能夠被模型正確讀取和處理。對感知數(shù)據(jù)進(jìn)行預(yù)處理（統(tǒng)一格式，歸一化），以
滿足模型的統(tǒng)一輸入要求。（略）上，編寫和配置模型的運(yùn)行腳
本，提供調(diào)用接口，（略）支持的模型推理框架的接口標(biāo)準(zhǔn)，支持流式輸出。
（略）上部署量化后的多模態(tài)大模型（（略），高通8295），針
（略），需要做不同參數(shù)版本即提供2B以下的版本及量化，以滿足
部署算力要求：并提供模型量化工具，模型轉(zhuǎn)換工具，及工具鏈的二次開發(fā)方式：（略）
滿足項(xiàng)目要求。
（略）要求做性能優(yōu)化以適配車載算力的需求，完成車端的部署，部署模型相
應(yīng)指標(biāo)要求如下：
表2.8部署模型推理性能指標(biāo)
芯片加速單元模型壓縮規(guī)模編碼速度tokens/s解碼速度tokens/sDDR內(nèi)存占用/GB首字延遲/n
英偉達(dá)ThorNPU8B>600>6016←100（單語言輸入推理）←700（多模態(tài)輸入推理）
高通8295NPU>1B>300>302←300（單語營輸入推理）←800（多模態(tài)輸入推理
（略）正常運(yùn)行，8295芯片的實(shí)車部署過程中，設(shè)計可
用的NPU算力約20Tops，但需根據(jù)實(shí)車的條件，在實(shí)際的運(yùn)行環(huán)境中適配算力，并與其他NPU
使用程序（如E/DV）協(xié)同合理利用PU和DR資源，并制定相應(yīng)的使用的策略，以保
（略）的穩(wěn)定運(yùn)行。
針對不同的部署芯片（英偉達(dá)Thor，高通8295），要求模型壓縮后的模型端側(cè)部署性能
下降<5%同時，模型的端側(cè)部署都需滿足如下表的處理任務(wù)：
表2.9部署開發(fā)任務(wù)要求
（略）任務(wù)任務(wù)描述性能指標(biāo)
（略）上，編寫或配置模型的運(yùn)行腳本端側(cè)模型文件可在實(shí)車上正常搭載運(yùn)行。
2感知數(shù)據(jù)統(tǒng)一接口集成實(shí)現(xiàn)模型輸入數(shù)據(jù)的接口，使車輛的艙內(nèi)外感知數(shù)據(jù)（包括但不限于攝像頭、（略））采集的數(shù)據(jù)能夠被模型正確讀取和處理：對感知數(shù)據(jù)進(jìn)行預(yù)處理（統(tǒng)一格式，歸一化），以滿足模型的統(tǒng)一輸入要求數(shù)據(jù)預(yù)處理時間對感知數(shù)據(jù)的預(yù)處理（格式轉(zhuǎn)換、歸一化等）；（略）的數(shù)據(jù)格式、頻率和分辨率與端側(cè)模型的輸入要求完全兼容，無需人工干預(yù)自動適配;數(shù)據(jù)準(zhǔn)確性數(shù)據(jù)接口應(yīng)保證數(shù)據(jù)在轉(zhuǎn)換或傳輸過程中的準(zhǔn)確性，誤差率不超過0.1%
3工具鏈提供端側(cè)模型部署的整套工具鏈，以支持模型的轉(zhuǎn)換，量化及二次開發(fā)需求及提供相應(yīng)的培訓(xùn)工具鏈需支持新的模型適配轉(zhuǎn)換及后續(xù)二次開發(fā)的接口
（略）模型后處理
開發(fā)模型輸出后處理程序，將模型的推理結(jié)果按統(tǒng)一輸出，對于感知任務(wù)，統(tǒng)一輸出格
式輸出模型結(jié)果；
開發(fā)決策任務(wù)的后處理邏輯，將決策結(jié)果轉(zhuǎn)換為車輛可以接收的控制指命，實(shí)現(xiàn)與車輛
執(zhí)行器的交互協(xié)議，確保指合能執(zhí)行。
表2.10模型后處理性能要求
（略）任務(wù)任務(wù)描述性能指標(biāo)
1模型輸出接口集成開發(fā)模型輸出后處理程序，將模型的推理結(jié)果按統(tǒng)一輸出。對于感知任務(wù)，統(tǒng)一輸出格式輸出模型結(jié)果：對決策任務(wù)，輸出統(tǒng)一的指今格式。輸出格式遵從率100%
2控制指合輸出處理開發(fā)決策任務(wù)的后處理邏輯，將決策結(jié)果轉(zhuǎn)換為車輛可以接收的控制指合，實(shí)現(xiàn)與車輛執(zhí)行器的交互協(xié)議，確保指合能執(zhí)行輸出指合沖突率<1%
3安全隱私過濾檢查模型的輸出，過濾輸出，滿足安全、隱私要求滿足團(tuán)體標(biāo)準(zhǔn)TC260-003生成式人工智能服務(wù)安全基本需求中的安全隱私相關(guān)要求
（略）算法迭代和改進(jìn)
根據(jù)離線和實(shí)車的評測結(jié)果，分析模型的優(yōu)勢和不足之處，進(jìn)行算法的迭代和改進(jìn)。開
發(fā)樣車的數(shù)據(jù)閉環(huán)工具，支持對實(shí)車測試數(shù)據(jù)的分析與回灌。基于實(shí)車采集的測試數(shù)據(jù)，進(jìn)
行數(shù)據(jù)驅(qū)動的改進(jìn)，優(yōu)化算法的感知和決策能力。
針對特定問題和場景進(jìn)行算法調(diào)優(yōu)和參數(shù)優(yōu)化，以提高算法的性能和魯棒性。
2.4具身智能體應(yīng)用開發(fā)集成
具身智能體應(yīng)用開發(fā)集成包括安裝和配置必要的中間件組件、具身智能體應(yīng)用架構(gòu)設(shè)計
開發(fā)與集成、示范應(yīng)用場景的實(shí)車開發(fā)與部署。
具身智能體應(yīng)用開發(fā)集成，需提供高通8295和英偉達(dá)Thor（略）的軟件部署方案
其中基于高通8295芯片的可做針對芯片能力的精簡，并提供相應(yīng)的部署方案和相應(yīng)腳本。
（略）安裝和配置必要的中間件組件
安裝和配置必要的中間件組件，包括通信庫、數(shù)據(jù)庫和其他服務(wù)用于支持具身智能體的
數(shù)據(jù)交互、信息存儲、消息傳遞、端云協(xié)同，調(diào)整中間件的參數(shù)以優(yōu)化通信延遲，確保具身
智能體的高性能和可靠性。
表2.11中間件組件性能要求
（略）任務(wù)任務(wù)描述性能指標(biāo)
1（略）和中間件配置安裝和配置必要的中間件組件，如通信庫，數(shù)據(jù)庫和其他服務(wù)用于支持具身智能體的數(shù)據(jù)交互，信息存儲消息傳遞、端云協(xié)同，調(diào)整中間件的參數(shù)以優(yōu)化通信延遲，確保具身智能體的高性能和可靠性通信延遲：（略）間通信滿足最終的功能調(diào)試;數(shù)據(jù)吞吐量：中間件配置可支持800Mbps的數(shù)據(jù)吞吐量，以應(yīng)對高速數(shù)據(jù)交換需求。
具身智能體應(yīng)用架構(gòu)設(shè)計開發(fā)和集成
設(shè)計和開發(fā)具身智能體整體軟件架構(gòu)并完成在英偉達(dá)Thor平臺、（略）的軟件
部署，使之具備全面接入車內(nèi)外信息，推理用戶需求，主動交互服務(wù)用戶的能力。要求：
（1）端云一體，根據(jù)場景需求，能自適應(yīng)切換端側(cè)云側(cè)智能體響應(yīng)：
(2）分層分模塊設(shè)計，具備靈活擴(kuò)展開發(fā)適應(yīng)新場景能力。
遵從智能體整體軟件架構(gòu)，設(shè)計和開發(fā)實(shí)現(xiàn)具身智能體各個組件。
（略）感知層
感知層負(fù)責(zé)采集車內(nèi)外實(shí)時數(shù)據(jù)，為決策推理層提供數(shù)據(jù)輸入。持續(xù)感知車外內(nèi)環(huán)境、
駕駛員狀態(tài)、車輛狀態(tài)。調(diào)用內(nèi)核的多模態(tài)大模型，處理艙內(nèi)輸入信息匯總通過結(jié)構(gòu)化數(shù)據(jù)
推送給決策層。感知層需要匯總的信息包括但不限于如下：
表2.12感知信源依賴
模塊類別詳細(xì)感知信息信息來源
艙內(nèi)感知乘客狀態(tài)與特征識別乘客人數(shù)、位置（前排/后排）、性別、年齡段多模態(tài)大模型感知（乙方白盒提供）
識別乘客身份人臉識別算法（乙方黑盒提供）
乘客情緒狀態(tài)：（如開心、緊張、疲憊）。多模態(tài)大模型感知（乙方白盒提供）
乘客健康監(jiān)測：實(shí)時監(jiān)控乘客心率、血壓，血氧基于視覺的生命體征監(jiān)測算法（乙方白盒提供）
乘客行為感知乘客常見行為（如睡覺、吃東西、通話、閱讀、使用手機(jī)）多模態(tài)大模型感知（乙方白盒提供）
物品狀態(tài)常見物品狀態(tài)：檢測艙內(nèi)常見物品（如背包、錢包、手機(jī)、寵物、電腦）的存在及位置；多模態(tài)大模型感知（乙方白盒提供）
（略）面類型：（略）、（略）、（略）等多模態(tài)大模型感知（乙方白盒提供）
（略）面狀況：濕滑、積雪、施工、坑洼、減速帶、隧道等多模態(tài)大模型感知（乙方白盒提供）
天氣狀況基于視覺的車外實(shí)時天氣情況（晴天、小雨、大雨、雪天）多模態(tài)大模型感知（乙方白盒提供）
車輛狀態(tài)獲取：（略）
時間信息具體時間汽車IM/CAN接口信息
能量狀態(tài)電池剩余續(xù)航里程：提供電池的剩余電量汽車I/CAN接口信息
能耗率：不同駕駛模式下的能量消耗數(shù)據(jù)（如每百公里電耗）。汽車IM/CAN接口信息
溫度和空調(diào)狀態(tài)溫度控制：車內(nèi)溫度、空調(diào)設(shè)置。汽車I/CAN接口信息
車窗與門狀態(tài)：車窗開合、車門鎖定狀態(tài)。汽車IM/CAN接口信息
車控操作件狀態(tài)電動座椅：各個座椅位置與調(diào)整狀態(tài)、座椅記憶功能狀態(tài)、座椅加熱與通風(fēng)狀態(tài)汽車IM/CAN接口信息
駕駛信息獲取：（略）
自動領(lǐng)航控制（NA參數(shù)和狀態(tài)：顯示設(shè)定的跟車距離、（略）的當(dāng)前狀態(tài)。汽車IM/CAN接口信息
當(dāng)前車速汽車IM/CAN接口信息
駕駛模式當(dāng)前駕駛模式：顯示當(dāng)前選擇的駕駛模式（如經(jīng)濟(jì)模式、運(yùn)動模式、舒適模式）。汽車IM/CAN接口信息
（略）信息獲取：（略）
工具獲取：（略）
搜索引擎：搜索行業(yè)新聞搜索引擎工具AP（詳見（略）工具模塊）
（略）推理決策層
決策推理層基于感知數(shù)據(jù)和上下文信息推理用戶需求，生成任務(wù)清單。功能：
（1）接收感知層的推送數(shù)據(jù)：
（2）結(jié)合上下文推理用戶需求：
（3動態(tài)生成任務(wù)清單。
組成模塊：場景感知模塊、任務(wù)推理模塊、記憶和個性化模塊、上下文管理模塊。
（略）意圖識別模塊
功能：
-判斷用戶輸入指合的類型（明確指合或隱性意圖）；
-路由指合至中央?yún)f(xié)調(diào)智能體或需求推理智能體。
輸入：來自感知層語音文本數(shù)據(jù)。
輸出：
-如果是明確指合，通過消息總線發(fā)送至中央?yún)f(xié)調(diào)智能體；
-如果是隱性意圖，通過消息總線發(fā)送至任務(wù)推理智能體。
（略）場景分類感知模塊
（1）輸入：感知層數(shù)據(jù)、上下文數(shù)據(jù)（交互上下文、時間地點(diǎn)：（略）
下文）、用戶偏好和長期記憶數(shù)據(jù)；
（2）功能：識別場景分類（應(yīng)該在場景上下文中具有一定的穩(wěn)定性），輔助需求智
能體推斷用戶需求；
（3）輸出：分層層級的場景分類標(biāo)識，包括：駕駛停車主場景、子場景、用車目標(biāo)
標(biāo)簽。
①主場景示例：駕駛場景、停車場景、充電加油場景
②子場景示例：
1）駕駛場景子場景：
a高速駕駛：夜間高速駕駛、超速高速駕駛
b.長途駕駛：疲勞長途駕駛、常規(guī)長途駕駛
C.城市擁堵駕駛：施工擁堵、高密度交通擁堵
d城市低速駕駛：正（略）駕駛、情緒（略）駕駛
e.鄉(xiāng)村駕駛：鄉(xiāng)村低速駕駛、惡劣天氣鄉(xiāng)村駕駛
f.惡劣天氣駕駛：雨天駕駛、雪天駕駛、霧天駕駛
2）停車場景子分類：停車休息、主動休息、停車娛樂、車內(nèi)娛樂、導(dǎo)航
等待、停車等待、短暫停車、長時間等待
3充電加油場景子分類：充電中、加油中、離車充電/加油、
4）車內(nèi)等待：等待服務(wù)
③用車目的標(biāo)簽：通勤出行、長途旅行、休閑娛樂、商務(wù)用車、家庭使用、
緊急情況。
（略）任務(wù)推理智能體
（1）輸入：場景分類標(biāo)識、感知層數(shù)據(jù)、用戶畫像、記憶上下文
（2）功能：基于當(dāng)前場景、上下文、用戶畫像、感知層數(shù)據(jù)，調(diào)用大模型能力，查
詢長期記憶，調(diào)用必要的工具，推理用戶隱藏需求、生成并排序任務(wù)清單。
3）輸出：生成任務(wù)清單通過消息推送到中央?yún)f(xié)調(diào)智能體，并更新上下文信息。
（略）記憶和個性化模塊
構(gòu)建智能體記憶、個性化模塊，用于搜集、處理、存儲和檢索車輛感知數(shù)據(jù)、用戶行為
數(shù)據(jù)、智能體運(yùn)行數(shù)據(jù)及其他外部知識，具備知識及經(jīng)驗(yàn)的整理及檢索、記憶及知識管理能
力，具備挖掘用戶行為，提供個性化推薦服務(wù)的能力。記憶和個性化模塊的功能應(yīng)包括：短
期記憶管理組件、長期記憶管理組件、連接兩者的記憶上下文管理組件和個性化組件。
短期記憶管理組件：提供即時性記憶支持，動態(tài)調(diào)整短期內(nèi)容，將重要信息傳遞給長期
記憶處理模塊處理。
長期記憶處理組件：負(fù)責(zé)對關(guān)鍵信息的長期存儲、反思總結(jié)與高效提取，形成結(jié)構(gòu)化的
高層次記憶。
記憶上下文管理組件：作為連接模塊，統(tǒng)一協(xié)調(diào)短期記憶與長期記憶的交互，動態(tài)調(diào)整
記憶內(nèi)容的優(yōu)先級與上下文適配性，確保智能體任務(wù)的連貫性和知識管理的高效性。
記憶相關(guān)性能指標(biāo)要求：
表2.13記憶能力性能要求
（略）功能模塊詳細(xì)描述指標(biāo)指標(biāo)要求指標(biāo)詳細(xì)描述
1短期記憶管理模塊負(fù)責(zé)短期記憶的記錄、更新、刪除及動態(tài)管理響應(yīng)時間單次查詢/更新刪除：≤50ns確保在短期記憶中進(jìn)行單條信息的查詢、更新或刪除時的延時小于50ns
2響應(yīng)時間動態(tài)調(diào)整（時間衰減、任務(wù)相關(guān)性、重要性評分）：≤30ns確保短期記憶動態(tài)調(diào)整機(jī)制（如過期刪除、優(yōu)先級更新）完成時間不超過30ns
3長期記憶處理模塊負(fù)責(zé)長期記憶的存儲、檢索及多模態(tài)數(shù)據(jù)存取響應(yīng)時間單條文本存儲寫入：≤100ns確保對單條文本數(shù)據(jù)進(jìn)行長期存儲時，寫入操作的延遲不超過100ns
4響應(yīng)時間圖像/多模態(tài)數(shù)據(jù)存入：≤500ns確保對單條圖像、多模態(tài)數(shù)據(jù)進(jìn)行存儲的延遲不超過500ns
5響應(yīng)時間長期記憶檢索：200ns確保在長期記憶中檢索單一文本或結(jié)構(gòu)化數(shù)據(jù)的延遲不超過200ns
6響應(yīng)時間多模態(tài)檢索：≤500ns確保對多模態(tài)數(shù)據(jù)（如文本、圖像等結(jié)合）進(jìn)行檢索時延遲不超過500ns
8Top5召回率（長期記憶檢索）≥95%在Top-5中成功檢索到相關(guān)內(nèi)容的查詢數(shù)/總查詢數(shù)
9反思與總結(jié)模塊對長期記憶進(jìn)行反思處理，提取關(guān)鍵內(nèi)容并進(jìn)行總結(jié)響應(yīng)時間單次會話反思：≤1秒確保智能體在會話結(jié)束后完成一次反思操作的處理時間不超過1秒
10響應(yīng)時間定期總結(jié)：≤10分鐘確保每日或每周進(jìn)行的長期記憶總結(jié)操作的時間不超過10分鐘
11召回率（提取重要信息)≥95%確保在提取長期記憶中的重要內(nèi)容時，召回的關(guān)鍵信息覆蓋率達(dá)到95%
12精確率（提取重要信息)≥90%確保提取的重要信息中，至少90%的內(nèi)容符合智能體的提取意圖
個性化組件：搜集用戶、車輛、環(huán)境維度數(shù)據(jù)（包括但不限于音樂風(fēng)格偏好統(tǒng)計、常用
導(dǎo)航目的地的統(tǒng)計、駕駛模式偏好、偏好設(shè)置參數(shù)、推薦結(jié)果記錄用戶選擇與否），進(jìn)行畫
像數(shù)據(jù)開發(fā)和存儲，保存到相應(yīng)的數(shù)據(jù)庫，支撐實(shí)現(xiàn)用戶個性化需求發(fā)現(xiàn)和服務(wù)推薦。
該組件主要與推理決策層模塊交互。
表2.14個性化數(shù)據(jù)開發(fā)性能要求
（略）功能模塊詳細(xì)描述指標(biāo)指標(biāo)定義
1（略）和用戶行為習(xí)慣數(shù)據(jù)，提供用戶畫像數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，存儲方式：（略）
（略）上下文管理模塊
功能：調(diào)用短期記憶模塊能力，維護(hù)特定車輛、特定用戶、特定智能體的上下文實(shí)例（近
期交互記錄），統(tǒng)一協(xié)調(diào)短期記憶與長期記憶的交互，并提供查詢接口和寫入接口。
特定車輛上下文實(shí)例中應(yīng)該包含的內(nèi)容：感知信息記錄、語音指合記錄及其指合類型記
錄、場景分類標(biāo)簽記錄、用戶偏好調(diào)取記錄、長期記憶調(diào)取記錄、需求推理智能體推理的需
求和任務(wù)記錄、中央?yún)f(xié)調(diào)智能體任務(wù)分發(fā)記錄、任務(wù)執(zhí)行結(jié)果記錄：
特定用戶上下文實(shí)例中應(yīng)該包含的內(nèi)容：針對特定用戶的感知信息記錄、特定用戶的中
央?yún)f(xié)調(diào)智能體任務(wù)分發(fā)記錄、特定用戶的任務(wù)執(zhí)行結(jié)果記錄：
特定智能體的上下文實(shí)例應(yīng)包含的內(nèi)容：輸入信息、推理過程和工具調(diào)用、記憶調(diào)取、
用戶偏好調(diào)取記錄。
表2.15上下文管理性能要求
（略）功能模塊詳細(xì)描述指標(biāo)指標(biāo)要求指標(biāo)詳細(xì)描述
1上下文管理模塊負(fù)責(zé)短期記憶與長期記憶的交互協(xié)調(diào)及權(quán)限管理響應(yīng)時間上下文實(shí)例操作（創(chuàng)建/查詢/更新/刪除)：≤50ns確保單次上下文實(shí)例的創(chuàng)建、查詢、更新或刪除操作延遲不超過50ns
2響應(yīng)時間記憶流轉(zhuǎn)調(diào)度：≤200ns確保從短期記憶向長期記憶轉(zhuǎn)移數(shù)據(jù)的處理時間不超過200ns
3響應(yīng)時間權(quán)限驗(yàn)證：≤50ns確保對記憶數(shù)據(jù)進(jìn)行訪問權(quán)限驗(yàn)證的延遲小于50ns
（略）工具模塊
工具模塊，用于供智能體獲取：（略）
a）無縫集成基礎(chǔ)模型：設(shè)計并實(shí)現(xiàn)工具模塊，使其能夠與基礎(chǔ)模型進(jìn)行無縫集成，確
保基礎(chǔ)模型能夠輕松調(diào)用和使用各類工具：
b）統(tǒng)一A接口：提供統(tǒng)一的AP接口規(guī)范，簡化基礎(chǔ)模型與工具模塊之間的交互，
降低集成復(fù)雜度。
c）多工具管理與接入：乙方開發(fā)并接入多種工具，包括但不限于：
口機(jī)器翻譯：支持多語言翻譯；
口計算器：進(jìn)行數(shù)學(xué)計算和費(fèi)用估算；
口天氣信息：獲取：（略）
口搜索引擎：執(zhí)行各類信息檢索任務(wù)。
口語音引擎：提供一個黑盒語音引擎，具備從語音識別到語音播報的完整語音能
力。
可調(diào)用以下列表中包含工具，并支持新工具注冊：
表2.16可調(diào)用工具依賴
模塊大類詳細(xì)感知信息信息來源提供方
車輛功能API智駕激活NOA并前往指定目的地汽車IM/CAN接口信息甲方
車輛功能API（略）線規(guī)劃APIIM接口-地圖生態(tài)甲方
車輛功能AP語音引擎語音輸出：輸出指定語音信息語音引擎乙方
車輛功能API交互根據(jù)交互需求顯示特定文字、圖像乙方
車輛功能API交互手車互聯(lián)通信發(fā)布通知適配開發(fā)乙方
車輛功能API車控車門控制AP乙方
車輛功能AP車控車窗控制API乙方
車輛功能AP車控空調(diào)控制AP乙方
本地模型API模型AP多模態(tài)大模型API乙方
云生態(tài)功能API模型API調(diào)用教育生態(tài)服務(wù)API甲方提供教育生態(tài)服務(wù)接口乙方
云生態(tài)功能API模型AP調(diào)用醫(yī)療生態(tài)服務(wù)API乙方
（略）中央?yún)f(xié)調(diào)智能體
開發(fā)中央?yún)f(xié)調(diào)智能體，作為整個架構(gòu)的中樞，負(fù)責(zé)智能體之間的任務(wù)調(diào)度和全局管理：
（1）接收分析層需求清單：將需求分發(fā)給相應(yīng)的執(zhí)行智能體；
（2）優(yōu)先級管理：根據(jù)需求的優(yōu)先級，安排任務(wù)執(zhí)行順序；
（3）上下文檢查：確保任務(wù)與當(dāng)前狀態(tài)一致，避免重復(fù)執(zhí)行；
（4）反饋管理：收集執(zhí)行和交互層的反饋，通知分析層更新上下文。
（略）智能體應(yīng)用層
智能體應(yīng)用層為完成執(zhí)行特定任務(wù)的專業(yè)智能體，受中央?yún)f(xié)調(diào)智能體調(diào)度，將中央?yún)f(xié)調(diào)
智能體傳遞的任務(wù)需求映射為服務(wù)調(diào)用，并收集執(zhí)行結(jié)果，反饋給中央?yún)f(xié)調(diào)智能體。
（略）/框架開發(fā)用于特定場景任務(wù)的智能體，設(shè)定每個智能體基礎(chǔ)
模型及Lora、角色定義、可用資源、記憶和消息緩存機(jī)制、動作范圍、工作流。
（略）智能體定義基礎(chǔ)組件
開發(fā)供開發(fā)者使用底層模組能力開發(fā)面向應(yīng)用場景的特定智能體的編程接口，要求同時
支持通過編程的方式：（略）
a支持設(shè)定智能體的模型（多模態(tài)大模型）；
b.支持設(shè)定智能體的角色定義（通過提示詞、系統(tǒng)設(shè)定等方式：（略）
C支持設(shè)定智能體的資源：數(shù)據(jù)庫、知識庫，工具、文件等：
d支持設(shè)定智能體的記憶、消息緩存機(jī)制：
e支持設(shè)定智能體的動作范圍：
f.支持設(shè)定智能體特定工作流；
g支持智能體智能選擇合適的工具、能力、記憶、工作流完成任務(wù)；
h支持展示Agent消息輸出展示。
（略）專業(yè)智能體的注冊管理模塊
構(gòu)建專業(yè)智能體的注冊、管理模塊，應(yīng)具備良好的可擴(kuò)展性，能夠方便地添加新的智能
體，并管理智能體的任務(wù)范圍和可調(diào)用原子能力，以適應(yīng)不斷變化的需求。
（略）專業(yè)智能體開發(fā)
完成實(shí)現(xiàn)座艙智能體主動服務(wù)所必須的智能體，對應(yīng)承接相應(yīng)需求向控制指合/服務(wù)調(diào)
用的轉(zhuǎn)換，包括但不限于以下內(nèi)容：
表2.17專業(yè)智能體能力清單
（略）專業(yè)智能體能力定義（需預(yù)留定義涉及功能接口）示范場景實(shí)現(xiàn)點(diǎn)備注
1環(huán)境舒適智能體根據(jù)需求調(diào)節(jié)座艙環(huán)境（空調(diào)、車窗、車門、天窗、燈光、座椅），為用戶營造舒適健康的環(huán)境座椅自適應(yīng)調(diào)節(jié)
2信息查詢智能體查詢天氣車輛狀態(tài)車主手冊獲取：（略）
3安全守護(hù)智能體故障檢測車外下車安全檢
緊急救援安全隱患監(jiān)測和守護(hù)測和識別、常用物品識別及遺漏提醒
4（略）絡(luò)預(yù)訂周邊服務(wù)推薦日程提醒生態(tài)連通自動支付停車費(fèi)用該原子能力需支持基于高通8295壓縮模型的移植
5健康守護(hù)智能體持續(xù)監(jiān)測用戶健康指標(biāo)，守護(hù)用戶健康輸出健康監(jiān)測結(jié)果和健康建議
6情緒關(guān)懷智能體感知用戶身份，提供與其身份相符的情緒關(guān)懷與乘員身份相符的上車迎賓互動、情緒反饋與關(guān)懷互動該原子能力需支持基于高通8295壓縮模型的移植
7教育互動智能體提供教育輔導(dǎo)內(nèi)容（如兒童教育音頻資源、在線學(xué)科教育課程）的管理和推薦服務(wù)與乘員年齡相符的教育輔導(dǎo)生態(tài)調(diào)度
8辦公助手智能體提供辦公模式車輛設(shè)置，辦公資訊行業(yè)領(lǐng)域信息助手，對駕駛員（針對駕駛員的特
點(diǎn)）關(guān)心或從事的行業(yè)最新進(jìn)展，技術(shù)，方向等綜合匯總，并提煉重要信息用戶參考，提供信息的解讀和分析能力
10駕駛?cè)蝿?wù)智能體接送任務(wù)規(guī)劃，調(diào)度駕駛模塊根據(jù)信息查詢內(nèi)容，完成上、下學(xué)接送以及日常通勤場景的接送任務(wù)規(guī)劃、駕駛風(fēng)格規(guī)劃、智駕模塊調(diào)度
（略）交互執(zhí)行層
（略）語音交互模塊
功能：將系統(tǒng)的智能體輸出轉(zhuǎn)化為語音播報，接受指今執(zhí)行模塊調(diào)度，須
（略）交互模塊
功能：展示智能體的輸出內(nèi)容（如指合解釋、執(zhí)行狀態(tài)），接受指今執(zhí)行模塊調(diào)度。
輸入：專業(yè)智能體模塊的輸出。
輸出：面向用戶的u展示。
（略）指合執(zhí)行模塊
指合執(zhí)行模塊負(fù)責(zé)接收指合后執(zhí)行安全驗(yàn)證（權(quán)限、環(huán)境、合法性），通過車輛接
口控制設(shè)備/服務(wù)，并將執(zhí)行結(jié)果同步反饋至用戶界面和調(diào)度方。
（略）示范應(yīng)用場景的開發(fā)與實(shí)車部署
開發(fā)以下示范場景的智能體應(yīng)用（含后臺服務(wù)和車機(jī)人機(jī)互動界面展示），并部署
到樣車上：
表2.18示范應(yīng)用場景清單
（略）功能場景角色定義功能描述任務(wù)劃分
1專屬司機(jī)1.通過手機(jī)及車機(jī)生態(tài)，獲取：（略）
上、下學(xué)接送陪同小孩）條件，滿足開啟自動駕駛將用戶送至學(xué)校，若不滿足給用戶發(fā)送提示5.到達(dá)學(xué)校附近后，尋找合適的下車地點(diǎn)：（略）
2家庭陪護(hù)1.上車后行車前檢測兒童常用物品缺漏，如發(fā)現(xiàn)遺漏則進(jìn)行提醒（如未帶書包、水杯未穿常款校服、雨天未帶雨傘或雨衣）2.行車過程中，通過車機(jī)生態(tài)中教育行業(yè)大模型陪伴孩子進(jìn)行學(xué)習(xí)輔導(dǎo)，例如提供例如兒童教育音頻資源、在線學(xué)科教育課程等3.上車及行車過程中，檢測兒童和陪護(hù)人員的健康狀態(tài)（心率，血壓，血氧等），并提供合理的健康建議4.行程陪伴，生成關(guān)懷兒童的內(nèi)容，根據(jù)乘客的家庭關(guān)系對輸出內(nèi)容進(jìn)行調(diào)整，識別行程中的兒童情緒狀態(tài)，并提供相應(yīng)的關(guān)懷（主動問候，推薦解決問題方案，艙內(nèi)外場景問答）
3日常通勤駕駛助手1.通過手機(jī)及車機(jī)態(tài)，獲取：（略）
4專業(yè)秘書1.行程中，獲取：（略）
（略）提供，具身智能負(fù)責(zé)調(diào)用和交互。非駕駛?cè)蝿?wù)由多模
態(tài)大模型識別和實(shí)現(xiàn)，作為具身智能體的一個子功能實(shí)現(xiàn)，生態(tài)應(yīng)用（健康監(jiān)測，教育
陪伴）由具身智能體從生態(tài)接口中調(diào)用。
（略）性能要求
滿足實(shí)時性：系統(tǒng)必須能夠在實(shí)時約束下快速響應(yīng)環(huán)境變化；根據(jù)不同任務(wù)性質(zhì)滿
足不同的時間響應(yīng)需求，詳細(xì)要求如下表：
服務(wù)質(zhì)量保證（QS）：可用性要求99.9%以上。
表2.19具身智能示范場景的性能要求
（略）功能模塊詳細(xì)描述指標(biāo)指標(biāo)定義
1智能體場景被動交互整體響應(yīng)時延s有明確語音指今輸入智能體被動服務(wù)場景的觸發(fā)響應(yīng)速度
2智能體場景主動交互整體響應(yīng)時延11.5s無明確語音指今，智能體主動服務(wù)場景的觸發(fā)響應(yīng)速度
3智能體任務(wù)規(guī)劃智能體任務(wù)規(guī)劃準(zhǔn)確率，完整率準(zhǔn)確率>90%完整率>85%基于測試數(shù)據(jù)集，對規(guī)劃任務(wù)的準(zhǔn)確率、完整率評估
4長期記憶相關(guān)記憶檢索有效性Top5召回率（Recall）>90%檢索階段成功從候選記憶中找到與查詢相關(guān)內(nèi)容的比例。Recalla5=在Top-5中成功檢索到相關(guān)內(nèi)容的查詢數(shù)/總
查詢數(shù)
5用戶偏好面像標(biāo)簽1.標(biāo)簽準(zhǔn)確性：標(biāo)簽反應(yīng)用戶真實(shí)特征>97%評估方法：通過交叉數(shù)據(jù)源驗(yàn)證或人工抽樣2.實(shí)時性及穩(wěn)定性：強(qiáng)時效性標(biāo)簽的更新=1d穩(wěn)定性標(biāo)簽長期有效根據(jù)用戶設(shè)置、交互記錄，通過數(shù)據(jù)科學(xué)方法挖掘出的畫像標(biāo)簽
6角色定義智能體角色定義角色風(fēng)格的決策有效性個性化的角色定義種類>5種
（略）通用技術(shù)要求
表2.20通用技術(shù)要求
（略）功能模塊詳細(xì)描述
1UEU適配場景的展示開發(fā)UEU需要按東風(fēng)的風(fēng)格進(jìn)行適配
2質(zhì)量要求供應(yīng)商的第三方SDK/app出現(xiàn)或引起的AB類BUG必須清霧，C類BUG數(shù)量不能高于5%
（略）其他要求
口在本項(xiàng)目中，開發(fā)好的軟件部署于甲方服務(wù)器中，可實(shí)現(xiàn)算法模型的本地訓(xùn)練。
口乙方需要根據(jù)項(xiàng)目內(nèi)容，派遣工作人員到甲方辦公場所進(jìn)行砂于60個工作日
（人/次）的開發(fā)與測試工作，完成任務(wù)內(nèi)容。派遣人員以具有深度強(qiáng)化學(xué)習(xí)開發(fā)
與研究經(jīng)驗(yàn)的博士研究生或高級研究員為宜。
3合作雙方責(zé)任分工
甲方提供乙方開發(fā)本項(xiàng)目所需的試驗(yàn)車輛（奕派007）。乙方提供滿足軟件SDKIAPK
技術(shù)文檔，算法源碼和模型文件，測試用例，產(chǎn)品和開發(fā)輔助文檔等交付物需要定期同
步開發(fā)進(jìn)度，并由專業(yè)工程師審核。由甲乙雙方共同開發(fā)針對任務(wù)的模型優(yōu)化任務(wù)，乙
方應(yīng)按照項(xiàng)目的節(jié)點(diǎn)提供開發(fā)計劃并按計劃執(zhí)行，合作雙方的責(zé)任分工具體見表3.1。
乙方需支持甲方將開發(fā)過程中的模型及相關(guān)處理模塊部署到實(shí)車中產(chǎn)生的bug的
解決，并清空所有bug
表3.1甲乙雙方職責(zé)分工表
（略）業(yè)務(wù)模塊工作內(nèi)容甲方乙方
1樣車提供樣車提供RI
2項(xiàng)目驗(yàn)收評測標(biāo)準(zhǔn)構(gòu)建原則確定RI
3驗(yàn)收RI
4系統(tǒng)工程架構(gòu)方案設(shè)計Rs
5項(xiàng)目節(jié)點(diǎn)管控Rs
6項(xiàng)目整體推進(jìn)及資源協(xié)調(diào)RS
7系統(tǒng)應(yīng)用軟件整體方案S、AR
（略）車端模型部署環(huán)境SR
9提供相應(yīng)工具鏈和相應(yīng)培訓(xùn)：具備滿足包括控制器開發(fā)工具SR
10（略）接入及調(diào)試車輛改制：（略）及相關(guān)附件安裝Rs
（略）對車輛圖像、語音，（略）等感知數(shù)據(jù)的接收和解析sR
12實(shí)現(xiàn)與車輛控制器（如座椅，車門，車窗，空調(diào)）（略）握手，確保具身智能體發(fā)送的指合能夠準(zhǔn)確，及時轉(zhuǎn)換為物理動作SR
13實(shí)現(xiàn)與車輛智能駕駛和IM（略）生態(tài)APP的單向交互和退出控制，（略），IM（略）的相關(guān)功能，并及時退出sR
14模型開發(fā)和評估需求定義和功能描述RS
15開發(fā)和提供數(shù)據(jù)集前處理工具，構(gòu)建多模態(tài)感知任務(wù)、決策推理訓(xùn)練數(shù)據(jù)集；SR
16搜集業(yè)界開源數(shù)據(jù)集或者開發(fā)提供其他生成式辦法，構(gòu)建面向汽車智能體能力、安全隱私保護(hù)訓(xùn)練數(shù)據(jù)集；SR
17提供滿足具身智能體的感知能力要求的多模態(tài)大模型sR
18提供滿足具身智能體決策能力要求的多模態(tài)大模型SR
20迭代優(yōu)化大模型，達(dá)到具身智能體功能的性能要求sR
21提供模型評估工具和評估用例sR
22進(jìn)行多模態(tài)大模型的壓縮開發(fā)和測試S.AR
23模型部署實(shí)現(xiàn)模型輸入數(shù)據(jù)的接口，對感知數(shù)據(jù)進(jìn)行預(yù)處理SR
（略）上大模型量化和部署環(huán)境、相應(yīng)工具鏈SR
（略）上的部署源碼并進(jìn)行部署sR
26模型后處理開發(fā)模型輸出后處理程序，將模型的推理結(jié)果按統(tǒng)一輸出SR
27開發(fā)決策任務(wù)的后處理邏輯SR
28具身智能體應(yīng)用架構(gòu)設(shè)計、開發(fā)和集成開發(fā)、安裝和配置必要的中間件組件sR
29設(shè)計具身智能體整體軟件架構(gòu)RS
30設(shè)計和開發(fā)具身智能體-感知層sR
31設(shè)計和開發(fā)具身智能體-推理決策層sR
32設(shè)計和開發(fā)具身智能體-智能體應(yīng)用層sR
33設(shè)計和開發(fā)具身智能體-交互執(zhí)行層sR
39示范應(yīng)用場景開發(fā)與實(shí)車部署示范應(yīng)用場景定義與功能需求定義，示范應(yīng)用場景演示支撐，示范應(yīng)用場景方案聯(lián)合設(shè)計RS
40示范應(yīng)用場景的實(shí)車開發(fā)與部署-一階段交付內(nèi)容SR
41示范應(yīng)用場景的實(shí)車開發(fā)與部署-后續(xù)階段交付sR
內(nèi)容
（略）的部署調(diào)試和問題解析SR
43實(shí)車部署、功能測試、故障解析sR
44提供S73改制完成的車輛，（略）RS
45項(xiàng)目驗(yàn)收評測標(biāo)準(zhǔn)構(gòu)建原則確定Rs
46軟件評估與驗(yàn)收RI
R：負(fù)責(zé)、S：支持、A：審核、一：知悉
4項(xiàng)目進(jìn)度安排
項(xiàng)目預(yù)計節(jié)點(diǎn)如表4.1所示：
表4.1項(xiàng)目節(jié)點(diǎn)計劃
時間節(jié)點(diǎn)（T指的合同
（略）分類條目
簽訂，T+X指簽訂后X個
月）
1（略）接入及調(diào)試T+2
2通用項(xiàng)目驗(yàn)收-節(jié)點(diǎn)一T+3
3通用項(xiàng)目驗(yàn)收-節(jié)點(diǎn)二T+12
4算法高通8295部署工具鏈構(gòu)建T+2
5算法針對生活服務(wù)、情緒關(guān)懷智能體的多模態(tài)大模型訓(xùn)練數(shù)據(jù)集構(gòu)建T+3
6算法多模態(tài)大模型模型感知、決策任務(wù)評估工具和用例開T+3
發(fā)
7算法多模態(tài)模型開發(fā)、評估和部署（階段一：在高通8295上部署多模態(tài)大模型，實(shí)現(xiàn)調(diào)度執(zhí)行生活服務(wù)、情緒關(guān)懷2類專業(yè)智能體的任務(wù)）T+3
8算法針對剩余駕駛、非駕駛?cè)蝿?wù)的多模態(tài)大模型訓(xùn)練數(shù)據(jù)集構(gòu)建T+7
9算法模型訓(xùn)練和評估（階段二：在Thor平臺部署，拓展到剩余專業(yè)智能體需求場景的多模態(tài)大模型）T+11
10算法模型壓縮和部署（階段二：在Thor平臺部署，拓展到剩余專業(yè)智能體需求場景的多模態(tài)大模型）T+12
11智能體智能體應(yīng)用場景設(shè)計（階段一：家庭陪護(hù)、專業(yè)秘書角色）T+1
12（略）設(shè)計T+1
13智能體智能體動作模組開發(fā)和測試（階段一：家庭陪護(hù)、專業(yè)秘書角色）T+3
14智能體智能體應(yīng)用開發(fā)和部署（階段一：家庭陪護(hù)、專業(yè)秘書角色）T+3
15智能體智能體應(yīng)用測試和搭載高通8295樣車的實(shí)車集成與演示（階段一：家庭陪護(hù)、專業(yè)秘書角色內(nèi)容，實(shí)現(xiàn)基于感知主動調(diào)度執(zhí)行生活服務(wù)、情緒關(guān)懷2類專業(yè)智能體的任務(wù)）T+3
16智能體智能體應(yīng)用場景設(shè)計文檔（階段二：增加集成專屬司T+6
機(jī)與駕駛助手角色內(nèi)容）
（略）開發(fā)和測試（階段二：增加集成專屬司機(jī)與駕駛助手角色內(nèi)容內(nèi)容）T+7
（略）開發(fā)和測試T+8
19智能體智能體多智能體協(xié)作、交互（階段二：增加集成專屬司機(jī)與駕駛助手角色內(nèi)容）T+8
20智能體智能體動作模組開發(fā)和測試（階段二：增加集成專屬司機(jī)與駕駛助手角色內(nèi)容）T+9
21智能體智能體環(huán)境交互模組開發(fā)和測試（階段二：增加集成專屬司機(jī)與駕駛助手角色內(nèi)容）T+9
22智能體智能體記憶模塊開發(fā)和測試（階段二：增加集成專屬司機(jī)與駕駛助手角色內(nèi)容）T+9
23智能體智能體在線學(xué)習(xí)和個性化模組開發(fā)和測試（階段二：增加集成專屬司機(jī)與駕駛助手角色內(nèi)容）T+10
24智能體智能體安全控制模塊開發(fā)和測試（階段二：增加集成專屬司機(jī)與駕駛助手角色內(nèi)容）T+10
25（略）集成測試和迭代優(yōu)化（階段二：增加集成專屬司機(jī)與駕駛助手角色內(nèi)容）T+11
26（略）軟件固化T+12
5工作內(nèi)容及交付物
按照項(xiàng)目開發(fā)需求，階段需提交的合同驗(yàn)收交付物需包含但不限于如下內(nèi)容（交付物均
需提供經(jīng)過專業(yè)制作方簽批的紙質(zhì)材料和電子文檔）。供應(yīng)商按照第4章項(xiàng)目工作計劃節(jié)點(diǎn)
要求提交交付物，采用評審、會簽方式：（略）
應(yīng)商提交的交付物必須滿足項(xiàng)目目標(biāo)和技術(shù)要求。
5.1交付物明細(xì)內(nèi)容
交付物應(yīng)按照采購人：（略）
1）技術(shù)文檔類文件：由采購人：（略）
2）實(shí)物輸出物：采用采購人：（略）
表5.1交付物明細(xì)內(nèi)容表
（略）交付物明細(xì)格式要求要求交付期數(shù)
交付物類別交付物明細(xì)格式要求交付期數(shù)
1項(xiàng)目開發(fā)計劃項(xiàng)目開發(fā)計劃VCRD/PDF包括開發(fā)、測試、集成詳細(xì)時間節(jié)點(diǎn)表一期
2（略）接入需求和調(diào)試文檔（搭載高通8295樣車）信號和數(shù)據(jù)接收與解析-對接調(diào)試報告VCRDPDF參照本章調(diào)試類文檔要求一期
3執(zhí)行器交互與控制-對接調(diào)試報告VRDPDF參照本章調(diào)試類文檔要求一期
4（略）和IM（略）的交互與控制-對接調(diào)試報告VCRDPDF參照本章調(diào)試類文檔要求一期
5（略）矩陣需求文檔VRD/PDF一期
6多模態(tài)大模型（一階段）模型權(quán)重，架構(gòu)設(shè)計文檔、訓(xùn)練、微調(diào)、部署代碼及說明文檔數(shù)據(jù)集前處理代碼白盒代碼文件參照本章代碼類材料要求一期
7前處理代碼說明文檔VORDPDF一期
8多模態(tài)大模型（階段一）模型的微調(diào)代碼說明文檔VRDPDF參照本章代碼類材料要求一期
9多模態(tài)大模型（階段一）原始模型及其壓縮模型權(quán)重所用模型框架的權(quán)重存儲格式一期
10多模態(tài)大模型（階段一）（略）部署代碼白盒代碼文件參照本章代碼類材料要求一期
11多模態(tài)大模型（階段一）的部署代碼說明文檔VRDPDF一期
12模型輸出后處理代碼和說明文檔（階段一）模型輸出后處理代碼白盒代碼文件參照本章代碼類材料要求一期
13模型后處理代碼說明文檔VCRD/PDF參照本章代碼類材料要求一期
14智能體應(yīng)用場景設(shè)計文檔（階段智能體產(chǎn)品功能規(guī)范和場景定義說明書（階段一）VRDPDF一期
15一）智能體應(yīng)用場景的uuX文檔（階段一）VRDPDF一期
16全功能、全性能軟件及相應(yīng)源碼和功能說明（階段一）（略）中間件組件軟件（階段一）白盒代碼文件一期
17（略）中間件組件軟件（階段一）安裝配置說明書VRDPDF一期
18全功能和全性能軟件（階段一）SDKIAPK一期
19全功能和全性能軟件（階段一）說明文檔VRDPDF一期
20全功能軟件部署工具鏈、腳本（階段一）白盒代碼文件一期
21全功能軟件部署工具鏈、腳本（階段一）說明文檔VRDPDF一期
22智能體軟件源碼（階段一）白盒代碼文件參照本章源碼類材料要求，包含整體架構(gòu)以及（略）感知層（包括注明要求乙方白盒提供的信源依賴)、（略）推理決策層、（略）智能體應(yīng)用層、（略）交互執(zhí)行層在本階段開發(fā)全部模塊的白盒交付一期
23智能體軟件源碼（階段一）說明文檔VORDPDF一期
24智能體軟件版本履歷Releasenote（階段一)VCRDPDF一期
25智能體軟件全功能軟件實(shí)車部署報告（階段一）.docxVRDPDF一期
26多模態(tài)大模型模型評估數(shù)據(jù)集及模型評估工具多模態(tài)大模型基準(zhǔn)評估數(shù)據(jù)集（針對（略）的模型能力需求）數(shù)據(jù)文件及標(biāo)注標(biāo)簽，數(shù)據(jù)集分布評測說明二期
27多模態(tài)大模型評估工具白盒代碼文件二期
28多模態(tài)大模型評估工具說明文檔VRDPDF二期
29（略）接入需求和調(diào)試文檔（搭載英偉達(dá)Thor樣車）信號和數(shù)據(jù)接收與解析-對接調(diào)試報告VRDPDF參照本章調(diào)試類文檔要求二期
26執(zhí)行器交互與控制對接調(diào)試報告VCRDPDF參照本章調(diào)試類文檔要求二期
27（略）和IM（略）的交互與控制-對接調(diào)試報告VCRDPDF參照本章調(diào)試類文檔要求二期
28（略）矩陣需求文檔VCRDPDF二期
29智能體軟件架構(gòu)設(shè)計說明書智能體軟件架構(gòu)設(shè)計說明書（含接口定義、接口集成指導(dǎo)、模塊間交互等文檔）VCRDPDF參照本章設(shè)計類文檔要求二期
30（略）設(shè)計說明書VCRDPDF參照本章設(shè)計類文檔要求二期
31智能體應(yīng)用場景設(shè)計文檔（階段二）智能體產(chǎn)品功能規(guī)范和場景定義說明書（階段二）VRDPDF二期
32智能體應(yīng)用場景的uu文檔（階段二）VRDPDF二期
33多模態(tài)大模型（二階段）模型權(quán)重，架構(gòu)設(shè)計文檔、訓(xùn)練、微調(diào)、部署代碼及說明文檔多模態(tài)大模型微調(diào)數(shù)據(jù)集（工機(jī)具調(diào)用與指合遵從能力、安全隱私保護(hù)能力）數(shù)據(jù)文件及標(biāo)注標(biāo)簽，數(shù)據(jù)集分布評測說明參照本章設(shè)計類文檔要求二期
34多模態(tài)大模型（二階段）模型的架構(gòu)設(shè)計文檔VRDPDF參照本章設(shè)計類文檔要求二期
35多模態(tài)大模型（二階段）模型微調(diào)代碼白盒代碼文件參照本章代碼類材料要求二期
36多模態(tài)大模型（二階段）微調(diào)代碼說明文檔VCRDPDF二期
37多模態(tài)大模型（二階段）模型權(quán)重所用模型框架的權(quán)重存儲格二期
式
38多模態(tài)大模型（二階段）的Thor平臺部署代碼白盒代碼文件參照本章代碼類材料要求二期
39多模態(tài)大模型（二階段）部署說明文檔VCRD/PDF二期
40多模態(tài)大模型（二階段）模型壓縮代碼及說明文檔、權(quán)重多模態(tài)大模型（二階段）模型壓縮代碼白盒代碼文件參照本章代碼類材料要求二期
41多模態(tài)大模型（二階段）模型壓縮代碼說明文檔VCRD/PDF二期
42多模態(tài)大模型（二階段）壓縮模型權(quán)重所用模型框架的權(quán)重存儲格式二期
43多模態(tài)大模型（二階段）（略）部署代碼白盒代碼文件參照本章代碼類材料要求二期
44多模態(tài)大模型（二階段）壓縮模型部署說明文檔VRDPDF二期
45多模態(tài)大模型模型性能多模態(tài)大模型場景（階段二）性能評估VCRDPDF二期