隨著6G時代的到來，沉浸式內容消費需求顯著增長，沉浸內容的展現(xiàn)將直接影響用戶體驗。其中，網(wǎng)格模型作為一種主流的數(shù)據(jù)形式，網(wǎng)格模型質量評價成為保障VR/AR、元宇宙等應用用戶體驗的關鍵。本報告系統(tǒng)分析了當前網(wǎng)格模型質量評價的發(fā)展現(xiàn)狀與面臨的主要挑戰(zhàn)，包括數(shù)據(jù)集不足、動態(tài)/AIGC內容質量評價研究難點和缺少統(tǒng)一標準。針對這些問題，報告進一步探討了可行的發(fā)展建議，旨在推動沉浸內容質量評價技術的進步，促進沉浸式應用生態(tài)的健康發(fā)展。
網(wǎng)格模型質量評價發(fā)展現(xiàn)狀
隨著6G時代的到來，沉浸式內容消費需求顯著增長，虛擬現(xiàn)實（VR）、增強現(xiàn)實（AR）、元宇宙等業(yè)務迎來飛速發(fā)展。其中，以頂點、連接邊、連接面片為基礎描述三維物體的網(wǎng)格模型（Mesh）作為沉浸內容中主流的數(shù)據(jù)表達形式，其質量直接決定模型的呈現(xiàn)效果。
然而，由于網(wǎng)格模型數(shù)據(jù)的生成方式多樣（如3D掃描、算法重建、人工建模等），導致其數(shù)據(jù)質量參差不齊，存在幾何結構失真、紋理信息缺失或瑕疵、拓撲錯誤等問題，直接影響用戶的沉浸式體驗與感知質量。
因此，建立一套系統(tǒng)化、客觀化的網(wǎng)格模型質量評價（Mesh Quality Assessment，MQA）方法顯得尤為重要。具備客觀、精確的MQA能力，不僅有助于衡量網(wǎng)格模型的表現(xiàn)質量，也為優(yōu)化內容生產流程、提升用戶體驗提供了重要支撐。
目前，MQA的發(fā)展已經歷多個階段，技術路線和研究重點不斷演進，具體如下：
階段一：幾何結構質量評價起步階段
在MQA發(fā)展的初期，評價重點主要集中于網(wǎng)格模型的幾何結構質量。此階段業(yè)內構建了點云或無紋理的網(wǎng)格模型數(shù)據(jù)質量評價數(shù)據(jù)集[5]。評價方法包括基于頂點坐標、法線夾角等幾何參數(shù)，或借助神經網(wǎng)絡計算模型的正交性、光滑性等物理屬性，從而量化其幾何結構質量。
階段二：彩色網(wǎng)格模型與渲染質量評價階段
隨著帶紋理的彩色網(wǎng)格模型數(shù)據(jù)逐漸普及，業(yè)內構建了包含紋理信息的質量評價數(shù)據(jù)集[4]，并發(fā)布了相關基準測試（benchmark）。在幾何質量的基礎上，研究開始關注渲染圖像的主觀質量評價。典型做法是將網(wǎng)格模型從多個視角渲染為圖像，并采用圖像質量評價方法對渲染結果進行分析，以衡量模型整體表現(xiàn)。
階段三：有參考模型的失真評價階段
隨著網(wǎng)格模型數(shù)據(jù)在壓縮、傳輸?shù)葢脠鼍爸械膹V泛使用，該階段主要關注模型在處理過程中產生的失真。業(yè)內通過對原始網(wǎng)格模型模型施加人為失真，構建有參考的數(shù)據(jù)集[1][2]，并發(fā)布相關benchmark。評價方法主要包括從原始模型與失真模型中提取特征、計算其差異，并基于差值的量化結果判斷失真模型的質量損失程度。
階段四：AIGC驅動下的新興評價需求階段
隨著AIGC技術的迅猛發(fā)展，出現(xiàn)了text-to-3D、image-to-3D等網(wǎng)格生成方法。復旦大學與上海人工智能實驗室等機構已開源相關的文生3D工具用于數(shù)據(jù)生產。為應對AIGC生成數(shù)據(jù)的質量評價挑戰(zhàn)，業(yè)內構建了AIGC產出的網(wǎng)格模型數(shù)據(jù)質量評價數(shù)據(jù)集[3]。由于該類數(shù)據(jù)并非源自真實世界采樣，除了傳統(tǒng)的幾何結構和渲染質量評價外，還需額外考慮幾何合理性、幾何細節(jié)精度以及文本/圖像與3D模型之間的一致性等指標。目前，該方向的質量評價技術尚處于起步階段，已有研究嘗試引入語義一致性等判斷依據(jù)，以提升評價的全面性和智能化水平。
此外，開源社區(qū)和標準化組織（如MPEG、IEEE）也日益關注MQA的發(fā)展，積極推動公開數(shù)據(jù)集的建設與評價協(xié)議的標準化制定。隨著更多機構的參與，有望逐步形成行業(yè)共識，促進沉浸式內容制作的規(guī)范化與標準化發(fā)展。
網(wǎng)格模型質量評價挑戰(zhàn)
高質量MQA數(shù)據(jù)集數(shù)量不足
與2D圖像和視頻數(shù)據(jù)相比，高質量的MQA數(shù)據(jù)集仍較為稀缺。主要受限于三方面因素：首先，數(shù)據(jù)采集與建模成本高昂，需依賴高精度的3D掃描設備與專業(yè)建模軟件，硬件與人力投入巨大；其次，質量評價涉及幾何結構、紋理細節(jié)等多個維度，人工標注不僅耗時耗力，而且容易受主觀因素影響，不同評測人員之間存在明顯偏差；最后，現(xiàn)有主流開源數(shù)據(jù)集[1]~[5]主要集中在3D采集與建模技術，尚缺乏針對AIGC等AI生成內容的數(shù)據(jù)資源，導致現(xiàn)有模型在跨領域任務中的泛化能力較弱、評價性能有限。
動態(tài)網(wǎng)格模型序列及AIGC內容質量評價方向難點尚未解決
當前，MQA的研究主要聚焦于靜態(tài)網(wǎng)格模型的檢測，而針對動態(tài)網(wǎng)格模型序列及AIGC生成內容的質量評價仍顯不足。在VR/AR、元宇宙、數(shù)字孿生等典型應用中，用戶接觸的3D內容往往是動態(tài)變化的，且往往沒有可比對的現(xiàn)實參考。動態(tài)網(wǎng)格模型序列的質量及AI生成的內容質量直接影響用戶體驗。
對于動態(tài)網(wǎng)格模型序列，其質量評價除需考慮基本幾何結構外，還存在評價模型運動的自然性、幀間過渡的連貫性、長期觀看時是否引發(fā)視覺疲勞等技術難點。目前尚無有效的研究成果及解決方法。
而針對AIGC生成的網(wǎng)格模型，AI生成導致生成的模型可能存在結構不合理、語義不一致等潛在問題，傳統(tǒng)基于幾何、紋理的評價方法難以有效檢測這類質量缺陷。亟需發(fā)展具備結構合理性判斷、語義理解能力的新型評價方法。
缺少統(tǒng)一且覆蓋全面的標準
業(yè)內當前缺乏統(tǒng)一的MQA行業(yè)標準。雖然MPEG已經開始關注這一問題，并開展了針對動態(tài)網(wǎng)格模型數(shù)據(jù)壓縮與失真評價的標準制定工作，但相關方法主要依賴原始模型作為參考，采用PSNR等傳統(tǒng)指標計算質量損失。這種“有參考”的評價方式存在明顯局限：依賴于原始模型作為參考，無法獨立評價網(wǎng)格模型本身的質量，難以對模型的主觀感知質量進行有效量化。
網(wǎng)格模型質量評價發(fā)展建議
持續(xù)構建專業(yè)的MQA數(shù)據(jù)集
針對MQA數(shù)據(jù)不足的問題，需持續(xù)構建高質量的MQA數(shù)據(jù)集。結合靜態(tài)、動態(tài)及AIGC各自特點，通過多元化的采集方式和系統(tǒng)化的標注流程來確保數(shù)據(jù)的全面性和可靠性。對于靜態(tài)內容，可依托專業(yè)建模軟件或開源數(shù)據(jù)庫進行收集，覆蓋不同復雜度和應用場景；動態(tài)內容則需要通過動作捕捉或4D掃描技術獲取包含各種運動模式的序列數(shù)據(jù)，并模擬實際應用中可能出現(xiàn)的時域失真（如幀間抖動、運動模糊等）以增強數(shù)據(jù)的代表性。對于AIGC內容，在數(shù)據(jù)構建過程中應確保生成參數(shù)的多樣性（提示詞/提示圖像類別、采樣步數(shù)、隨機種子設置等），提高數(shù)據(jù)分布的覆蓋范圍與評價的泛化能力。在數(shù)據(jù)標注環(huán)節(jié)，既要包含客觀的幾何精度、拓撲結構等量化指標，也要通過專家評測或借助眾包平臺收集MOS及語意匹配度，以全面反映人類視覺感知。為提升數(shù)據(jù)集的實用性，還需要引入學術界和工業(yè)界的共同協(xié)作，打通行業(yè)偏差，方便不同研究團隊進行橫向使用。
動態(tài)網(wǎng)格模型序列及AIGC內容質量評價的可行思路
在對動態(tài)網(wǎng)格模型序列質量評價時，可從時空一致性和人眼感知特性兩個維度建立進行評價。針對這兩個維度的問題，可以設立相關的質量評價指標，如：檢測幀間過渡時平滑度識別模型拓撲結構變化一致性、通過投影視頻質量評價以實現(xiàn)對渲染呈現(xiàn)進行質量評價等。
在對AIGC生成模型質量評價時，可從模型與prompt之間的匹配度進行識別。可通過多視角描述得到一段文本，并與prompt文本匹配的方法在匹配度維度下進行質量識別。此外，還可引入跨學科的方法，結合計算機圖形學、結構力學、材料學和運動分析等領域的知識，輔助構建準確實用的結構合理性評價能力。
積極推進MQA標準化工作，形成統(tǒng)一標準
聯(lián)合業(yè)內企業(yè)及高校積極推進標準化工作，針對AI生成3D內容快速增長帶來的質量評價需求，特別是在缺少原始參考模型的AIGC應用場景，推動建立一套標準化的質量評價方法。相關研究重點包括：1）構建多維度質量評價指標體系；2）探索無參考條件下的質量評價方案；3）研究動態(tài)網(wǎng)格模型序列的評價方法。標準化工作的推進將進一步完善AI生成3D內容質量評價方面的標準體系，為元宇宙、數(shù)字孿生等新興應用的健康發(fā)展提供技術參考，同時促進3D內容產業(yè)的質量規(guī)范化建設。
