在自動駕駛領域，實現(xiàn)高質量的虛擬傳感器輸出是一項關鍵的挑戰(zhàn)。所有的架構和實現(xiàn)都會涉及來自質量、性能和功能集成等方面的需求。aiSim也不例外，因此我們會更加關注于多個因素的協(xié)調，其中，aiSim傳感器實現(xiàn)的神經網絡渲染仿真方案，在aiSim能夠在現(xiàn)有功能上實現(xiàn)多用途擴展的同時，也可以盡可能地保留原始特性。

一、現(xiàn)有問題

從當前學術界對于神經渲染的研究來看，不同的方案都會給虛擬世界帶來一定的限制，從而無法讓仿真充分發(fā)揮作用。我們在aiSim中提供了一種不同且具有更高集成度的方案，即aiSim的通用高斯?jié)姙R渲染器（General Gaussian Splatting Renderer），這一方案結合了渲染速度、集成靈活性和好的視覺保真效果，為當下的神經網絡三維重建技術帶來了新的內容。

其中一點就是傳統(tǒng)方案中，廣角鏡頭的渲染和處理總是不盡人意，但這一傳感器又是自動駕駛仿真中最為常見的用例之一，但在aiSim的方案中我們克服了這一局限性。

二、康謀方案

原始的算法在高斯?jié)姙R投射的處理過程中往往會引入若干限制，阻礙了傳感器的合理渲染，主要源于是近似誤差（approximation error），當處理FOV更大的鏡頭時，誤差會顯著增大。

左邊是原始解決方案，它無法從六個攝像頭中一致地生成圖像。右邊是aiSim的解決方案，它消除了這個問題，并能投射出一致的圖像。

這種方案不僅能夠處理相機傳感器，還能夠處理其他基于光線追蹤的傳感器類型，比如LiDAR和Radar。而在之前的ADAS/AD仿真中，無法擴展到不同傳感器模式則是大多數(shù)神經渲染解決方案面臨的最大挑戰(zhàn)之一。

為此，我們重現(xiàn)思考了高斯?jié)姙R解決方案，重建算法流程，通過新一套的高斯?jié)姙R渲染器很好解決了前述的限制，較好的組合了各種虛擬鏡頭組合的畸變圖像。

1、aiSim通用高斯?jié)姙R渲染器

（1）一致性

aiSim通用高斯濺射渲染器和現(xiàn)有光柵化解決方案具有相當?shù)男阅芩?/strong>，即使在硬件在環(huán)方案中，也可以模擬（4K）多攝像頭傳感器設置。由于該算法的通用性，您可以從基于光線追蹤的傳感器模式（如LiDAR和雷達）中一致地獲得相同結果。

這意味著您無需犧牲運行性能，因為渲染器可以保持足夠快的速度以實時幀率工作。

（2）自由視角

此外，aiSim通用高斯?jié)姙R渲染器還允許您在模擬場景中自由移動攝像頭，并使用不同的位置或傳感器設置，且不會產生不可預測的偽影或故障。它使您能夠近距離親自查看各種物體表面的復雜細節(jié)。由于該算法可用于物理模擬甚至表面重建，因此其應用范圍可以進一步擴大。

（3）完善的前置工作

以上的關鍵在于我們預先結構良好的數(shù)據(jù)采集和靈活的渲染方案位為所有物理級傳感器的仿真提供了堅實的基礎。

期待您繼續(xù)關注康謀之后的文章，我們將分享更多有關aiSim的方案內容。