2024-05-18

資策會賦能媽祖遶境5G數位藝閣車 創作技術大揭密!

港灣新聞網

農曆三月瘋媽祖!一年一度宗教盛事北港朝天宮媽祖繞境活動熱烈展開,與往年不同的是,今年在數位發展部數位產業署的支持下,資策會數位轉型研究院(資策會數轉院)與朝天宮合作,以藝閣體驗作為主題,首次結合傳統民俗工藝技術與5G科技,推出「5G數位藝閣車」,運用AI生成及擴增實境(AR)技術,不僅讓遶境活動增添趣味,也為傳統宗教活動帶來嶄新的應用體驗與服務。

北港朝天宮為全台歷史最悠久的媽祖廟,「北港藝閣」又是「北港朝天宮迎媽祖」慶典中最具代表性的一環,不僅是朝天宮特有的百年文化傳承,也是現今臺灣最大規模的真人藝閣遶境活動,就如同「行動宮廟」一般,承載著人神共遊的平安祈福概念。

小空間大場景,充分體現5G文化科技虛實整合的魅力

資策會數轉院院長林玉凡表示,身為第三方顧問角色,資策會運用新興技術賦能文化產業發展,已頗具成效。受數位產業署委託,無論在文化展演、台南燈會、媽祖遶境等活動,透過5G專網、AI、AR等軟體加值,協助臺灣獨具特色的文化宗教慶典活動,不僅發揮「小空間大場景」功能,讓參與民眾實際體驗5G文化科技虛實整合的魅力,也彰顯資策會賦能產業轉型的關鍵角色。

本次在媽祖遶境活動中導入5G專網與體驗設計,以北港朝天宮為設計發想主軸,環繞「犁炮、祈福、藝閣、遶境」等宗教體驗為元素,「數位藝閣」應運而生。

過程中,透過「未來數位體驗創新設計與價創實驗室_Future Experience」,以體驗設計賦能傳統藝閣及犁炮炸轎進行沉浸式的科技互動。

特別是在5G數位藝閣導入AI生成技術,進行AI臉部偵測及妝髮、頭飾設計,融合藝閣扮仙文化,提供沉浸式體驗,滿足無法登上藝閣車的民眾也能體驗古裝扮仙的樂趣。

幕後技術能量,產出AI神仙變妝鏡與異地即時直播串流

資策會數轉院採用先進的「多模態資料生成技術」及「XR串流服務」,輔以LoRA深度學習演算法,提升了活動的互動性與文化體驗。在東方文化元素預訓練模型缺乏的挑戰下,資策會運用LoRA學習成功使AI深入理解「媽祖天后冠」及神仙角色的傳統服飾。

此外,以真人錄製了各神仙角色的5秒鐘動作,由AI抽取這些動作的骨架,生成動態的神仙角色,再透過現場捕捉民眾五官特徵,並融入運勢文字與語音,製作出個人化專屬的神仙變裝影片供民眾下載紀念保存。

值得一提的是,技術不單使用了視覺影像,還包括運勢文字、語音解說及背景音樂等元素的融合。這種多模態整合增強了參與者的沉浸感,讓文化體驗更加具層次感及立體感。

為了讓民眾在體驗時能夠更加融入當地民族文化慶典中,資策會數轉院結合5G專網與公網的運作架構,運用資策會數轉院開發的「AI生成3D環景串流技術」,以邊緣運算為基礎,透過相交投影型變即時計算,利用AI生成技術補正邊緣不匹配的問題。

透過此技術可以將2D影片或圖片,導成3D的錯視感,除了可以降低錯視3D內容製作成本外,也能提高虛實展演的創作能量。目前技術已導入北港迎媽祖的觀犁炮、登藝閣兩大文化盛事,讓民眾可體驗到身歷其境的感受。

資策會數轉院深耕於體驗設計的顧問工作,希望能扮演文化與科技的橋樑,以科技賦能文化產業,帶動產業生態圈發展。

此次除了與朝天宮合作外,還包括5G技術框架設計富鴻網公司、AR及互動投影提供者十三行互動公司、負責展場設計及行銷相關公司,形成科技賦能媽祖遶境的「微生態圈」,這也是資策會致力於扮演第三方顧問服務角色,積極促成生態合作重點案例。