摘要：在觀察、思辨、項(xiàng)目實(shí)踐及實(shí)驗(yàn)的基礎(chǔ)上，提出了基于AR的演藝元宇宙的設(shè)計(jì)原則，即需要充分體現(xiàn)虛實(shí)融合的主要特點(diǎn)，充分體現(xiàn)虛實(shí)融合演藝部分的必要性，充分體現(xiàn)虛實(shí)融合演藝部分的合理性，充分理解故事題材及情節(jié)，充分考慮觀眾的觀看體驗(yàn)，以及充分考慮演出設(shè)計(jì)與制作成本；同時(shí)，探討了基于AR的演藝元宇宙可選擇的幾類題材類型，如包含夢境幻境、鬼怪精靈、時(shí)空穿越、數(shù)實(shí)結(jié)合、探索情節(jié)或其他必要交互等類型的故事題材；最后，提出了基于AR的演藝元宇宙的設(shè)計(jì)策略，主要包括：傳統(tǒng)導(dǎo)演與數(shù)字導(dǎo)演的相互協(xié)作，現(xiàn)場演藝中合理切入虛擬演藝，現(xiàn)場情節(jié)與虛擬情節(jié)的合理互補(bǔ)，真人演員與數(shù)字人演員的默契配合，現(xiàn)場實(shí)景與虛擬場景的交相輝映，真實(shí)道具與虛擬道具的巧妙切換等。
作者簡介：陳永東，上海戲劇學(xué)院藝術(shù)科技與管理學(xué)院教授，上海市虛擬環(huán)境下的文藝創(chuàng)作實(shí)驗(yàn)室副主任，中國文化產(chǎn)業(yè)協(xié)會文化元宇宙專業(yè)委員會高級專家委員
一、引言
元宇宙應(yīng)用不斷滲透到演藝領(lǐng)域，逐漸形成了演藝元宇宙的概念。同時(shí)，演藝元宇宙以極強(qiáng)的包容力將VR（virtual reality，虛擬現(xiàn)實(shí)）、AR（augmented reality，增強(qiáng)現(xiàn)實(shí)）、MR（mixed reality，混合現(xiàn)實(shí)）、裸眼3D、數(shù)字人及數(shù)字藏品等吸納進(jìn)來。
目前，元宇宙通常被劃分為三個(gè)世界：數(shù)字原生的虛擬世界（或純虛擬的世界）、數(shù)字孿生的極速版真實(shí)世界、虛實(shí)融合（或數(shù)實(shí)融合）的高能版現(xiàn)實(shí)世界。在此基礎(chǔ)上，相應(yīng)的演藝元宇宙亦可分為三個(gè)世界：數(shù)字原生的演藝世界、數(shù)字孿生的演藝世界、虛實(shí)融合的演藝世界。
基于AR的演藝元宇宙屬于虛實(shí)融合的高能版現(xiàn)實(shí)演藝世界，其在未來幾年可能將快速發(fā)展。原因主要是基于AR的演藝元宇宙符合“以虛促實(shí)、以虛強(qiáng)實(shí)”的政策導(dǎo)向、AR相關(guān)硬件制造成本不斷下降、觀眾的接受程度不斷提高，這將促使基于AR的演藝元宇宙相關(guān)應(yīng)用門檻不斷下降。
對于基于AR的演藝元宇宙應(yīng)用，需要認(rèn)真研究其基本的設(shè)計(jì)原則，思考適合其表現(xiàn)的演藝故事題材，并在實(shí)踐中認(rèn)真總結(jié)基于AR的演藝元宇宙的相關(guān)設(shè)計(jì)策略。
二、基于AR的演藝元宇宙設(shè)計(jì)原則
為了使基于AR的演藝元宇宙的設(shè)計(jì)更加科學(xué)合理，需要一些基本原則，以使其充分體現(xiàn)自身的特點(diǎn)與優(yōu)勢。
（一）充分體現(xiàn)虛實(shí)融合的主要特點(diǎn)
基于AR的演藝元宇宙設(shè)計(jì)必須充分體現(xiàn)AR的基本特點(diǎn)—虛實(shí)融合。在前述的演藝元宇宙的三個(gè)世界里，虛實(shí)融合的演藝世界可以將另外兩個(gè)世界（數(shù)字原生的演藝世界、數(shù)字孿生的演藝世界）中的虛擬演藝內(nèi)容及其他影像疊加到現(xiàn)實(shí)世界的演出空間中，進(jìn)而體現(xiàn)出虛實(shí)融合這一突出特點(diǎn)。
基于AR的演藝元宇宙具有沉浸式演藝或沉浸式戲劇的一些特點(diǎn)。有觀點(diǎn)認(rèn)為，沉浸式戲劇最早起源于美國戲劇家理查·謝克納（Richard Schechner）提出的“環(huán)境戲劇”（environmental theatre），沉浸式戲劇的本質(zhì)也是環(huán)境戲劇。謝克納曾經(jīng)在論文《環(huán)境戲劇六原則》中提到環(huán)境戲劇的第二、四條原則：“所有的空間都為表演所用；所有的空間也都為觀眾所用�！薄敖裹c(diǎn)是靈活可變的。”目前，多數(shù)沉浸式戲劇更多表現(xiàn)在觀眾席與演出區(qū)域沒有明顯的界線，演員可能與觀眾進(jìn)行一定的互動，觀眾可以選擇不同的路線跟隨不同演員的表演路徑等，這些與基于AR的演藝元宇宙很相似。
實(shí)際上，從元宇宙的特點(diǎn)看，不論基于VR、AR或MR中的哪一種
技術(shù)，演藝元宇宙中的體驗(yàn)通常都比純線下的沉浸式演藝或沉浸式戲劇的體驗(yàn)更加沉浸。如果說基于VR的演藝元宇宙主要是3D環(huán)繞的場景、3D的數(shù)字人演員、3D的虛擬道具等給觀眾帶來了更加沉浸的觀看體驗(yàn)的話，那么基于AR、VR、MR的演藝元宇宙則是通過把虛擬場景、數(shù)字人演員、虛擬道具及它們的動態(tài)影像疊加到現(xiàn)實(shí)演藝空間而給觀眾提供了更加沉浸的體驗(yàn)。并且，基于AR的演藝元宇宙更加突出了虛實(shí)融合這一可以增強(qiáng)觀眾體驗(yàn)的特點(diǎn)。
（二）充分體現(xiàn)虛實(shí)融合演藝部分的必要性
任何新的演藝方式都需要考慮其存在的必要性，基于AR的演藝元宇宙中虛實(shí)融合的演藝部分也需要充分體現(xiàn)其必要性。如果一種貌似新潮的演藝方式不是完全必要的話，那么在時(shí)間、經(jīng)費(fèi)、設(shè)備或人員緊張時(shí)，往往會首先被簡化或邊緣化，甚至被刪減或摒棄。
實(shí)際上，在傳統(tǒng)的線下環(huán)境戲劇或沉浸式戲劇的表演中，也經(jīng)常出現(xiàn)對此類演藝方式的某些環(huán)節(jié)是否有必要的質(zhì)疑。例如，有時(shí)演員與觀眾的互動似乎沒有必要，類似的問題也出現(xiàn)在基于AR的演藝元宇宙應(yīng)用中。因而必須認(rèn)真思考的基本問題是，哪些虛擬場景、數(shù)字人演員、虛擬道具及它們的動態(tài)影像更適合或有必要疊加到現(xiàn)實(shí)演藝空間？
考慮虛實(shí)融合演藝部分必要性的出發(fā)點(diǎn)主要在于，這些被疊加的虛擬信息比傳統(tǒng)的演出方式更有利于優(yōu)化觀眾的體驗(yàn)、這些被疊加的虛擬信息比傳統(tǒng)的演出方式更有利于幫助觀眾理解整個(gè)劇情、這些被疊加的虛擬信息比傳統(tǒng)的演出方式實(shí)現(xiàn)的難度更小或成本更低，或者是這些被疊加的虛擬信息比傳統(tǒng)的演出方式在呈現(xiàn)或切換時(shí)所花費(fèi)的時(shí)間更短。
（三）充分體現(xiàn)虛實(shí)融合演藝部分的合理性
需要注意的是，有必要的東西未見得是合理的。正如亞里士多德提到的可然律與必然律：詩人的職責(zé)不在于描述已經(jīng)發(fā)生的事，而在于描述可能發(fā)生的事，即根據(jù)可然或必然的原則可能發(fā)生的事。這一規(guī)則不僅適用于劇情的構(gòu)思，也適用于觀眾以AR方式實(shí)現(xiàn)觀看或交互體驗(yàn)的設(shè)計(jì)。
在以AR方式實(shí)現(xiàn)觀眾觀看體驗(yàn)的設(shè)計(jì)中，演藝元宇宙作品的策劃者、導(dǎo)演、編劇及數(shù)字藝術(shù)設(shè)計(jì)師等的任務(wù)不只在于如何給觀眾提供AR觀看體驗(yàn)，而在于如何讓AR觀看體驗(yàn)的步驟、順序與過程變得更合理，并需要考慮觀眾在進(jìn)行AR觀看體驗(yàn)時(shí)的身體及心理的變化。特別是，需要考慮在什么時(shí)間點(diǎn)、什么位置出現(xiàn)觀眾需要的虛擬信息。
在以AR方式實(shí)現(xiàn)觀眾交互體驗(yàn)的設(shè)計(jì)中，演藝元宇宙作品的策劃者、導(dǎo)演、編劇及數(shù)字藝術(shù)設(shè)計(jì)師等的任務(wù)亦在于如何讓AR交互提示方式、體驗(yàn)方式、體驗(yàn)順序及所呈現(xiàn)信息的方式顯得盡可能合理。例如，在掃描現(xiàn)實(shí)世界某個(gè)對象后出現(xiàn)虛擬信息的AR交互時(shí)，需要思考用戶是否自然而然地想到需要掃描什么信息以及怎么掃描，是否需要給觀眾以不影響整體觀看體驗(yàn)為前提的某種提示。
（四）充分理解故事題材及情節(jié)
在設(shè)計(jì)基于AR的演藝元宇宙時(shí)，必須充分理解項(xiàng)目對應(yīng)的演藝故事的相關(guān)題材及情節(jié)，發(fā)掘其中更適合用AR方式展示的情節(jié)或場景，并將其以最合適的方式融入演藝元宇宙的作品中。這不僅需要認(rèn)真通讀故事劇本，熟悉故事的各條線索，還需要深入理解故事的核心價(jià)值。
劇本是戲劇藝術(shù)創(chuàng)作的文本基礎(chǔ)，它為導(dǎo)演、演員提供了明確的指導(dǎo)和依據(jù)。數(shù)字
技術(shù)可以為基于AR的演藝元宇宙作品創(chuàng)作提供更多的表達(dá)可能性，但最終呈現(xiàn)的藝術(shù)效果和質(zhì)量，不僅取決于劇本的質(zhì)量和深度，還取決于導(dǎo)演與數(shù)字藝術(shù)設(shè)計(jì)師對劇本的理解程度，以及是否可以從劇本中發(fā)掘出更多適合AR表現(xiàn)的地方。
同時(shí)，理解故事的核心價(jià)值是非常重要的，它決定了基于AR的演藝元宇宙作品的高度與深度。雖然元宇宙演藝敘事從傳統(tǒng)的線性敘事進(jìn)化到了非線性敘事、交互敘事、多故事線敘事等，但所選的故事題材所要反映的核心價(jià)值仍然是其表現(xiàn)的重點(diǎn)。使用AR
技術(shù)的優(yōu)勢及目標(biāo)之一應(yīng)該是，通過更豐富的交互讓觀眾更深刻地體驗(yàn)到故事的核心價(jià)值。
（五）充分考慮觀眾的觀看體驗(yàn)
基于AR的演藝元宇宙中，觀眾的觀看體驗(yàn)主要是虛實(shí)融合的沉浸式體驗(yàn)，如何充分考慮這一體驗(yàn)尤為重要。對于沉浸式體驗(yàn)，S.A.杰克遜（S.A.Jackson）和H.W.馬什（H.W.Marsh）曾提出九因子模型。
第一，清楚的目標(biāo)：確切地知道自己所做的活動，明確其意義和結(jié)果。
第二，自覺體驗(yàn)：沉浸體驗(yàn)的最終結(jié)果，為了自己的渴望而工作，不是因?yàn)閷髞愍?jiǎng)勵(lì)的期望，本質(zhì)上存在收獲感的體驗(yàn)。
第三，挑戰(zhàn)—技能平衡：對情境需求和個(gè)人技能平衡的感知。
第四，潛在的控制感：控制事件的力量，這種控制感在沉浸體驗(yàn)中并不是有意識達(dá)成的。
第五，專注任務(wù)：高度集中的注意力，徹底的而緊張的專注感。
第六，明確的反饋：獲得迅速和清楚的反饋，確定所有事情都按計(jì)劃執(zhí)行的感覺，對個(gè)體行為迅速和清楚的監(jiān)督。
第七，行動—意識融合：投入程度太深，以至于產(chǎn)生了自動化的行為。
第八，時(shí)間感扭曲：時(shí)間過得更快或更慢，或者不會意識到時(shí)間的流逝。
第九，失去自我意識：自我消失了，個(gè)體與任務(wù)合為一體，缺乏對自我的控制[6]。
第八、第九所述的狀態(tài)或許有些過頭，但前面七個(gè)因子對基于AR
技術(shù)為觀眾提供沉浸式體驗(yàn)有重要的借鑒價(jià)值。特別是，第二個(gè)因子中強(qiáng)調(diào)的“收獲感的體驗(yàn)”對基于AR的演藝元宇宙設(shè)計(jì)是一個(gè)重要的提醒。
觀眾體驗(yàn)還可以從更細(xì)致的角度劃分為若干個(gè)維度及體驗(yàn)要素。有研究觀點(diǎn)稱，在具身理論視角下，沉浸式旅游演藝產(chǎn)品的游客體驗(yàn)是以身體沉浸、情景沉浸與感知沉浸為核心，拓展為多感官沉浸體驗(yàn)、身體感沉浸體驗(yàn)、觀演互動沉浸體驗(yàn)、物理情境沉浸體驗(yàn)、社會情境沉浸體驗(yàn)、氛圍情境沉浸體驗(yàn)、認(rèn)知沉浸體驗(yàn)和意義沉浸體驗(yàn)8個(gè)維度，是包含視、聽、嗅、味、觸覺體驗(yàn)，本體狀態(tài)體驗(yàn)，運(yùn)動狀態(tài)體驗(yàn)等27個(gè)體驗(yàn)要素綜合作用的結(jié)果。這對于基于AR的演藝元宇宙觀眾體驗(yàn)設(shè)計(jì)亦有重要的參考價(jià)值。相對而言，過去的AR研究對物理情境沉浸體驗(yàn)、社會情境沉浸體驗(yàn)、認(rèn)知沉浸體驗(yàn)和意義沉浸體驗(yàn)等重視程度不夠。
（六）充分考慮演出設(shè)計(jì)與制作成本
任何一個(gè)演出都需要考慮設(shè)計(jì)與制作成本，基于AR的演藝元宇宙相關(guān)項(xiàng)目的設(shè)計(jì)也不例外。相比過去，雖然基于AR的演藝元宇宙項(xiàng)目的成本總體呈現(xiàn)明顯的下降趨勢，但是仍然需要根據(jù)具體情況及市場行情進(jìn)行精打細(xì)算。特別是，在近年來總體經(jīng)濟(jì)下滑、演出經(jīng)費(fèi)投入可能消減或不足的情況下，更需要考慮如何有效地降低演出設(shè)計(jì)與制作成本。
除了認(rèn)真核算演出相關(guān)的軟件硬件設(shè)備、設(shè)計(jì)師的設(shè)計(jì)費(fèi)用，進(jìn)行規(guī)范
招標(biāo)比價(jià)之外，還需要考慮更加實(shí)惠的設(shè)計(jì)
方案。目前，一些引擎中有較多現(xiàn)成的數(shù)字資產(chǎn)，在建模時(shí)可以充分利用。近年來興起的AIGC工具也可以提升內(nèi)容生成效率，同時(shí)還有一些人工智能接口可以遠(yuǎn)程調(diào)用。
此外，有時(shí)可能不得不考慮適當(dāng)降低觀眾體驗(yàn)層次，或者采用相對低成本的替代設(shè)計(jì)
方案，進(jìn)而適當(dāng)簡化功能以降低設(shè)計(jì)成本。例如，在AR體驗(yàn)所需的3D虛擬信息建設(shè)成本可能很高時(shí)，作品未必全部都要使用3D建模，可以在演藝元宇宙場景設(shè)計(jì)中局部采用3D建模的方式，而其他地方可以采用貼圖、全景圖或全景視頻的方式，或采用非寫實(shí)的方式（如水墨或?qū)懸猱嬅妫�。有時(shí)可以采用“二渲三”的方式，即使用3D建模軟件創(chuàng)建角色和場景，然后使用2D手繪
技術(shù)為這些模型著色和添加紋理。有時(shí)，為了達(dá)到虛實(shí)融合的體驗(yàn)，可以采用裸眼3D大屏、全息投影或激光投影等方式。
三、基于AR的演藝元宇宙題材選擇
基于AR的演藝元宇宙應(yīng)用需要選擇合適的題材。相對而言，有一些類型的故事題材更加適合使用AR來表現(xiàn)，如包含夢境幻境、鬼怪精靈、時(shí)空穿越、數(shù)實(shí)結(jié)合、探索情節(jié)或其他必要交互等類型的故事題材。
（一）包含夢境幻境的故事題材
對于包含夢境或幻境的故事題材，在進(jìn)行基于AR的演藝元宇宙設(shè)計(jì)時(shí)，可以將非夢境或幻境的場景放到現(xiàn)實(shí)演藝空間中呈現(xiàn)，將夢境或幻境場景中所包含的影像信息以虛擬的方式疊加到現(xiàn)實(shí)演藝空間中。
例如，莎士比亞的《哈姆雷特》中哈姆雷特父親的亡魂給哈姆雷特的托夢、蒲松齡的《聊齋志異》中的不少夢境，都適合用AR虛擬影像來表現(xiàn)。特別是，當(dāng)現(xiàn)實(shí)演藝空間較難表現(xiàn)夢境或幻境，或現(xiàn)場切換場景太麻煩時(shí)，AR則顯得更加合適。例如，明代劇作家湯顯祖的“臨川四夢”（又稱“玉茗堂四夢”，即《牡丹亭》《紫釵記》《邯鄲記》《南柯記》）皆有夢境，適合用AR來呈現(xiàn)。上海戲劇學(xué)院數(shù)字媒體藝術(shù)2023屆本科畢業(yè)生潘珠鋆的畢業(yè)作品《游園驚夢》（由鐵鐘、俞瑋婭老師指導(dǎo)）在沉浸式影像中包含了類似裸眼3D的AR形式的虛實(shí)融合的沉浸式演藝成分，其中虛擬影像更多用于表現(xiàn)夢境。如果該作品能配合現(xiàn)場的表演，可能會達(dá)到更好的虛實(shí)融合的效果。
再比如，在曹雪芹的《紅樓夢》中，夢境及幻境亦是頻繁出現(xiàn)的場景。其中，賈寶玉夢游太虛幻境，見到了自己未來的命運(yùn)；林黛玉的夢境則常常預(yù)示著她的悲劇結(jié)局。這些夢境不僅是故事中的重要情節(jié)，還反映出現(xiàn)實(shí)與虛幻之間微妙的關(guān)系。在現(xiàn)場演出時(shí)，這些場景用AR方式疊加到現(xiàn)場則較為適合。
（二）包含鬼怪精靈的故事題材
鬼怪精靈之類的故事情節(jié)較為適合用AR表現(xiàn)的主要原因在于：
第一，鬼怪精靈往往出現(xiàn)在神秘、恐怖、詭異等超自然的場景中，與現(xiàn)實(shí)演藝空間的場景差別較大；
第二，鬼怪精靈出現(xiàn)在雷電、煙霧、云朵、水柱等場景，此類實(shí)景制作的難度相對較大；
第三，鬼怪精靈的造型往往較為奇特，此類造型的實(shí)體服飾、化妝及道具的制作難度相對較大。這些問題由AR解決則效率更高。
以莎士比亞的知名戲劇《麥克白》為例，劇中麥克白將軍為國王平叛和抵御入侵立功歸來，路上遇到三個(gè)女巫。女巫對他說，他將進(jìn)爵為王，但他的子嗣不能繼承王位，而同僚班柯將軍的后代要做王。對于這一女巫出現(xiàn)的場景，現(xiàn)場演藝中就可能遇到上述幾個(gè)問題，用AR會處理得更好。
國家大劇院、中央廣播電視總臺央視網(wǎng)以及中國（北京）星光視聽產(chǎn)業(yè)基地三大行業(yè)領(lǐng)域巨頭聯(lián)合呈現(xiàn)的中國首部XR數(shù)字戲劇《麥克白》針對上述問題進(jìn)行了積極嘗試與實(shí)驗(yàn)。在該作品的開場，麥克白抱著死去的麥克白夫人緩緩走向巨大的女巫雕像，
鏡頭隨炸裂的雕像推向黑色的深淵；女巫們從黑色大地深處蠕動蘇醒，電影蒙太奇時(shí)空與戲劇舞臺視覺不斷切換。從某種意義上講，XR數(shù)字戲劇《麥克白》可以算作采用AR方式拍攝的電影，其通過XR
技術(shù)動態(tài)追蹤演員與虛擬場景的實(shí)時(shí)交互過程，實(shí)時(shí)渲染輸出虛擬場景與演員真情表演相融合的畫面。
（三）包含時(shí)空穿越的故事題材
時(shí)空穿越之類的故事情節(jié)較為適合AR表現(xiàn)的主要原因在于，時(shí)空穿越的情節(jié)至少包含了兩個(gè)不同的時(shí)空，它們可以分別利用現(xiàn)實(shí)演藝空間及虛擬演藝空間來呈現(xiàn)。在正常的普通時(shí)空中，用現(xiàn)實(shí)演藝空間呈現(xiàn)表演；在需要穿越到另一個(gè)時(shí)空時(shí)，用虛擬演藝空間加以呈現(xiàn)。
有時(shí)，可以通過AR將古代的虛擬演藝影像疊加到現(xiàn)代的場景，進(jìn)而形成古代與現(xiàn)代的時(shí)空穿越。一些文旅景區(qū)即采用了類似的方法為游客提供基于AR的沉浸式展演體驗(yàn)。例如，西安的“雁塔流光”沉浸式AR秀，即通過AR
技術(shù)，實(shí)現(xiàn)以真實(shí)大雁塔為背景的唐朝盛景和現(xiàn)代長安景象的交相輝映，光影變換，為游客營造了時(shí)空穿越的體驗(yàn)。
基于AR的演藝元宇宙的兩個(gè)空間還可以有不同的時(shí)間線，由觀眾自由選擇。加利福尼亞大學(xué)洛杉磯分校（University of California，Los Angeles，UCLA）的
工程、媒體和表演研究中心（The Center for Research in Engineering，Media and Performance，REMAP）推出的《高堡奇人：摯愛之國》是基于虛幻引擎打造的沉浸式AR實(shí)驗(yàn)性戲劇，講述了一個(gè)架空歷史的故事。在該沉浸式AR實(shí)驗(yàn)性戲劇中，導(dǎo)演通過AR
技術(shù)將劇情劃分為兩條時(shí)間線：在真人演出部分，觀眾可看到一個(gè)平行世界；在AR構(gòu)建的世界中，觀眾通過智能平板設(shè)備，可看到由AR呈現(xiàn)的內(nèi)容，虛擬的場景疊加在真實(shí)場景之上。
（四）包含數(shù)實(shí)結(jié)合的故事題材
AR的基本特點(diǎn)就是虛實(shí)融合或數(shù)實(shí)結(jié)合，如果故事題材中本來就包含了數(shù)實(shí)結(jié)合的情節(jié)，那么此時(shí)的演出使用AR就再合適不過。例如，虛擬拍攝經(jīng)常采用數(shù)實(shí)結(jié)合的AR方式打造演藝元宇宙，利用環(huán)屏中的影像展示數(shù)字化的虛擬內(nèi)容，現(xiàn)場則僅需相對簡單的實(shí)景道具及智能燈陣相配合。LED虛擬化制作有效避免了人員的大規(guī)模流動，減少了劇組的跨區(qū)域拍攝，在固定的攝影棚內(nèi)就能完成“無限轉(zhuǎn)場”。一些科幻題材的故事或朋克風(fēng)格的場面更可能出現(xiàn)需要用數(shù)字化手段呈現(xiàn)的虛擬場景或特效。
用數(shù)實(shí)結(jié)合的AR方式打造的演藝元宇宙也可以使用微縮的真實(shí)場景，再配合以虛擬的影像來豐富觀眾的觀看體驗(yàn)。由上海戲劇學(xué)院張敬平教授領(lǐng)銜設(shè)計(jì)的XR沉浸式戲劇《黛玉葬花》借助VR、AR
技術(shù)將虛擬越劇演員與真實(shí)的舞美相結(jié)合，向觀眾展現(xiàn)了一種新的數(shù)字化戲劇觀演方式。通過3D建模、3D打印等形式，作品將“榮國府”“三生石畔”等書中的場景微縮再現(xiàn)，觀眾可通過佩戴AR頭顯設(shè)備或借助平板設(shè)備看到虛擬的越劇演員在對應(yīng)微縮場景中的表演。
如果演出的舞臺設(shè)計(jì)本來就需要數(shù)實(shí)結(jié)合的場景，那么AR的參與也是較為合理的選擇，只是虛擬信息的呈現(xiàn)可以有多種不同的選擇，如全息投影、激光投影等裸眼3D方式。例如，2024年4月，大型AR幻影成像+真人演藝劇場《屈原》在長沙上演，以全息投影
技術(shù)營造的逼真場景和舞臺表演，將高科技舞臺與真人表演完美結(jié)合，通過創(chuàng)新水墨畫風(fēng)格和動態(tài)特效，生動再現(xiàn)了屈原的家國情懷，并營造出如夢如幻的離騷幻想“詩界”。
（五）包含探索情節(jié)的故事題材
有些故事包含了探索的情節(jié)，可以利用AR實(shí)現(xiàn)這些探索情節(jié)。對于偵探類故事中的探索情節(jié)，在演出時(shí)可以將其中一些放在現(xiàn)場演藝空間的表演中，而將另一些現(xiàn)場較難表現(xiàn)的探索情節(jié)放在AR的虛擬場景中。基于AR的探索情節(jié)設(shè)計(jì)本質(zhì)上還是交互的一種，但其主要目的是讓觀眾獲得更多關(guān)于演出故事的線索，以便更好地理解故事。
有些探索情節(jié)可能是導(dǎo)演或編劇在表現(xiàn)故事時(shí)故意留下的懸念，而AR則可以調(diào)動觀眾參與到包含懸念的線索解密中。例如，在上海戲劇學(xué)院2024屆數(shù)字藝術(shù)設(shè)計(jì)藝術(shù)碩士（MFA）畢業(yè)生朱貝銘的畢業(yè)作品AR戲劇《行星獨(dú)行》（由陳永東、劉志新老師指導(dǎo)）中，觀眾需要至少進(jìn)行兩次探索才能更加清楚地了解故事的主要線索，方可理解劇中角色爭吵的原因、相關(guān)角色之間的關(guān)系，以及發(fā)生在他們身上的相關(guān)故事線索。
從某種意義上講，此時(shí)基于AR的演藝元宇宙體驗(yàn)已經(jīng)類似于AR游戲，進(jìn)而出現(xiàn)了游戲戲劇化、戲劇游戲化的趨勢。因此，可以借鑒沉浸感、探索性同樣突出的“劇本殺”吸引觀眾探尋線索的方法。有觀點(diǎn)認(rèn)為，戲劇和游戲領(lǐng)域都產(chǎn)生出跨媒介、跨領(lǐng)域的交融模式，“劇本殺”就是這個(gè)時(shí)代的娛樂產(chǎn)品相融合的典型代表�？梢哉f它是戲劇的游戲化，也可以說它是游戲的戲劇化，在這二者之間，它吸收了彼此的優(yōu)勢。
（六）包含其他必要交互的故事題材
基于AR的演藝元宇宙在應(yīng)用時(shí)可以提供更多不同方式的交互，如觀眾與數(shù)字人演員或NPC（non-player character，非玩家角色）的互動，觀眾與現(xiàn)場演出場景的互動，觀眾通過掃描演出海報(bào)、場刊獲得更多影像信息的AR交互，以及觀眾以AR方式參與與演出相關(guān)的尋寶活動。
2017年10月，在第十九屆中國上海國際藝術(shù)節(jié)的上海嘉定互動戲劇節(jié)上，由美國建造者聯(lián)盟（The Builders Association）制作的AR互動戲劇《仙蹤元素》（Elements of Oz）進(jìn)行了片段演示，該AR互動戲劇取材于《綠野仙蹤》（The Wizard of Oz）。觀眾在觀看戲劇之前，需要在手機(jī)中下載相應(yīng)的APP。在劇情推進(jìn)中，主創(chuàng)人員會提示觀眾打開應(yīng)用，舉起手機(jī)對著舞臺四周來回移動，屏幕上則會出現(xiàn)水晶魔法球、龍卷風(fēng)、飛天猴子等各種特效。這一方式用AR
技術(shù)創(chuàng)造出一層豐富的圖像，使其與舞臺動作相融合。
在AR戲劇《行星獨(dú)行》的推廣中，海報(bào)、場刊及尋寶活動亦引入了AR交互。觀眾可以打開手機(jī)小程序識別海報(bào)，從而看到海報(bào)的動態(tài)樣式，其中有劇中角色林照處于轉(zhuǎn)動的黑洞之中的動態(tài)影像，表現(xiàn)其在生活中的掙扎與糾結(jié)。同時(shí)，觀眾可以通過小程序識別場刊，看到一個(gè)“小黑人”正在仰視上方的星球，觀眾可以將其與自己喜歡的現(xiàn)實(shí)場景進(jìn)行搭配，拍照留念。此外，觀眾可以通過小程序識別校園中的特定標(biāo)識，尋找有關(guān)戲劇的AR物品線索，進(jìn)行打卡記錄，并在后續(xù)憑借打開內(nèi)容獲得紀(jì)念品。多種形式的AR體驗(yàn)讓觀眾有了更多的參與感。
四、基于AR的演藝元宇宙設(shè)計(jì)策略
在具體設(shè)計(jì)基于AR的演藝元宇宙作品時(shí)，需要在充分體現(xiàn)前面提到的基本原則的同時(shí)，深入思考并認(rèn)真研究相應(yīng)的設(shè)計(jì)策略。一場演出的主要元素包括空間、情節(jié)、演員、場景、道具及觀眾等，基于AR的演藝元宇宙設(shè)計(jì)不僅需要傳統(tǒng)導(dǎo)演與數(shù)字導(dǎo)演在充分溝通的基礎(chǔ)上考慮空間與觀眾元素，而且還需要在情節(jié)、演員、場景及道具等方面盡量突出虛實(shí)融合的特點(diǎn)。
（一）傳統(tǒng)導(dǎo)演與數(shù)字導(dǎo)演的相互協(xié)作
基于AR的元宇宙演藝項(xiàng)目與傳統(tǒng)演藝項(xiàng)目有較大的不同，需要相關(guān)導(dǎo)演對它有充分的理解。AR通過信息、圖像、交互的三向增強(qiáng)讓用戶更直觀地享受虛實(shí)結(jié)合帶來的視覺沖擊，完成實(shí)時(shí)交互的同時(shí)讓觀眾沉浸其中。元宇宙
技術(shù)的賦能使戲劇舞臺場景虛實(shí)相生，強(qiáng)化了劇場演出的“沉浸式”氛圍。虛實(shí)融合及虛實(shí)相生都需要導(dǎo)演具備新的認(rèn)識與理解。
目前，在數(shù)字演藝項(xiàng)目中已經(jīng)出現(xiàn)了數(shù)字導(dǎo)演崗位。由于基于AR的元宇宙演藝項(xiàng)目必然會涉及現(xiàn)場演出，那么就可能同時(shí)需要數(shù)字導(dǎo)演與傳統(tǒng)導(dǎo)演兩個(gè)崗位，并且需要二者進(jìn)行充分的溝通。一方面，傳統(tǒng)導(dǎo)演需要學(xué)習(xí)基于AR的元宇宙演藝的特點(diǎn)；另一方面，數(shù)字導(dǎo)演亦需要了解傳統(tǒng)導(dǎo)演的工作內(nèi)容。只有雙方充分溝通，相互理解，相互協(xié)作，才能更好地完成基于AR的元宇宙演藝項(xiàng)目設(shè)計(jì)。
數(shù)字導(dǎo)演及傳統(tǒng)導(dǎo)演都需要保持開放協(xié)作的心態(tài)，都需要花時(shí)間傾聽對方的想法、意見與建議，并在理解的基礎(chǔ)上對演出的各方面達(dá)成共識。強(qiáng)調(diào)這一點(diǎn)的原因在于，多數(shù)情況下，傳統(tǒng)導(dǎo)演由于熟悉現(xiàn)場表演各環(huán)節(jié)而表現(xiàn)得相對強(qiáng)勢，數(shù)字導(dǎo)演則由于不大擅長需求表達(dá)與溝通而顯得相對弱勢，那么就可能影響演出中具有AR特點(diǎn)內(nèi)容的充分表現(xiàn)。
（二）現(xiàn)場演藝中合理切入虛擬演藝
如前文設(shè)計(jì)原則所述，需要在基于AR的演藝元宇宙設(shè)計(jì)中充分體現(xiàn)虛實(shí)融合演藝部分的必要性及合理性。必須深入研究思考如何在現(xiàn)場演藝中合理地切入虛擬演藝內(nèi)容。在個(gè)性化選擇及交互化操作的基礎(chǔ)上，觀眾往往通過非線性敘事、多故事線敘事等方式體驗(yàn)AR的元宇宙演藝項(xiàng)目，同時(shí)也可能需要現(xiàn)場敘事與虛擬敘事的相互穿插。
相比傳統(tǒng)演藝項(xiàng)目，基于AR的元宇宙演藝項(xiàng)目的敘事在時(shí)間及空間上都出現(xiàn)了較大變化。AR交互式敘事在時(shí)間上由用戶進(jìn)行創(chuàng)建，并參與到敘事的環(huán)節(jié)中去，作品的價(jià)值一定程度上也由用戶的選擇而產(chǎn)生。AR的形式使得敘事在故事空間上有了更大的可能性，擴(kuò)展了敘事空間的邊界。故事空間也可以和現(xiàn)實(shí)空間相結(jié)合，使現(xiàn)實(shí)空間參與到敘事空間，共同完成敘事。這種共同敘事則需要反復(fù)琢磨如何將現(xiàn)場敘事與虛擬敘事進(jìn)行合理銜接。
在設(shè)計(jì)基于AR的元宇宙演藝項(xiàng)目時(shí)，對于現(xiàn)場敘事切入虛擬敘事的環(huán)節(jié)，既可以采取現(xiàn)場演出暫停以體驗(yàn)虛擬場景的方式，也可以采取在現(xiàn)場演藝進(jìn)行的同時(shí)體驗(yàn)虛擬場景的方式。對于前者，需要為虛擬場景留下必要的故事線索；對于后者，則需要合理設(shè)計(jì)虛擬場景交互的時(shí)間節(jié)點(diǎn)。2023年11月光點(diǎn)新媒體藝術(shù)節(jié)組委會推出的《聲聲入境Audio-Visual Live》沉浸式跨媒體演出在現(xiàn)場演出投影過程中不時(shí)出現(xiàn)時(shí)長十幾秒的二維碼，觀眾通過手機(jī)或平板掃描后，可以通過AR方式看到所疊加的虛擬演藝影像。
（三）現(xiàn)場情節(jié)與虛擬情節(jié)的合理互補(bǔ)
在任何一個(gè)演出中，情節(jié)都是較為重要的部分，基于AR的元宇宙演藝項(xiàng)目亦需要重視情節(jié)，并注意將現(xiàn)場表演的情節(jié)與虛擬場景中的情節(jié)有機(jī)地融合，使二者合理地互補(bǔ)。需要仔細(xì)斟酌的是，究竟哪些情節(jié)更適合放在現(xiàn)場表演中，哪些情節(jié)更適合放在虛擬場景中。
實(shí)際上，VR與AR中涉及的虛擬空間已經(jīng)成為新的“特定場域”（site-specific）。有觀點(diǎn)認(rèn)為，數(shù)字媒介
技術(shù)在各類環(huán)境空間基礎(chǔ)上構(gòu)建出全新的表演場域。表演者在媒介所呈現(xiàn)的仿真環(huán)境中展開交互表演行為，環(huán)境信息和媒介信息相互結(jié)合，共同構(gòu)成了引導(dǎo)表演者認(rèn)知和行動的場域。由環(huán)境空間和數(shù)字媒介共同創(chuàng)造的表演現(xiàn)場極大地釋放了交互表演的表現(xiàn)能力。被媒介重新塑造的表演空間形成了具有獨(dú)特精神的“特定場域”。這里的“環(huán)境空間”既可以是傳統(tǒng)的現(xiàn)場表演空間，也可以是特定場域的現(xiàn)場表演空間。只不過，演藝領(lǐng)域現(xiàn)在可以充分利用新的特定場域類型—數(shù)字或虛擬的表演空間。
現(xiàn)場情節(jié)與虛擬情節(jié)的互補(bǔ)需要充分考慮觀眾通常的觀看習(xí)慣（涉及行為學(xué)），研究觀眾心理，認(rèn)真揣摩各種可能性，并為觀眾提供清晰易懂的提示或引導(dǎo)（如文字、聲音、符號、明暗、顏色、數(shù)字人手勢等）。AR戲劇《行星獨(dú)行》通過非線性的敘事體驗(yàn)方式，借助AR
技術(shù)創(chuàng)造虛實(shí)融合的戲劇呈現(xiàn)方式，營造沉浸式的體驗(yàn)感。觀眾可以通過平板設(shè)備識別出AR場景，然后點(diǎn)擊相關(guān)場景中的物件進(jìn)行交互，通過搜尋演出的相關(guān)線索以了解隱藏的劇情，進(jìn)而達(dá)到對現(xiàn)場戲劇情節(jié)內(nèi)容的補(bǔ)充。
（四）真人演員與數(shù)字人演員的默契配合
毋庸置疑，數(shù)字人演員將不斷出現(xiàn)在演藝領(lǐng)域，并且與真人演員產(chǎn)生更多的合作。一方面，隨著數(shù)字虛擬人
技術(shù)的成熟，虛擬劇場里的演員也將是數(shù)字虛擬演員，體驗(yàn)者與數(shù)字虛擬人共同參與整個(gè)戲劇的生成[14]；另一方面，數(shù)字人演員與真人演員之間將進(jìn)行更多交互，相互配合完成相對復(fù)雜的表演。在以色列企業(yè)AR Show制作的AR戲劇《格列佛游記》中，觀眾可通過使用專門設(shè)計(jì)的AR眼鏡目睹“真實(shí)+虛擬”演員在“虛擬+真實(shí)”的空間中進(jìn)行表演，如小人國居民（由真人演員扮演）在虛擬的森林場景中穿梭，虛擬的巨型貓與人形玩偶在現(xiàn)實(shí)場景中與真人演員嬉戲等。
在基于AR的演藝元宇宙中，真人演員與數(shù)字人演員可以配合進(jìn)行更復(fù)雜的表演。例如，2022年北京衛(wèi)視春節(jié)聯(lián)歡晚會中，真人演員劉宇與數(shù)字人演員“蘇小妹”共同演繹了節(jié)目《星河入夢》，由于虛實(shí)結(jié)合舞臺的特殊性，導(dǎo)演組對于
鏡頭畫面、舞臺配合等都要求極高，真人演員劉宇的舞臺走位需要每一遍都做到完全一致，彩排、空鏡錄制及最終錄制均花費(fèi)了數(shù)小時(shí)。
可以進(jìn)一步賦予數(shù)字人演員性格特征，進(jìn)而使其與真人演員結(jié)合的表演更加自然生動。虛擬角色的靈魂或許主要表現(xiàn)在其內(nèi)心世界、情感狀態(tài)及動機(jī)等方面。上海戲劇學(xué)院數(shù)字媒體藝術(shù)2024屆本科畢業(yè)生金江旭的畢業(yè)作品新媒體舞蹈《高手》（由張敬平、戴煒老師指導(dǎo)），不僅賦予虛擬角色具體的性格特征，而且通過設(shè)置角色間的關(guān)系以及情感沖突來豐富角色形象。
（五）現(xiàn)場實(shí)景與虛擬場景的交相輝映
在基于AR的演藝元宇宙設(shè)計(jì)中，現(xiàn)場實(shí)景與虛擬場景可以緊密結(jié)合，相互補(bǔ)充，進(jìn)而達(dá)到交相輝映的綜合場景表現(xiàn)效果。AR能夠無縫融合“虛”和“實(shí)”兩個(gè)時(shí)空場域，可以更富表現(xiàn)力地展現(xiàn)故事的應(yīng)景景象，將用戶的體驗(yàn)維度從2D平面拓展到3D空間，增強(qiáng)呈現(xiàn)高度仿真的“真實(shí)”場景及聲像，將觀者帶入另一番場景。此時(shí)，虛擬場景可以彌補(bǔ)現(xiàn)場實(shí)景的不足，并與現(xiàn)場實(shí)景分別發(fā)揮各自的優(yōu)勢。
現(xiàn)場實(shí)景與虛擬場景的配合可以使觀眾有更加強(qiáng)烈的體驗(yàn)，進(jìn)而讓基于AR的演藝元宇宙更加具有臨場性與沉浸性。Rokid、哈皮木偶及深湖科技共同為烏鎮(zhèn)戲劇節(jié)打造的AR木偶戲《即將消失的海洋動物》通過AR
技術(shù)，將木偶、演員的現(xiàn)實(shí)場景與虛擬海洋世界景象融合到了一起，創(chuàng)造了一個(gè)夢幻般的“神奇世界”。同時(shí)，觀眾可以通過互動更加深入地參與到戲劇表演中，獲得獨(dú)特的觀演體驗(yàn)。
現(xiàn)場實(shí)景與虛擬場景的緊密配合可以拓展觀眾對現(xiàn)實(shí)和虛擬世界的感知邊界，實(shí)現(xiàn)現(xiàn)實(shí)與虛擬感知邊界與感知體驗(yàn)的交叉融合。例如，上海戲劇學(xué)院2024屆本科畢業(yè)生陳琪的畢業(yè)作品AR新媒體演藝《水芫花001號》（由鐵鐘、韓生老師指導(dǎo)）在圖像小說的敘事基礎(chǔ)上，利用插畫創(chuàng)造了一個(gè)虛擬3D場景，觀眾可以通過移動設(shè)備與數(shù)字場景展開互動，實(shí)現(xiàn)了虛擬場景與現(xiàn)場實(shí)景的有機(jī)融合。
（六）真實(shí)道具與虛擬道具的巧妙切換
在基于AR的演藝元宇宙設(shè)計(jì)中，真實(shí)道具與虛擬道具可以有更多更巧妙的切換。例如，兒童AR戲劇《格列佛游記》呈現(xiàn)了虛擬的背景和道具與真實(shí)演員相結(jié)合的表演。又如，2019年江蘇衛(wèi)視跨年演唱會上，歌手薛之謙與虛擬歌手洛天依配合表演節(jié)目《達(dá)拉崩吧》，歌曲中的人物與真人歌手的道具也是由AR視覺效果呈現(xiàn)出來的，即在真實(shí)的環(huán)境中疊加了虛擬的人物、道具。
在基于AR的傳統(tǒng)戲曲元宇宙表演中，可能需要適當(dāng)保留一些傳統(tǒng)的程式化、虛擬化的戲曲道具。AR虛擬視覺內(nèi)容不能替代真實(shí)的戲曲道具，要保持戲曲道具的存在感。在傳統(tǒng)戲曲表演中，演員只需要用一根馬鞭、一支船槳、一面旗子就可以表現(xiàn)相應(yīng)的場面，這些虛擬化的道具在AR戲曲表演時(shí)需要加以保留，以保持傳統(tǒng)戲曲的“原汁原味”。
在基于AR的傳統(tǒng)戲曲元宇宙表演中，虛擬道具可能具有“雙重虛擬性”。一方面，中國傳統(tǒng)戲曲表演中所使用的道具本來就有“虛擬性”特征，具有替代實(shí)體道具的簡化作用；另一方面，如上所述，為了保持傳統(tǒng)戲曲的原有特點(diǎn)，可在AR戲曲設(shè)計(jì)中以虛擬的形式呈現(xiàn)傳統(tǒng)戲曲現(xiàn)場演出中虛擬性的道具。這樣，AR戲曲中的部分虛擬道具有了“雙重虛擬性”。
五、結(jié)語
由于演藝領(lǐng)域的相對特殊性，其現(xiàn)場觀看體驗(yàn)仍然具有較大的吸引力。同時(shí)，演藝領(lǐng)域的現(xiàn)場體驗(yàn)感還有較大的可改善及提升的空間。AR
技術(shù)的引入，將為現(xiàn)場演藝帶來更加豐富、更加強(qiáng)烈及更加沉浸的體驗(yàn)，這也使得基于AR的演藝元宇宙將迎來更大的發(fā)展機(jī)遇。
在設(shè)計(jì)基于AR的演藝元宇宙項(xiàng)目時(shí)，需要制定基本的原則，以更好地體現(xiàn)其各方面的優(yōu)勢。例如，需要充分體現(xiàn)虛實(shí)融合的主要特點(diǎn)，充分體現(xiàn)虛實(shí)融合演藝部分的必要性，充分體現(xiàn)虛實(shí)融合演藝部分的合理性，充分理解故事題材及情節(jié)，充分考慮觀眾的觀看體驗(yàn)，同時(shí)需要充分考慮演出設(shè)計(jì)制作成本。
在為基于AR的演藝元宇宙作品選擇題材時(shí)，可以優(yōu)先選擇那些更適合表現(xiàn)虛實(shí)融合的內(nèi)容類型，如包含夢境幻境、鬼怪精靈、時(shí)空穿越、數(shù)實(shí)結(jié)合、探索情節(jié)或其他必要交互等類型的故事題材。當(dāng)然，隨著基于AR的演藝元宇宙項(xiàng)目實(shí)踐的不斷深入，可以嘗試更廣泛的題材，但讓虛擬表演部分更好地融入現(xiàn)場表演是基本前提。
在具體設(shè)計(jì)基于AR的演藝元宇宙時(shí)，需要思考AR
技術(shù)支撐下的演藝的空間、場景、情節(jié)、角色及道具的不同虛實(shí)組合，進(jìn)而總結(jié)相應(yīng)的設(shè)計(jì)策略。這些策略主要包括：傳統(tǒng)導(dǎo)演與數(shù)字導(dǎo)演的相互協(xié)作，現(xiàn)場演藝中合理切入虛擬演藝，現(xiàn)場情節(jié)與虛擬情節(jié)的合理互補(bǔ)，真人演員與數(shù)字人演員的默契配合，現(xiàn)場實(shí)景與虛擬場景的交相輝映，真實(shí)道具與虛擬道具的巧妙切換等。
需要指出的是，在基于AR的演藝元宇宙中，觀眾本身也參與了整個(gè)表演，其體驗(yàn)具有明顯的個(gè)性化及交互性特點(diǎn)。同時(shí)，基于AR的演藝元宇宙除了突出虛實(shí)融合的基本特點(diǎn)之外，其探索性及游戲化的特點(diǎn)也較為突出，進(jìn)而使得基于AR的演藝元宇宙呈現(xiàn)出更強(qiáng)的沉浸性特點(diǎn)。
對于演藝領(lǐng)域的傳統(tǒng)戲劇工作者而言，或許短時(shí)間內(nèi)較難接受“戲劇的游戲化”的觀點(diǎn)，然而，游戲本來就是包括戲劇在內(nèi)的藝術(shù)的重要起源之一。從這個(gè)角度看，基于AR的演藝元宇宙或許可以讓包括戲劇在內(nèi)的藝術(shù)體驗(yàn)更加體現(xiàn)出約翰·席勒（Johann Schiller）提到的“人類游戲的本能”。
