2018 臺北流⾏⾳樂國際論壇
Live/ in the Moment 創意現場
《未來舞台・數位感官》主題演講時間：7 ⽉ 3 ⽇（⼆）9:30-11:30
講者： 媒體藝術家 / Rhizomatiks 創辦⼈ 真鍋⼤度
媒體藝術家 Rhizomatiks Research 共同主理⼈ ⽯橋素
知名導演暨編舞家 ELEVENPLAY 舞團創辦⼈ MIKIKO指導單位：文化部
主辦單位：臺北市文化局、臺北流行音樂中心
承辦單位：必應創造
文、圖 / 2018 臺北流行音樂國際論壇 提供
2018 臺北流⾏⾳樂國際論壇《Live/ in the Moment 創意現場》於 2018 年 7 ⽉ 3 ⽇在忠泰講廳正式展開，本次論壇主題聚焦於「演唱會製作」。有鑑於 VR、AR、3D 技術的快速進步，全球⾳樂現場的樣貌正在⼤幅改變，結合數位科技的表演讓⼤家趨之若騖，演唱會市場在各地持續成⾧。世界頂尖的演出設計團隊，是如何運⽤嶄新的技術與創意，創造參與者的感官極限，打造難以取代的現場體驗？
本次論壇以《Live/ in the Moment 創意現場》為題，邀請到重量級的國際⼤師真鍋⼤度、⽯橋素及知名導演暨編舞家 MIKIKO，分享如何以科技運⽤的創造⼒，結合舞蹈編排的感染⼒，開拓表演的更多可能性，創造出影響世界的未來感舞台。論壇以對談、⼯作坊、作品展⽰與實例解析，帶給國內演出製作職⼈領先全球的知識及創造⼒，激發每次 LIVE 的無限可能。
追求未來感的舞台是始終不變的使命
在論壇的⼀開始，真鍋⼤度提到，因為追求更具未來感的舞台是他們的使命，所以他們抱持開放的態度，接受⼀切跨界的新科技、新技術，來思考這些元素如何化成舞台上更好的表演元素。
他提到多年合作下來，與 Mikiko ⽼師越來越有默契，在⽇本當紅偶像⼥⼦三⼈團體 Perfume 的多次合作，對他們⽽⾔成為⼀次次挑戰⾃⼰的⽬標。他們也多次使⽤演唱會中沒有看過的新科技，為Perfume 的每⼀次演出創造驚喜，記得在⼀次演唱會中，他們⾸度使⽤了可撓式 LED 燈管作為藝⼈⾝上的發光⾐，為了確保演唱會的效果，在舞台⼀⽚昏暗的現場，上場前⼯作⼈員還要不斷⽤遠紅外線的相機來監看，確認藝⼈⾝上的 LED 裝光亮無虞。
對新技術的追求腳步沒有停歇，真鍋的團隊後來也陸續採⽤了更新的技術，例如 3D 列印，全像投影等等。他認為⼀場成功的演唱會，已經不只是歌⼿要負責所有的表演效果，透過電腦系統強⼤的運算能⼒，演唱會應該要呈現更好的虛實整合效果，讓觀眾有⽿⽬⼀新的感受。在⼀段影⽚的展⽰中，⽯橋提到他們⾸次在藝⼈⼿上安裝了⼩⼩發訊器，透過影像捕捉與即時運算，就可以讓炫⽬的⾊彩跟隨著藝⼈舞蹈的動作在舞台上呈現，創造出更好的舞臺效果。
更進⼀步，⽯橋描述了 2012 年的時候，他們參與了⼀場名為「Eclipse Blue」的演出，與 Mikiko 合作，為藝⼈量⾝打造了⼀個以「光」和「影」為主的表演，採⽤了全息投影技術，在舞者的影⼦處做投影，所以觀眾看⾒的不只是舞者的⾝體動作，還包括與投影影像互動的合成效果。於是透過相機不斷捕捉舞者的動作，電腦的即時運算，投影就可以形成投像，與舞者互動出⼀場精彩的表演。
不只創造新技術 還要讓它不斷進化
「這個即時投影系統在剛開始創造出來的時候⾮常笨重，但是在我們不斷的改進下，」真鍋指出：「半年後 Perfume 的演唱會，這套系統已經變成攜帶型的設備了。」當然，不只體積縮⼩，在投影功能上也有更多的精進，透過舞者⾝上的反光材質，系統可以更清楚的辨明捕捉到的是舞者⾝體的哪⼀部分，因此就可以做出更精密的投影效果。甚⾄透過每⼀個捕捉點的分別運算，可以瞬間讓舞者在舞台上消失，讓觀眾聚焦在舞台上的投影光雕效果，也可以在下⼀瞬間，讓藝⼈光亮出場，為現場創造更多的興奮感。⽽在 Perfume 法國 Cannes Lion 的演出，他們不斷研究的技術展現了成果，更新⼀代的投影甚⾄細緻到可以在藝⼈胸口投影出不同條紋、圖案等影像，創造出千變萬化的效果。他指出，⼀場成功的演唱會，⼀定是個跨領域科技整合的成果，當中包括服裝材質、運算能⼒、投影技術，以及鉅細靡遺的整合集成。
⽯橋也提及在 Perfume 的⼀個 MV 裡，⼀出場的就是⼀個製造業常⽤的⼯業⼿臂，然後他們也將改良過的發光⾐穿在藝⼈⾝上，讓他們的舞蹈呈現出⼀種未來的質感，甚⾄還研發了 LED 照明的發光指甲，對於負責在拍攝現場調配藝⼈與新技術的⽯橋來說，每次的新嘗試都讓他神經緊繃，壓⼒很⼤，但是看到呈現出來的效果，也讓他樂此不疲。
在 Rhizomatiks 裡的分⼯，⽯橋說明他主要負責硬體的部份，因此他們很早就導⼊了無⼈機的技術，現在已經成為演唱會中⾮常普遍使⽤的⼀項設備。但不是只有無⼈機就好，當無⼈機進場了，接下來就是如何與舞台上的表演整合，因此 Mikiko 的⾓⾊就愈顯重要。Mikiko 接著補充，每次Rhizomatiks 導⼊了新的元素，她要思考的就是編舞動作如何與無⼈機、燈光等等效果結合，創造出⼀個整體的舞台表現。在⼀場演出裡，他們⾸次採⽤了 24 台無⼈機，呈現出不同的光源與顏⾊，這當中花了許多時間思考與測試，⽯橋笑著說，還記得當 Mikiko ⽼師第⼀次來，看到那麼多無⼈機在頭上⾶，還很擔⼼的問說：「舞者在下⾯跳舞會不會有危險？」她強調，每⼀場演唱會都需要多次的測試與精密的規劃，例如舞者如何與無⼈機互動，⼀次測試之後，除了設備要調整，舞蹈動作也要同步調整，在經過好幾個階段不斷的調整，才能呈現出他們想要達到的效果，於是演唱會觀眾看到的是，舞台上隨著舞者⼿指輕柔的動作，無⼈機畫出優美的曲線，隨著舞者動作翩然舞動。
整體的感動 來⾃⼀個又⼀個創新的疊加
⽯橋強調，所謂的整體效果，其實是⼀種系統再加上⼀種系統，⼀種技術再加上⼀種新技術的疊加，這中間充滿了不斷進步的可能。例如剛才提到的無⼈機表演之後，他們找到⼀種⼩⽽強效的聚光燈，很適合放在無⼈機上⾯，作為無⼈機技術的⼀種進化，於是他們開始與 Mikiko ⽼師討論這種進化如何在舞台上創造新的表現。
Mikiko 提到，這個聚光燈的使⽤也讓她很興奮，因為這個燈光可以聚斂，也可以分散，可以透過程式調整明暗，⽤來呈現出舞者舞動的光影，會有很好的視覺效果。她敘述看了這樣的技術之後，她接著開始思考什麼樣的舞蹈動作可以呈現出最好的舞臺效果，所以創作是在這樣的互動中激盪出來的。實際上的⼯作流程，在 Mikiko 第⼀次編舞出來後他們會彼此討論，舞者動作要怎麼調整之外，無⼈機聚光燈的位置可以怎麼調整也很重要，在反覆的討論和嘗試中，追求最好的表現，呈現出極簡的美麗。
接下來，真鍋先⽣介紹了⼀種 AR 合成的效果，結合了 CG 動畫，視覺上呈現出與以往的 AR 完全不同的效果，在 Rhizomatiks 內部稱為「seamless AR」。把擴增實境的影像⽤ CG 動畫來銜接，把動畫和實體拍攝的畫⾯完整的接合起來。⼀般如果⽤相機拍攝，鏡頭轉換時需要切換，切換的中間就會有空檔，但是運⽤了這種新技術，切換之間的空檔⽤ CG 動畫來銜接。Perfume 在美國 SXSW 的演出就使⽤了這種新技術，創造了很好的效果。Mikiko 也補充，那場演出的限制是，現場舞台⾮常狹窄，但是他們有⼀個使命，為了讓⽇本粉絲看到⽇本的團體在海外也⾮常努⼒，因此更需要透過這種 AR 結合 CG 的新技術來提昇表演的豐富性。她也強調，他們考量的不只是來到現場的觀眾，還包括數以萬計透過直播收看的粉絲們。
CG 結合攝影畫⾯ 完全整合的虛實切換
真鍋接著介紹了⼀種 panel tracking 技術的應⽤，系統會持續追蹤舞者的位置，他們利⽤⼀種 3D 掃描的技術，來彌補相機與相機之間的縫隙，透過軟體模擬捕捉到的畫⾯，6 台攝影機的影像在電腦上即時合成。再加上無⼈機、AR、3D 掃描與 CG 合成，這⽀ MV 呈現的是⼀種不同於以往的運鏡質感，因為每⼀個畫⾯都是連續的，並且是在虛擬與實體間⾃由切換的，舞者本⼈可以和運算出來的虛擬舞者⼀起表演，⽽觀眾甚⾄分不出哪⼀個才是真的。
在⼀場與 Mikiko ⽼師攜⼿，廣受好評的演出「Border」中，三年前他們⾸度使⽤了⼯業⽤的 3D 相機，改裝成為他們所需的 VR 眼鏡，透過眼鏡看⾒的是虛擬的作品，⽽拿下眼鏡，觀眾看到的是舞台現場的表演，並且在這場演出中，他們不只讓每位觀眾戴上 VR 眼鏡，還讓他們坐在特別設計的輪椅上，這個輪椅是由電腦統⼀控制動作的。Mikiko 提到，所以透過眼鏡，你會看到舞者就在你的正前⽅，⽽在舞台上，舞者可能正在你的背後，透過這樣的編排，讓虛擬和實體的觀影界線完全打破，創造出⼀種全新的表現形式。⽯橋先⽣也補充，當你看著 VR 影像裡的舞者向你⾛近，拍拍你的肩，觀眾⼀般的感知是他的肩膀不會有被碰觸的感覺，但是若是此時舞台上的舞者配合節奏真的拍拍你的肩，對觀影者的感覺來說，就好像是 CG 裡⾯的虛擬⼈物帶給他真實的觸覺感受。這會讓表演進⼊⼀種新境界。
⽽ Border 的設計不只是跨越虛擬與實體的界線，還為觀眾多創造了⼀種旁觀者的視⾓。Mikiko 補充在 Border 演出會場的⼆樓迴廊，也是另⼀個體驗舞台，觀眾可以從⼆樓俯瞰⼀樓舞台，看⾒觀眾坐在輪椅上，舞者在其間舞動，這種不同的觀影視⾓，可以讓觀眾以另⼀種⾝份來對⽐他剛才⾝歷其境的體驗。
把安倍晉三變⾝瑪利歐的⾥約奧運閉幕表演
提到頗獲好評，⾥約奧運閉幕時的 8 分鐘表演，讓⽇本內閣總理⼤⾂安倍晉三化⾝成瑪利歐出現在奧運場館，Mikiko 回憶當時因為奧運時程很趕，前⼀天都還在舉⾏⽐賽，因此舞者只能在前天晚上抓緊時間場勘，⽽由於那個表演有很巨⼤的 LED 光架與舞者互動，因此⾮常仰賴事前 3D 運算的技術。⽽真鍋指出，他們過去的經驗累積，讓⼯作團隊的技術逐漸成熟，⾸先他們的⼯作⼈員在奧運舉辦前就站在會場中間進⾏ 3D 掃描，然後回⽇本做出模擬的全景圖，接下來再考慮攝影機要設置在哪裡，這些模擬⼯作做完後，再視現場情況進⾏調整與調度。「這可能是奧運史上使⽤最多 AR 的表演節⽬，」Mikiko 指出，的確在⼀開始⼤家都不看好在奧運場館做這麼複雜的演出，但是他們考慮到 2020 東京奧運的時候，⽇本⼀定會使⽤更多的 AR 技術呈現給全世界，因此希望在⾥約奧運的時候能夠先給⼤家⼀些驚喜的線索。
很多⼈會想，是不是當影像的科技越來越厲害，現場的演出者就可以⽐較輕鬆了呢？Mikiko 指出其實完全不是這樣，因為舞者的每⼀個動作都會影響整體，所以反⽽要對每⼀個動作要求更嚴格。真鍋先⽣補充說，這種新的演出⼿法，仰賴的是舞者每次的表演，⼿擺的動作、⾝體的姿勢、站⽴的位置都要⼀模⼀樣，⽐以往的難度更⾼，所以他真的很尊敬這些舞者。
Rio Olympic Closing Ceremony（photo credit: Getty Images）
機器學習 創造粉絲的年代感認同
Mikiko 提到 2018 年，Perfume 有個全新的演出項⽬稱為「Reframe」，這個作品的特⾊是把 Perfume 過去 15 年的表演作為素材，重新為 Perfume 這個團體定型，真鍋在這⼀次的項⽬中導⼊了機器學習，找出 15 年來 Mikiko 最喜歡編排的舞蹈動作，相同的動作曾經出現在哪個 MV 裡⾯，就會找到形構 Perfume 的招牌姿勢。當 15 年的時間⼀次呈現在眼前，你發現某些動作貫穿了 15 年，呈現出⼀種不同的趣味。另外，機器學習可以不只在舞蹈動作，還包括歌詞，15 年來有哪些歌詞是有關連性的，以這些素材為養分，重編不同的樂曲。在⼀⾸名為「光」的歌中，現場的 Perfume 正賣⼒為觀眾表演著，⽽背後出現他們 15 年來的青澀與成⾧，這會讓⼀路跟隨的粉絲找到⼀種認同與感動。
真鍋進⼀步說明，當機器學習，加上舞者的動作擷取，即時運算後就可以投影出舞者背後的影⼦，⽽這個影⼦不是⾃然光影，⽽是後台電腦計算出來的，為了達到這樣的效果，系統就要先設定虛擬的光源，讓觀眾在⼀開始以為是真實的影⼦，然後透過背板的移動，影⼦可以瞬間放⼤，縮⼩，或是三⼈的影⼦做出與前⽅藝⼈不同的動作，成為另⼀個表演的元素。在「無限未來」這場演出中，透過雷射技術的加⼊，在舞台上呈現出⼀種精密光束的質感，再搭配前⾯提到的種種技術，讓舞台上的視覺效果不斷推陳出新。
另⼀個挑戰是 2017 的 phosphere 演出，Rhizomatiks ⽤了 24 台投影機，8 ⾯鏡⼦，讓舞者的⾝上可以發出光來，現場觀眾看到的是⼀種裸眼 3D 的效果，當 dancer 在舞台上跳舞的時候，另⼀個光線凝聚出的虛擬 dancer 也在舞動，這不是⽤過去背板顯影的技術，⽽是⽤了 24 台投影機把光集聚的⽴體效果，這需要光學的運⽤，複雜的運算，先以電腦模擬出影像，再由電腦分配程式給不同的投影機，在不使⽤ smoke 的情況下創造出⽴體的效果。
現在，機器學習也被 Rhizomatiks 使⽤在編舞上，讓 CG 裡的舞者可以學習真⼈舞者來跳舞。⼀個
Rhizomatiks 的專案 (discret figures)，還沒有在亞洲公開的演出編排中，他們先請 ELEVENPLAY 的舞者跳了三個⼩時，設定了 ELEVENPLAY 特定的參數，讓虛擬舞者可以透過機器學習，盡可能與真⼈舞者相同。這可以⽤在舞台上，讓虛擬舞者與真⼈舞者同步演出。
Rhizomatiks Research x ELEVENPLAY “discrete figures”（2018）（photo by Shotinthecity photography）
各種剛萌芽的新技術 都可能帶來⼤影響
關於新技術的發掘沒有⽌歇，真鍋提到三個⽉前他們發現⼀種新的 flash 技術，在看舞者的 MV 時，這種 flash 技術不耗費很⼤的運算能⼒，就可以分析出舞者的動作，真鍋提到這種技術才剛剛開始萌芽，但當這種影像捕捉的技術成熟之後，可能對產業⾯與技術⾯都帶來更廣泛的應⽤與影響。
現場參與者 Q＆A 時間
Q：Rhizomatiks 是以⾃有開發技術優先，還是接到案⼦之後才開始尋找最合適的新技術？
真鍋：其實兩種型態都有，公司有研究部⾨持續在研究的應⽤，但同時也有接受委託的開發研究，當然，最理想的型態是公司⾃⼰的研究可以⽤在客⼾的需求上。⽐⽅說「OK Go」樂團要求我們拍攝廣告所使⽤的技術，就與公司平常在研究的主題無關，他們想要做⼀個與印表機互動的技術，在廣告中呈現翻⾴的感覺，由於這個廣告的業主是印表機廠商，他們也想要透過⼀個有趣的⽅法來讓消費者知道列印速度有多麼快，這樣的研發對於 Rhizomatiks 來說也是⼀種有趣的經驗。
⽯橋：在⾥約奧運閉幕式演出裡，很多⼈對舞者⼿上的光棒印象深刻，事實上在此之前 Rhizomatiks 已經有⼀個使⽤ LED 光棒的⼩規模案⼦，因此在那個時候已經得到了⼀些經驗，因此在奧運的時候才可以很快的延伸應⽤。
“obsession” OK Go
Q: 無⼈機隊如何操作整合？ / 5G 帶來什麼想像？ / 如何減少 AI 的 training 時間？
⽯橋：在無⼈機的操作整合⽅⾯，由於是在室內使⽤，⼀開始當然會出現問題，Rhizomatiks 團隊花了約⼀年半的時間來解決種種問題，直到安全無虞之後才拿出來在商業演出上使⽤。
真鍋：對於 5G，我個⼈的想像是當傳輸速度變快的時候，可以⼤幅縮短時間與空間的差距。例如Rhizomatiks 曾經做過⼀個 Perfume 的演出 (docomo)，讓他們三位分別在紐約、倫敦、東京三個地⽅進⾏表演，當時期待的是三個城市的現場觀眾與網路上的觀眾可以同步收看，但當時還是有傳輸 lag 的問題，未來有了 5G 之後，應該可以有進⼀步的升級，也許未來的演唱會，現場的幾萬名觀眾可以⼀起連網⽤⼿機，也可以成為演唱會的另⼀個界⾯。
⾄於如何縮短 AI 學習的時間，我認為這需要動態捕捉、影像資料庫、機器學習的技術同時進步，然後找到其中⼀個整合的⽅法，例如當機器已經懂得學習時，能不能把網路上已經公開的舞蹈影像捕捉給他，讓他有很多的素材可以學習，讓他成為⼀個更好的舞者，讓舞台表現上更有效果。
Q: 剛才真鍋⽼師提到 Rhizomatiks 有⾧達⼀兩年的研究專案，這當然要持續投⼊很⾼的經費，請問 Rhizomatiks 如何控制成本與預算？
⽯橋：Rhizomatiks 在 2006 年剛開始的時候，做了許多網站⽅⾯的專案，當時賺到了⼀些錢，這些錢也成為 Rhizomatiks 研發⼯作的資⾦。⽽市場狀況也在轉變，以⽇本的現況來說，舞台與藝術的專案開始⽐網路多，因此現在 Rhizomatiks 的⼯作⽐較集中在演唱會與展覽。當然在經費上還是必須量⼊為出，但是公司的營運有達到損益兩平。
真鍋：的確，如果⼀個企業想要賺錢，最好的⽅式是把已經成熟的技術做成⼀個 package，然後讓很多⼈採⽤，但是這可能會讓公司員⼯⼀直在做重複的⼯作。但是 Rhizomatiks 的員⼯都⽐較希望做出獨⼀無⼆的專案，當⼀份專案，要求的東西與之前做過的差不多，⼤家都懶得像貓⼀樣；但如果是⼀個全新的挑戰，⼤家的興趣就來了。當然，已經成熟的技術不是不能商⽤化，⽽是要加上新的創意，例如無⼈機系統開發出來以後，Rhizomatiks 接了⼀個時尚秀的專案，所以他們在時尚秀中做了⼀個⽤無⼈機代替模特兒來展⽰新款包包的創新。
