對于喜愛新媒體藝術(shù)的人來說，teamlab這個(gè)名字一定不陌生，作為新媒體藝術(shù)界的當(dāng)紅炸子雞，teamlab的團(tuán)隊(duì)成員則是包羅萬象，他們這樣描述自己的團(tuán)隊(duì)：一群由程序員、CG、藝術(shù)家、數(shù)學(xué)家、交互設(shè)計(jì)師等各種各樣的人組成的追求極致技術(shù)的藝術(shù)集團(tuán)。
這也就可以理解，為何teamlab每次的新作總是給人許多技術(shù)上的驚喜。但對于這些多技術(shù)交叉產(chǎn)生的新媒體藝術(shù)作品，我們似乎總是沒有一個(gè)詳細(xì)而準(zhǔn)確的稱呼來分辨他們的類別，比如teamlab的作品：《在人們聚集的巖石上，注入水粒子世界》
▲當(dāng)人站立在作品上，觸摸作品時(shí)，人會(huì)成為能夠改變水流的巖石，觀賞者自身變成了障礙物改變水的流向。
而對于類似于上面這樣的作品，OF的一位老師給出了他對此類作品的描述：“3D實(shí)時(shí)交互影像作品”。
雖然讀起來還是有些拗口，但如果了解作品所涉及到的技術(shù)，就能清晰的理解其中的含義。于是，本文簡單的梳理了制作一件“3D實(shí)時(shí)交互影像作品”過程中，所需技術(shù)和一些相關(guān)的軟件。希望能解答你的疑惑；有些地方不能說的很準(zhǔn)確，也希望有大神能給予指正。
創(chuàng)意階段
這個(gè)無需多言，創(chuàng)意可以很簡單，也可以很具體，但完成一件優(yōu)秀的作品， 自然需要好好的規(guī)劃作品的每個(gè)執(zhí)行步驟。舉個(gè)例子，下面是Playmodes工作室于9月發(fā)布的一款立體光動(dòng)態(tài)雕塑作品「Espills」
為了打造這款裝置，Playmodes先是草擬出作品的想法和框架，從幾何體到敘事概念，以及3D模擬可視化裝置的最終形態(tài)。
3D視覺內(nèi)容創(chuàng)作
3D建模的軟件很多，每款應(yīng)用的領(lǐng)域和側(cè)重的功能也不盡相同。比如3ds Max這款軟件常用于建筑設(shè)計(jì)，而Autodesk Maya等則是常用于游戲CG，動(dòng)畫等行業(yè)。
這兩款軟件也并不能完全滿足大家的需求，有的設(shè)計(jì)師希望能快速上手3D建模，于是便選擇學(xué)習(xí)難度低，作品質(zhì)量高，擁有許多預(yù)設(shè)的C4D；有人希望做出爆炸級別的特效，就選擇了自帶Mantra渲染器的Houdini；除了這些軟件，還有常用于三維角色建模的ZBrush；以及為3D分形成像的Mandelbulb 3D等等。
▲Mandelbulb 3D操作界面
可能有些人會(huì)問，這么多3D建模軟件，哪一款才是我的菜？建議你理清自己的需求后，向3D屆的老前輩咨詢，或者仔細(xì)閱讀下這篇文章《從百度、谷歌搜索指數(shù)看三維軟件的趨勢》
http://www.bgteach.com/article/29
最后，對分形藝術(shù)感興趣，又懶得下Mandelbulb 3D去體驗(yàn)的，可以直接在App store上下載“分形的奧秘”這個(gè)應(yīng)用，體驗(yàn)分形之美~
在完成了作品的大綱，建好了原始模型后，接下來就是為模型貼圖，并細(xì)致調(diào)整折射，反光等參數(shù)，讓你的模型顯示你想要的材質(zhì)。
而不同的材質(zhì)在不同的光源下，呈現(xiàn)的效果也并不相同。所以 一般對模型進(jìn)行貼圖時(shí)，需要先設(shè)定好光源，以便觀察效果。但此時(shí)的模型仍然十分粗糙，你只能簡單的看到一些幾何、紋理、照明和陰影等信息。所以你必須對每一段場景的進(jìn)行單獨(dú)的渲染，來觀察它最終效果，再回到原始的模型上去調(diào)整參數(shù)，直到完美。
如果你的作品中還包含運(yùn)動(dòng)角色（人，動(dòng)物），那你需要在貼好材質(zhì)的模型上建造骨骼和控制器，這樣就可以控制他們進(jìn)行運(yùn)動(dòng)了，三維計(jì)算機(jī)動(dòng)畫本質(zhì)上是定格動(dòng)畫（stop motion，或稱靜幀采集）的數(shù)字化后代；如果只是拍攝一段簡單的3D角色運(yùn)動(dòng)的影像，那你只需擺弄好關(guān)鍵幀時(shí)角色的形象，之后的動(dòng)作的繪制過程交給計(jì)算機(jī)就好了。
至于之后圖像的合成，加入動(dòng)態(tài)特效和視覺特效，調(diào)整攝影機(jī)的位置，難以用一兩句話概括，所以不多贅述。
3D視覺元素做好了，接下來就是加入交互的模塊了。
體感設(shè)備和實(shí)時(shí)渲染
許多人可能還記得有一段時(shí)間，許多賣電視的門店為了吸引顧客，放了個(gè)手柄，讓大家玩耍各種體感游戲，比如體感網(wǎng)球，體感排球等等。
2006 年，任天堂發(fā)布了新一代游戲主機(jī)Wii，Wii配套的新款游戲手柄第一次將體感動(dòng)作引入了電視游戲主機(jī)。之后微軟在在2010正式發(fā)布Kinect，Kinect是微軟為Xbox開發(fā)的體感識別攝像頭， 在其開發(fā)的目的是用于游戲，但因?yàn)槠鋬r(jià)格低廉，受到了交互領(lǐng)域的極大追捧。
這或許是體感交互第一次大規(guī)模的出現(xiàn)在大眾的視野。在銷售前60天內(nèi)，Kinect就賣出八百萬部，成為那時(shí)全世界銷售最快的消費(fèi)性電子產(chǎn)品.
落紅不是無情物，化作春泥更護(hù)花。雖然因?yàn)轶w感游戲的熱度退卻等原因，導(dǎo)致 Kinect最終停產(chǎn)，但它留下的相關(guān)技術(shù)卻在交互等領(lǐng)域繼續(xù)發(fā)光發(fā)熱。其中應(yīng)用最為廣泛的，應(yīng)該就是如今iPhone上的面部識別功能，當(dāng)年為Kinect的技術(shù)支持公司PrimeSense，早在2013年就被蘋果所收購。
這些3D體感交互游戲， 正是“3D實(shí)時(shí)影像互動(dòng)游戲”，而玩家用動(dòng)作控制游戲中的3D角色，產(chǎn)生圖像的過程，也正是一個(gè)實(shí)時(shí)渲染過程。
而特效CG公司，在渲染一段影視級別的視頻時(shí)，需要處理的數(shù)據(jù)量和渲染一個(gè)3D游戲完全不在一個(gè)量級。這也是許多3D圖形軟件并不支持實(shí)時(shí)渲染的原因，原因無他：硬件帶不動(dòng)。因?yàn)槟呐?s的特效場景，都需要數(shù)臺電腦渲染很長時(shí)間。但也有人說，我只想做一段簡單的3D視頻，處理數(shù)據(jù)量少了，不就可以進(jìn)行實(shí)時(shí)渲染，一邊渲染一邊改模型？
可視化編程正是以“所見即所得”這種思想為原則的編程技術(shù)。它們力圖實(shí)現(xiàn)編程工作的可視化，即隨時(shí)可以看到結(jié)果，程序與結(jié)果的調(diào)整同步。可視化編程的語言也不少，我們這里就以Touch designer為例。
Touch designer是一款基于python語言的可視化編程軟件（這里指軟件），由多倫多的Derivative公司開發(fā)。關(guān)于Touch designer的用途，在這里我想引用Touch designer中文社區(qū)對這款軟件的解釋，同時(shí)也向大家安利他們的網(wǎng)站：http://www.touchdesigner.co/（他們的免費(fèi)Touch designer教程已經(jīng)出到中級了哦！）
從項(xiàng)目類型的角度來看，Touch designer可以用來制作交互裝置，演出視覺裝置投影，建筑外觀投影；也可以控制機(jī)械臂，制作VR體驗(yàn)，還可以制作電影工業(yè)級別的界面設(shè)計(jì)。
▲“天真 · 自得 2.0” 古琴昆曲電子演出的視覺部分，新媒體藝術(shù)團(tuán)隊(duì)分號C進(jìn)行了Processing視覺至TouchDesigner視覺濾鏡處理
▲Unity3D實(shí)時(shí)渲染視覺
同時(shí)，不管什么類型的新媒體項(xiàng)目，在制作過程中，把TD當(dāng)做一個(gè)整合統(tǒng)一的平臺，是非常事半功倍的。它可以把你所想要的軟硬件粘合起來，利用它們的特性創(chuàng)造出更為強(qiáng)大的新媒體怪獸。
對于藝術(shù)家和設(shè)計(jì)師來說，Touch designer非常容易上手；對于程序員來說使用TD能輕松橋接藝術(shù)家們制作完成的視覺部分和后臺程序部分。這樣的軟件能輕松結(jié)合不同能力的人員完美的完成項(xiàng)目。
而需要特別介紹的，則是Touch designer的實(shí)時(shí)3D渲染功能和編程方式，傳統(tǒng)的編程流程是，先編寫抽象的代碼，當(dāng)所有的步驟都湊齊了，再運(yùn)行生成結(jié)果；而Touch designer則是采用圖形的方式，用更直觀的視覺化的方式去思考，讓你設(shè)計(jì)的每一段程序都能直觀的顯示結(jié)果，并且直接進(jìn)行調(diào)整，同時(shí)它支持許多主流的軟硬件接口，比如用于手部動(dòng)作識別的設(shè)備Leapmontion，體感識別的Kinect，而現(xiàn)場表演中常用的的MIDI，TouchOSC自然也是來者不拒。
▲在Touch designer中調(diào)整程序
▲馬老師視頻 演示效果，左邊屏幕是Touch designer的界面，右邊是unreal4，平板上則是TouchOSC編輯器，你可以一邊看渲染效果一邊調(diào)整你的程序
而隨著硬件性能的不斷提升，游戲的畫面越來越爆炸，一些游戲引擎也開始打影視行業(yè)的主意，不斷進(jìn)化自己的實(shí)時(shí)渲染功能。比如Unity這款3D游戲引擎，而不少視覺演出的舞臺也使用Unity3D進(jìn)行實(shí)時(shí)渲染。
這里安利一部2016年Oats Studio使用Unity實(shí)時(shí)渲染出的動(dòng)畫《ADAM》幕后制作訪談，你可以親自感受下實(shí)時(shí)渲染出大片的快感。
Unity在國內(nèi)火起來，有一部份原因是因?yàn)槭钟蔚呐d起，因?yàn)槭钟螌Ξ嬞|(zhì)要求不需要太高，而且手游生命周期短，更看重研發(fā)效率和兼容性。Unity恰恰符合這些條件，所以很多小團(tuán)隊(duì)和個(gè)人都選擇Unity為主要的開發(fā)工具。Unity也提供商城功能，用戶可以在里面購買模型，特效和代碼。
聊起Unity3D，自然要介紹下unreal.相比于Unity，unreal系列游戲引擎本身架構(gòu)復(fù)雜，上手有一定難度，但它的渲染質(zhì)量和效率比Unity3D強(qiáng)上不少。一般來說，程序員更喜歡調(diào)試方便的Unity，而美術(shù)建模人員更喜歡unreal，因?yàn)閡nreal和touch designer一樣，也采用的順序性編程，方便制作3D內(nèi)容各個(gè)階段的美術(shù)人員進(jìn)行合作。
▲unreal界面
以上，就是制作一個(gè)3D實(shí)時(shí)交互影像作品，大致涉及的技術(shù)和軟硬件。首先，你需要一個(gè)完整的創(chuàng)意執(zhí)行計(jì)劃，再通過Touch designer等平臺搭建一個(gè)交互程序，處理各種交互硬件收集的信息，傳輸給3D場景并實(shí)時(shí)渲染出一段影像，最終完成一個(gè)3D實(shí)時(shí)交互影像作品。當(dāng)然，你也可以選擇由unity，unreal等游戲引擎來完成 實(shí)更高質(zhì)量的實(shí)時(shí)渲染的工作。
當(dāng)然，想要完成一個(gè)高水平的交互作品，在上面的許多技術(shù)環(huán)節(jié)都有太多可以發(fā)揮的地方 ，比如這么多跨平臺的軟硬件湊在一起工作，如何能保證他們都運(yùn)行的流暢？等等一系列問題。
正如吳寬老師在《藝術(shù)與生產(chǎn)力》一文中所說，“另很多藝術(shù)家感到沮喪的一個(gè)事實(shí)是：每一次推進(jìn)藝術(shù)歷史前進(jìn)的核心動(dòng)力并不是來自于藝術(shù)家，而是來自于生產(chǎn)力技術(shù)的革新。從巖畫到油彩，從石雕到3D打印，從照相機(jī)到新媒體技術(shù)...每次生產(chǎn)力的革新，都會(huì)引發(fā)一場藝術(shù)歷時(shí)的革命，促生新的藝術(shù)品種與流派誕生，催生一大批功成名就的藝術(shù)家。‘’
可以預(yù)見的是，藝術(shù)將越來越科技化，科技也將越來越藝術(shù)，兩者在山麓分手，卻終究會(huì)在山頂相逢。未來的藝術(shù)家會(huì)有越來越多的身份，而藝術(shù)的形式也會(huì)多種多樣，更加豐富有趣。
