進(jìn)入2023年以后，AIGC相關(guān)應(yīng)用發(fā)展迅速，行業(yè)巨頭也都加緊布局各類(lèi)AI大模型。AIGC作為強(qiáng)大的數(shù)字化內(nèi)容生產(chǎn)工具，可以幫助數(shù)字內(nèi)容產(chǎn)業(yè)向制作效率更高、品質(zhì)更高、成本更低的方向發(fā)展。在AIGC迅速發(fā)展的背景下，轉(zhuǎn)描動(dòng)畫(huà)也呈現(xiàn)出新的發(fā)展變化。在過(guò)去，轉(zhuǎn)描動(dòng)畫(huà)的制作流程一般是先進(jìn)行真人實(shí)拍，隨后人類(lèi)畫(huà)師利用轉(zhuǎn)描機(jī)或計(jì)算機(jī)輔助工具進(jìn)行圖像的逐幀重繪，最終再進(jìn)行合成。而現(xiàn)在，逐幀重繪的主體開(kāi)始從人類(lèi)畫(huà)師向AI轉(zhuǎn)變，出現(xiàn)了AI轉(zhuǎn)描動(dòng)畫(huà)這一新的形態(tài)。這一變化極大地節(jié)省了人力、時(shí)間成本，為轉(zhuǎn)描動(dòng)畫(huà)帶來(lái)了新的可能。

轉(zhuǎn)描動(dòng)畫(huà)的概念與發(fā)展

轉(zhuǎn)描技術(shù)（Rotoscoping）是美國(guó)動(dòng)畫(huà)大師、發(fā)明家馬克思·弗雷歇爾（Max Fleischer）在1914年發(fā)明的一項(xiàng)技術(shù)。這項(xiàng)技術(shù)可以利用一套特制的攝影裝置，把膠片投影到動(dòng)畫(huà)師的桌面上，之后動(dòng)畫(huà)師就可以根據(jù)拍攝的真人畫(huà)面，一幀一幀描繪下來(lái)，最終將描繪下來(lái)的圖片拍攝、合成為動(dòng)畫(huà)片。轉(zhuǎn)描技術(shù)的優(yōu)勢(shì)是能夠幫助缺乏經(jīng)驗(yàn)的新人動(dòng)畫(huà)師畫(huà)出流暢準(zhǔn)確的動(dòng)作，它基于真實(shí)人物的動(dòng)作表演，能夠?qū)F(xiàn)實(shí)中人物的動(dòng)作完全復(fù)制到二維動(dòng)畫(huà)人物身上，在保證質(zhì)量的同時(shí)也節(jié)約了成本。而轉(zhuǎn)描動(dòng)畫(huà)就是以轉(zhuǎn)描技術(shù)為基礎(chǔ)創(chuàng)作出來(lái)的動(dòng)畫(huà)片。

動(dòng)畫(huà)史上第一部使用轉(zhuǎn)描技術(shù)的動(dòng)畫(huà)片是馬克思·弗雷歇爾與其兄弟戴夫于1914—1916年制作的《小丑可可（Out of the Inkwell）》動(dòng)畫(huà)系列短片，該短片一經(jīng)推出就大受歡迎，隨后他們還制作了《大力水手》《貝蒂娃娃》等作品。1934年，馬克思·弗雷歇爾轉(zhuǎn)描技術(shù)的專(zhuān)利到期，自此，越來(lái)越多的動(dòng)畫(huà)電影開(kāi)始運(yùn)用轉(zhuǎn)描技術(shù)。1937年，迪士尼采用轉(zhuǎn)描技術(shù)制作了史上第一部長(zhǎng)篇?jiǎng)赢?huà)電影《白雪公主和七個(gè)小矮人》，影片上映后取得了巨大成功，對(duì)全球的少年甚至成年人都有著深遠(yuǎn)的影響。1941年，萬(wàn)氏兄弟創(chuàng)作了我國(guó)歷史上第一部動(dòng)畫(huà)電影《鐵扇公主》。進(jìn)入數(shù)字時(shí)代以后，雖然由于三維動(dòng)畫(huà)的興起以及運(yùn)動(dòng)捕捉技術(shù)和綠幕技術(shù)的發(fā)展，動(dòng)畫(huà)轉(zhuǎn)描技術(shù)逐漸被替代，但轉(zhuǎn)描技術(shù)在無(wú)紙化動(dòng)畫(huà)制作中的應(yīng)用依然占有一定比例，比如，動(dòng)畫(huà)電影中有《至愛(ài)梵高·星空之謎》，電視動(dòng)畫(huà)中有《乒乓》《輕羽飛揚(yáng)》，最近兩年上映的原創(chuàng)奇幻動(dòng)畫(huà)電視劇《抹去重來(lái)》亦全程使用了真人拍攝，并通過(guò)電腦后期軟件進(jìn)行轉(zhuǎn)描制作。

從AIGC技術(shù)到AI轉(zhuǎn)描動(dòng)畫(huà)

AIGC的概念

AIGC是AI-Generated Content的縮寫(xiě)，意思是用人工智能技術(shù)來(lái)創(chuàng)造內(nèi)容。它是繼PGC（專(zhuān)業(yè)生產(chǎn)內(nèi)容）和UGC（用戶(hù)生成內(nèi)容）之后的一種新興的內(nèi)容生產(chǎn)方式。它利用深度學(xué)習(xí)和生成式算法模型，可以自主地產(chǎn)生新的文本、圖像、視頻、音頻等多種形式的內(nèi)容和數(shù)據(jù)，是人工智能技術(shù)的一種高級(jí)應(yīng)用。

AIGC由不斷創(chuàng)新的生成算法、預(yù)訓(xùn)練模型、多模態(tài)等人工智能技術(shù)積累融合而成。目前市面上的各種AIGC工具、軟件基本上都建立在不同的預(yù)訓(xùn)練模型上，較為常見(jiàn)的是多模態(tài)預(yù)訓(xùn)練模型，即融合了文字、圖片、視頻、音頻等多種內(nèi)容形式的模型，如Stable Diffusion、DALL-E 2、MidJourney等可以生成圖片的AIGC模型。人們只要在相關(guān)工具或程序中輸入一段文本，這些AIGC模型就可以根據(jù)文字描述自動(dòng)生成符合文字描述的圖像，AI繪畫(huà)就是由此而來(lái)。2022年8月底，由MidJourney生成的繪畫(huà)作品《太空歌劇院》拿下了美國(guó)科羅拉多州博覽會(huì)藝術(shù)比賽的一等獎(jiǎng)。2023年3月，AI生成的寫(xiě)實(shí)圖像作品《虛妄記憶：電工》獲得了2023年索尼世界攝影獎(jiǎng)的創(chuàng)意類(lèi)獎(jiǎng)項(xiàng)。AI繪畫(huà)技術(shù)正在逐漸走向成熟，而其令人驚嘆的畫(huà)面表現(xiàn)與生成效率也點(diǎn)燃了人們的熱情，AI繪畫(huà)的盛行標(biāo)志著人工智能已經(jīng)向藝術(shù)領(lǐng)域滲透。

AI轉(zhuǎn)描動(dòng)畫(huà)的產(chǎn)生

視頻是連續(xù)的圖像序列，動(dòng)畫(huà)則是除真實(shí)動(dòng)作或方法外，使用各種技術(shù)所創(chuàng)造出的活動(dòng)影像，兩者都基于“視覺(jué)殘留”以及“感官經(jīng)驗(yàn)”的原理。自AI能夠生成高質(zhì)量圖像后，人們也逐漸開(kāi)始了針對(duì)AI視頻、AI動(dòng)畫(huà)的探索。早期AI繪畫(huà)技術(shù)的一個(gè)明顯特點(diǎn)是每次圖像生成的隨機(jī)性很大，輸入同樣的文本提示詞，得到的結(jié)果卻每次都不同，生成角色的手部、腳部等復(fù)雜部位還容易出現(xiàn)錯(cuò)位、彎折等現(xiàn)象。

隨著人們?cè)贏I技術(shù)方面的不斷探索，ControlNet、Lora等插件、技術(shù)的出現(xiàn)基本上解決了上述問(wèn)題。目前已經(jīng)可以通過(guò)AIGC工具針對(duì)實(shí)拍或動(dòng)畫(huà)視頻進(jìn)行畫(huà)面內(nèi)容的轉(zhuǎn)繪，而且依據(jù)重繪幅度可以分為低重繪幅度和高重繪幅度兩種。低重繪幅度對(duì)原片細(xì)節(jié)的保留程度相對(duì)較高，看起來(lái)像是開(kāi)了一個(gè)繪畫(huà)風(fēng)格的高級(jí)濾鏡。高重繪幅度的特點(diǎn)是風(fēng)格化強(qiáng)，對(duì)原視頻的改變較大；依托不同的AI模型，可以展現(xiàn)素描、色塊、平涂甚至賽博朋克等極具特點(diǎn)的獨(dú)特風(fēng)格。這種通過(guò)AI轉(zhuǎn)繪的方式制作出來(lái)的動(dòng)畫(huà)也基于真實(shí)人物或動(dòng)畫(huà)角色的動(dòng)作表演，其視覺(jué)效果與傳統(tǒng)的轉(zhuǎn)描動(dòng)畫(huà)高度一致，只不過(guò)轉(zhuǎn)描的主體由人類(lèi)畫(huà)師變成了AI工具，這種利用AIGC技術(shù)將實(shí)拍影像或CG動(dòng)畫(huà)逐幀轉(zhuǎn)換成手繪風(fēng)格的動(dòng)畫(huà)產(chǎn)出方式，就是“AI轉(zhuǎn)描動(dòng)畫(huà)”。

AI轉(zhuǎn)描動(dòng)畫(huà)實(shí)例分析

早期的AI轉(zhuǎn)描動(dòng)畫(huà)

AI轉(zhuǎn)描動(dòng)畫(huà)出現(xiàn)的時(shí)間較早，早在2021年12月，網(wǎng)絡(luò)上就出現(xiàn)了一部AI轉(zhuǎn)描的實(shí)驗(yàn)動(dòng)畫(huà)短片The Crow。在動(dòng)畫(huà)中，真人舞者被AI轉(zhuǎn)描成了烏鴉的形象，烏鴉在后世界末日的貧瘠景觀中短暫地舞蹈，直至其不可避免地消亡。整部影片的氛圍荒誕、神秘，加上恰到好處的配樂(lè)，總體而言是一部令人難以忘懷且引人入勝的作品，短片還獲得了2022戛納短片電影節(jié)的最佳短片獎(jiǎng)。這個(gè)短片雖然利用AIGC工具對(duì)真實(shí)視頻進(jìn)行了轉(zhuǎn)描，但其對(duì)畫(huà)面的控制能力不夠，并沒(méi)有解決AI轉(zhuǎn)描噪點(diǎn)的閃爍問(wèn)題。片中AI生成的一些較為抽象的畫(huà)面還營(yíng)造出了一種特別的視覺(jué)效果，從實(shí)驗(yàn)短片的角度來(lái)說(shuō)效果還不錯(cuò)，但這種模式若想應(yīng)用到商業(yè)動(dòng)畫(huà)中去，還有很長(zhǎng)的路要走。

AI轉(zhuǎn)描動(dòng)畫(huà)《石頭剪刀布》

2023年3月，一部名為《石頭剪刀布》的動(dòng)畫(huà)短片在網(wǎng)上引起了廣泛關(guān)注。這部短片講述了一對(duì)王子為了爭(zhēng)奪王位而進(jìn)行“石頭剪刀布”大戰(zhàn)。短片中充滿(mǎn)了無(wú)厘頭的幽默和“沙雕”的演出，惹得觀眾捧腹大笑。從畫(huà)面效果來(lái)看，短片中的人物動(dòng)作、表情以及鏡頭的運(yùn)用與真人影片非常接近，而角色與場(chǎng)景的上色、情節(jié)設(shè)計(jì)、畫(huà)面風(fēng)格上卻又明顯是動(dòng)畫(huà)的表達(dá)方式，具有明顯的轉(zhuǎn)描動(dòng)畫(huà)特征（如下圖）。

《石頭剪刀布》原始畫(huà)面與最終畫(huà)面對(duì)比圖

（圖片來(lái)源于網(wǎng)絡(luò)）

短片的制作方是Corridor Digital團(tuán)隊(duì)，其專(zhuān)門(mén)從事影視特效制作，在發(fā)布短片的同時(shí)，他們也分享了《石頭剪刀布》的制作幕后。短片采用藍(lán)綠背實(shí)拍加合成的方式制作，角色動(dòng)畫(huà)部分則利用了Stable Diffusion這個(gè)深度學(xué)習(xí)文本生圖模型，將實(shí)拍的圖像數(shù)據(jù)逐幀轉(zhuǎn)換為動(dòng)畫(huà)風(fēng)格。為了制作這個(gè)短片，該團(tuán)隊(duì)還探索出了一套新的AI動(dòng)畫(huà)制作流程。而較于以往的轉(zhuǎn)描動(dòng)畫(huà)，這套制作流程最為特別且重要的地方就是針對(duì)AI模型的訓(xùn)練以及降噪去閃爍。

AI模型的訓(xùn)練分為訓(xùn)練人物模型和訓(xùn)練風(fēng)格模型。AI生成人物角色的隨機(jī)性大，為了讓AI能夠穩(wěn)定生成同一個(gè)角色，制作者就需要在純凈背景下對(duì)所需角色的各個(gè)角度進(jìn)行拍照，并通過(guò)AI工具DreamBooth進(jìn)行AI模型的訓(xùn)練，經(jīng)過(guò)反復(fù)嘗試，訓(xùn)練好人物模型之后，在Stable Diffusion輸入相應(yīng)的文字描述，就能夠穩(wěn)定生成所需的人物角色。在風(fēng)格模型的訓(xùn)練中，Corridor Digital團(tuán)隊(duì)參考了一部經(jīng)典動(dòng)畫(huà)片的畫(huà)面，對(duì)動(dòng)畫(huà)中各個(gè)景別的場(chǎng)景、人物表情、手部動(dòng)作、道具等進(jìn)行了大量截圖，并將這些截圖通過(guò)DreamBooth進(jìn)行訓(xùn)練，直到AI能夠穩(wěn)定生成該風(fēng)格的畫(huà)面。

在降噪去閃爍部分，該團(tuán)隊(duì)的解決思路是通過(guò)藍(lán)綠背實(shí)拍，在得到背景純凈的真人畫(huà)面之后，再進(jìn)行AI轉(zhuǎn)描，隨后使用影視后期制作中的去閃爍插件，外加模擬二維動(dòng)畫(huà)中1拍2方式縮減動(dòng)畫(huà)幀數(shù)等方式，最大程度地優(yōu)化畫(huà)面效果。

這部短片的制作流程中并沒(méi)有涉及更加高深的AI技術(shù)，更多的是對(duì)現(xiàn)有技術(shù)的整合和運(yùn)用?，F(xiàn)在的AI轉(zhuǎn)描動(dòng)畫(huà)更像是一種新的藝術(shù)形式，它有著自己獨(dú)特的視覺(jué)風(fēng)格和表現(xiàn)手法，但是它還不能完全替代具有復(fù)雜性和多樣性的人類(lèi)創(chuàng)作，也不能處理一些復(fù)雜的鏡頭和場(chǎng)景，還需要人類(lèi)創(chuàng)作者進(jìn)行把控和調(diào)整。該短片發(fā)布以后，國(guó)內(nèi)也有團(tuán)隊(duì)借助這套方法，以經(jīng)典動(dòng)畫(huà)作品《灌籃高手》的風(fēng)格為基礎(chǔ)進(jìn)行了AI轉(zhuǎn)描動(dòng)畫(huà)短片的制作，取得了不錯(cuò)的效果，這說(shuō)明這套制作流程是具備可推廣性的。

需要注意的是，這種制作流程也引發(fā)了行業(yè)內(nèi)對(duì)AI轉(zhuǎn)描動(dòng)畫(huà)是不是動(dòng)畫(huà)的討論。有些人認(rèn)為這種制作流程是對(duì)真人電影的AI轉(zhuǎn)描，并沒(méi)有人類(lèi)畫(huà)師去“畫(huà)”這一步驟，而是在這之上加了“濾鏡”制作出動(dòng)畫(huà)效果，只是一種視覺(jué)效果，并不是動(dòng)畫(huà)。然而，定格動(dòng)畫(huà)也沒(méi)有繪畫(huà)的步驟，20世紀(jì)90年代CG動(dòng)畫(huà)出現(xiàn)時(shí)也不被傳統(tǒng)手繪動(dòng)畫(huà)師所認(rèn)可。新技術(shù)出現(xiàn)以后，總有人會(huì)把它視作一種威脅，但只有接納新的事物才能了解它們的好處。或許在未來(lái)，人們能夠看到更多真人影視與AI動(dòng)畫(huà)相結(jié)合的作品，它們會(huì)給人們帶來(lái)更多驚喜。

AI轉(zhuǎn)描動(dòng)畫(huà)的優(yōu)勢(shì)與劣勢(shì)

從上面的案例可以看出，AI轉(zhuǎn)描動(dòng)畫(huà)有很多優(yōu)點(diǎn)。首先，AI轉(zhuǎn)描動(dòng)畫(huà)可以極大地降低動(dòng)畫(huà)創(chuàng)作的門(mén)檻，減少動(dòng)畫(huà)師的工作量，提高動(dòng)畫(huà)的制作效率和質(zhì)量。例如，Corridor Digital團(tuán)隊(duì)本身并沒(méi)有任何動(dòng)畫(huà)方面的專(zhuān)業(yè)人員，但是依托自身在真人電影制作方面的經(jīng)驗(yàn)，再結(jié)合AIGC工具，在整個(gè)團(tuán)隊(duì)只有十幾個(gè)人的情況下，只花兩個(gè)月時(shí)間就制作出了《石頭剪刀布》這一品質(zhì)較高的動(dòng)畫(huà)作品。其次，AI轉(zhuǎn)描動(dòng)畫(huà)可以增強(qiáng)視頻畫(huà)面的表現(xiàn)力和創(chuàng)新性。例如，可以通過(guò)Stable Diffusion、Runway Gen1等AIGC工具，讓用戶(hù)輸入所需效果關(guān)鍵詞，或提供參考圖來(lái)生成符合要求的畫(huà)面效果；其也可以幫助動(dòng)畫(huà)師尋找靈感，為動(dòng)畫(huà)師提供參考，還可以通過(guò)這種方式增強(qiáng)畫(huà)面的表現(xiàn)力和創(chuàng)新性。此外，AI轉(zhuǎn)描動(dòng)畫(huà)可以利用AI生成中的噪點(diǎn)因素所帶來(lái)的閃爍、抖動(dòng)效果，創(chuàng)造出一種獨(dú)特的視覺(jué)效果。例如，上文所述的AI實(shí)驗(yàn)動(dòng)畫(huà)短片The Crow就利用這種特點(diǎn)構(gòu)造了一個(gè)奇特的神秘世界，給觀眾帶來(lái)了一種新奇且不可預(yù)測(cè)的感受，其也可以在一定程度上突出動(dòng)畫(huà)的主題和氣氛。

AI轉(zhuǎn)描動(dòng)畫(huà)也有一些劣勢(shì)。首先，最明顯的一點(diǎn)就是版權(quán)問(wèn)題。例如，《石頭剪刀布》為了實(shí)現(xiàn)所需風(fēng)格所訓(xùn)練的AI模型大量使用了一部經(jīng)典動(dòng)畫(huà)作品的截圖，由于《石頭剪刀布》本身并不是商業(yè)動(dòng)畫(huà)，其制作團(tuán)隊(duì)更多地是探索新的創(chuàng)作方式，還積極分享了其創(chuàng)作方法，具有一定的公益性，但如果這種制作方式想要商業(yè)化，必然會(huì)引起與版權(quán)有關(guān)的爭(zhēng)端。其次，AI轉(zhuǎn)描動(dòng)畫(huà)需要高性能的硬件設(shè)備。例如，顯卡的顯存直接決定了能生成多大尺寸的作品，而顯卡的算力則決定了多久可以生成。同時(shí)，如果沒(méi)有合適的AI模型，那就需要訓(xùn)練特定的AI模型，這也會(huì)耗費(fèi)大量的時(shí)間和硬件資源。

綜上所述，AI轉(zhuǎn)描動(dòng)畫(huà)是一種有利有弊的技術(shù)，它可以降低動(dòng)畫(huà)創(chuàng)作的門(mén)檻，可以作為動(dòng)畫(huà)創(chuàng)作的輔助，也可以作為一種獨(dú)特的表現(xiàn)形式存在，但也需要注意版權(quán)、硬件設(shè)備等方面的問(wèn)題。

轉(zhuǎn)描動(dòng)畫(huà)自發(fā)明以來(lái)已經(jīng)經(jīng)過(guò)了百年的發(fā)展，作為一種在真人影像基礎(chǔ)上進(jìn)行動(dòng)畫(huà)創(chuàng)作的動(dòng)畫(huà)形式，時(shí)至今日，其仍未退出歷史舞臺(tái)。以往的轉(zhuǎn)描動(dòng)畫(huà)大多是有著明顯手繪感的二維動(dòng)畫(huà)，即使進(jìn)入數(shù)字化時(shí)代，可以利用計(jì)算機(jī)軟件進(jìn)行制作，但由人類(lèi)畫(huà)師繪制仍是必不可少的環(huán)節(jié)?，F(xiàn)如今，AIGC時(shí)代來(lái)臨，其徹底改變了轉(zhuǎn)描動(dòng)畫(huà)，轉(zhuǎn)描的主體由人類(lèi)畫(huà)師變成了AI工具，產(chǎn)生了AI轉(zhuǎn)描動(dòng)畫(huà)這種新的形態(tài)。此刻，筆者并不想討論它所帶來(lái)的爭(zhēng)論，單就AI轉(zhuǎn)描動(dòng)畫(huà)可以極大地降低動(dòng)畫(huà)創(chuàng)作門(mén)檻，讓不會(huì)做動(dòng)畫(huà)的非專(zhuān)業(yè)人士也可以實(shí)現(xiàn)自己的動(dòng)畫(huà)夢(mèng)想這一點(diǎn)，就足以證明AI轉(zhuǎn)描動(dòng)畫(huà)的存在有其意義。在這個(gè)快速變化的世界中，AI已經(jīng)成為我們無(wú)法避免的存在，與其對(duì)它嗤之以鼻，還不如和它合作，借助它的優(yōu)勢(shì)，解決我們所面臨的問(wèn)題。