Bartosz Graczyk 
Słowem wstępu kim jest Graczo?
Cześć. Jestem Bartek, ale wszyscy mówią na mnie "Graczo". Ksywka powstała nie tylko od mojego zamiłowania do gier komputerowych, ale również od nazwiska. Widocznie takie było moje przeznaczenie, aby nie tylko grać w gry, ale również o nich pisać, czy opowiadać. Co poniedziałek na blogu Orange, będę publikował artykuły opisujące moją domenę, czyli wirtualną rozgrywkę. Zróbcie sobie herbatkę, odłóżcie pada i zapraszam na kilka minut relaksu z "Graczyk o grach". Na pierwszy ogień idzie temat motion capture.
Co to motion capture?
„Motion capture” to technika animacji komputerowej pozwalająca na przeniesie ruchu aktora w świecie rzeczywistym na wirtualny szkielet postaci. Wykorzystywana jest w filmach z elementami CGI, reklamach, teledyskach czy grach komputerowych. To dzięki technologii motion capture smok z Hobbita odegrany przez Benedicta Cumberbutcha mógł ruszać ustami w naturalny sposób( o ile smok jest w stanie mówić „realistycznie”)?
Gdyby nie „mocap” kultowa scena „interakcji na jednorożcu” w grze "Wiedźmin 3" wyglądałaby jak pokaz dziecka bawiącego się lalkami "Barbie".
Rozgrywce towarzyszyłyby sztywne i nienaturalne ruchy postaci(to taki pstryczek w nos serii Gothic).
Na początek lekcja historii
„Motion capture” w dosłownym tłumaczeniu z angielskiego oznacza „ przechwytywanie ruchu”. Nie jest to nowość na rynku. Animatorzy kreskówek już od momentu wynalezienia kinematografu próbowali uprościć sobie pracę w tworzeniu realistycznych animacji.
Rysunek tworzony był na podstawie odwzorowania kliszy filmowej, klatka po klatce. Jeżeli wyobrażenie tego procesu sprawia Ci trudność, to przypomnij Sobie lekcje plastyki z podstawówki, na których dzieci rysowały kalki znanych obrazów.
To dokładnie to samo, ale w wykonaniu profesjonalistów oraz, powtórzone wielokrotnie. W celu nagrania jednej sekundy filmu, trzeba wykonać od 15 do 30 obrazków.
Przykładem implementacji takiego rozwiązania jest animacja z 1937 roku czyli „Królewna Śnieżka i 7 krasnoludków”.
Rozwiązanie to profesjonalnie nazywa się „rotoskopia”, a jej zastosowanie jest co raz rzadsze, najczęściej jednak wykorzystuje się je w celu wyróżnienia swojego dzieła. Przykładem jest polsko-brytyjskiego film animowany „Twój Vincent” z 2017 roku.
Od filmu do gier
Znaczna zmiana nastąpiła w erze digitalizacji. Na początku lat 70tych Hollywood dysponowało już komputerami zdolnymi do generowania animacji 3D.
W 1972 roku na uniwersytecie w Utah, Edwin Catmull oraz Fred Parke zaprezentowali światu minutowy film przedstawiający animację realistycznie odwzorowanej dłoni. Moment ten był przełomowy, ponieważ udowodnił, że ówczesne komputery są zdolne do tworzenia czegoś więcej niż tylko symboli reprezentujących liczby i litery.
Wydarzenie te rozpaliło wyobraźnie kolejnych pokoleń filmowców, dzięki czemu w latach 90tych widzowie na salach kinowych mogli zaobserwować morfowanie androida w Terminatorze, czy dinozaury w Parku Jurajskim.
Gry nie gęsi, swoją historię mocapu mają....czy jakoś tak....
Warto zwrócić uwagę na fakt, że wspomniana wcześniej rotoskopja została wykorzystana w kreacji animacji do gry Karateka(1984r.) oraz pierwszego Prince of Persia(1989r.), a faktyczne użycie motion capture datuje się na 1994r w Virtua Fighter produkcji Yu Suzumi, gry wydanej przez firmę SEGA oraz Rise of Robots produkcji Warner Bros.
Zanimowane zostały jednak same ciała. Pierwsza całkowicie wygenerowana postać od stup do głów wraz z mimiką twarzy została wprowadzona w filmie STAR WARS I (1999r.), gdzie znienawidzony przez większość fanów Jar Jar Bings z elementów ludzkich posiadał tylko głos oraz ruchy.
W grach komputerowych, wysokiej jakości ekspresje twarzy mogliśmy zauważyć na przełomie 2010 roku w połowie żywota 7dmej generacji konsol. Wtedy co raz to więcej studiów deweloperskich korzystało z odwzorowania ruchów również głowy. Rewolucją okazały się L.A Noire (2011r.) produkcji Rockstar Games, Heavy Rain( 2010r.) produkcji Quantic Dream, czy seria gier Uncharted(2008r.) produkcji Naughtydog. To te tytuły wyznaczały nową jakość odwzorowania mimiki w grach komputerowych. Kolejne kroki były ewolucją ówczesnych rozwiązań.
Jak działa motion capture?
Sposobów na odwzorowanie ruchu jest wiele, ale najważniejszy jest efekt końcowy, który widzi odbiorca. Widz gołym okiem nie jest w stanie odróżnić techniki w jakiej zrealizowany został motion capture. Najczęściej jednak obraz jest składową wielu technologii złączonych w jedną. Dzisiejsze kamery są w stanie śledzić ruch obiektów za pomocą obserwowania różnicy w kontraście kolorów - uproszczając na takiej zasadzie działa tryb „autofocus” znajdujący się nawet w budżetowych smartfonach. Te jednak nie posiadają czujników podczerwieni, które zamieszczane są w studiach „mocapowych” zarówno na specjalnych hełmach śledzących mimikę czy na całej powierzchni „planu filmowego” w celu odnalezienia obiektu w przestrzeni na której się znajduje. To dzięki takim sensorom, byłem w stanie usiąść na skrzynce, która w świecie wirtualnym okazała się być kanapą( materiał pokazujący moje doświadczenia z mocapem poniżej - możecie zobaczyć jak się wygłupiałem).
Podczerwień odnajduje mnie w przestrzeni, a specjalne markery( białe gałki zaczepione na całym moim ciele) pozwalają na wygenerowanie dokładnego szkieletu, który reprezentuje moje ciało w komputerze.
Czytając ten tekst weźcie pod uwagę fakt iż nie jestem specjalistą od motion capture, a pasjonatem gier komputerowych oraz półprofesjonalnym filmowcem, dlatego nie zdradzę wam wszelakich tajników tej technologii, a moja historia jest znacznie uproszczona. W celu przybliżenia wam świata animacji przeprowadziłem rozmowę z Adrianem Perdjonem - prezesem studia BONES, które zajmuje się produkcją mocapu dla największych domów mediowych czy deweloperów gier komputerowych w całej Polsce jak i na świecie.
Wywiad z Adrianem Perdjonem - prezesem studia Bones
Bartek:
Adrian. Skoro w dzisiejszych czasach filtry na instagramie są w stanie śledzić ruchy naszej twarzy, a nawet ciała nakładając na nie dodatkowo specjalne animacje/obrazy, to czy oznacza to, że mocap możemy wykonać w domu?
Adrian:
Narzędzia z których korzystamy w studiu motion capture są prosto mówiąc w znacznym stopniu bardziej skomplikowane. W przypadku rejestracji mimiki, mamy więcej punktów referencyjnych, które rejestrujemy, odpowiadając jednak na twoje pytanie, jesteśmy w stanie w domu rozpocząć swoją przygodę z mocapem, ponieważ obecnie na rynku mamy na rynku dwa budżetowe kombinezony immersyjne z czujnikami przypiętymi do ciała.
Bartek:
Ile taka zabawa kosztuje?
Adrian:
Jeden kosztuje 1500$, drugi 2500$ i to są najtańsze rozwiązania wykorzystujące tego typu narzędzia.
Bartek:
Są jakieś tańsze substytu...
Adrian:
ALE istnieje oprogramowanie EYEPETsoft, które pozwala na użycie starych kamerek od PlayStation 3 - one kosztują około 30 złotych na rynku wtórnym. Stawiasz takich pięć, ubierasz się na czarno, ustawiasz kamery na białą ścianę i w taki oto sposób jesteś w stanie zrealizować swój pierwszy domowy mocap.
Bartek:
Nie potrzeba do tego sensorów( białych kulek przyczepianych do kombinezonu)?
Adrian:
Tak! Wystarczy czarna piżama albo jakieś getry. Chodzi o to byś kontrastował się od ściany. Kamery rejestrują obraz i w taki sposób tworzą szkielet.
Bartek:
Co z kinectem? Z tego co pamietam kamerka od xboxa 360 pozwalała nie tylko na granie w gry ruchowe, ale studenci politechniki wykorzystywali ją do tworzenia sensorów do robotów. To dość zaawansowany sprzęt, wykorzystujący podczerwień w celu wykrycia odległości użytkownika od kamery.
Adrian:
Obecnie wspomniane wcześniej oprogramowanie pozwala na rejestrację obrazu z dwóch kinectów.
Motion capture w domu vs w studiu
Bartek:
Skoro tak to czy takie kamery wykorzystujecie w swoim studiu?
Adrian:
Technologia jest podobna, ale te czerwone światełka, które widzisz wokół siebie to nie są ozdoby, a kamery optyczne-pasywne. Kamera nie widzi cię jako Ciebie, a chmurę kulek w przestrzeni, ponieważ do sensorów zamieszczonych na twoim ciele wysyła wiązki światła podczerwonego, który się odbija od sensorów po czym wraca do kamer. Mając 61 kamer, każda śledząca Ciebie z osobna, jesteśmy w stanie stworzyć idealny obraz reprezentujący twój ruch. To jest różnica między systemem pasywnym, a immercyjnym. Ruch względny i bezwzględny. Względny pozwala na dokładne odwzorowanie ruchu, a bezwzględny na „moonwalka”. Ten ruch jest w slowmotion i w nim „ pływasz”.
Czynnik ludzki czyli aktorzy w motion capture
Bartek:
Skoro wiemy jak działają technikalia, to co z czynnikiem ludzkim? Jak branża wyglada z perspektywy aktorów?
Adrian:
Z aktorami jest problem, ponieważ nie wszyscy są anglojęzyczni, a tego typu produkty są przygotowywane pod rynek światowy.
Bartek:
Czyli w studiu mocapowym nie nagrywa się tylko ruchu ale i „voice over”?
Adrian:
Ich mimika (aktorów) również musi odwzorowywać ruchy anglojęzyczne, jak i musimy mieć referencyjny materiał źródłowy pod który dalej aktor dubbingowy podłoży głos. Polscy aktorzy oczywiście grają z akcentem, ale ważne jest również odegranie mimiki. Mając performance, mamy ruch, emocje oraz głos, gdzie dalej amerykańscy aktorzy mogą mieć lepsze źródło inspiracji. To bardzo ciekawie wygląda, gdy znasz oryginał, a potem oglądasz finalną wersję.
Bartek:
To oznacza, że na miejscu są również reżyserzy?
Adrian:
Tak. Na miejscu są również reżyserzy, którzy korygują akcję.
Bartek:
Ale głównie realizujecie produkcje do gier?
Adrian:
Tak. Żyjemy głównie z gier, reklama to mały projekt, a gra trwa dwa/cztery lata.
Musimy zrealizować podstawowe animacje jak ruchy postaci, ale również cutsceny( wcześniej wyprodukowane animacje na silniku gry, w których gracz ogląda film bez możliwości interakcji). To wieloletni proces nad animacjami. Dziennie potrafimy nagrać 150 animacji z aktorem, ale finalna postprodukcja trwa kilka miesięcy.
Proces nagrywania gier
Bartek:
Skoro proces jest tak czasochłonny to jak wygląda praca z deweloperami gier?
Przychodzą z prośbą pt. „ Zróbcie mi mocap”! Co dalej?
Adrian:
To dobre pytanie. Z gamedevem jest tak, że na szczęście klient wie czego chce.
Najczęściej dostajemy już na starcie listę animacji i schematyczne/szablonowe surówki cutscenek czyli „animatiki” oraz dostajemy reżysera wraz z konceptami postaci. Na postawie konceptów dobieramy odpowiednich aktorów na castingu, po czym na próbach kreujemy proste gesty, które potem łączymy w bardziej skomplikowane animacje.
Bartek:
Dziękuję Ci Adrian za przybliżenie naszym czytelnikom technikaliów jak i procesów twórczych w produkcji motion capture. Mam nadzieję, że ten artykuł zainspiruje czytających go graczy do poszerzenia wiedzy na temat omawianej dziś branży.
Adrian:
Też mam taką nadzieję i była to dla mnie przyjemność.
Kasia Barys 
Beata Giska 
Komentarze
Fajny wpis. Człowiek już niby taki dojrzały, a z niektórych rzeczy nie zdaje sobie nawet sprawy. Szkoda że nie ma już zlotów Orange – być może udałoby się poznać Ekipę Orange na żywo 🙂 ;p
OdpowiedzDzięki wielkie za komentarz 😀 Mam nadzieję, że po czasach pandemicznych będzie okazja na spotkanie się i takie zloty powrócą 😀
OdpowiedzEkonomia twierdzi ze nie. 🙂 a co do tematu jedno nazwisko Alan Tudyk. 🙂
OdpowiedzTo trzymam kciuki za zlot w 2022 roku ;p ;p
Odpowiedz