Mutarea meci este o tehnică utilizată în domeniul efectelor vizuale și legate de captare de mișcare . Acest termen este folosit pentru a se referi la diferitele tehnici utilizate pentru extragerea informațiilor despre mișcare dintr-o secvență video, și mai ales mișcările camerei . Cunoscut și sub denumirea de urmărire a mișcării .
În acest articol, mutarea meciurilor va fi definită ca arta de a extrage informații despre mișcare dintr-o singură secvență video. Utilizarea de camere suplimentare, senzori de mișcare, o cameră de control al mișcării sau alte dispozitive este posibilă ca supliment, dar nu este necesară.
Tehnica de mutare a meciurilor este utilizată în principal pentru a urmări mișcarea unei camere în timpul unei capturi, astfel încât această mișcare să poată fi reprodusă identic pe o cameră virtuală într-un program de computer. Astfel, atunci când scenele reale și virtuale sunt îmbinate (o operație numită compozitie ), ele vor da impresia probabilă De a fi fost filmate din același punct de vedere.
Există două tipuri de tehnici de mutare a meciurilor :
Aceste programe permit utilizatorilor să deducă mișcările camerei, precum și alte mișcări relative din orice filmare. Informațiile de urmărire pot fi apoi transferate către grafică pe computer și software de animație 3D, cum ar fi Blender , 3D Studio Max , Lightwave sau Maya, pentru a fi utilizate pentru a anima camere virtuale și obiecte de imagine sintetice.
Primul, și unul dintre cele mai bune exemple de unde a fost utilizată tehnica de mutare a meciurilor, este filmul Jurassic Park . Regizorii au așezat în scenă mingi colorate de tenis ca marcatori. Apoi au folosit aceste markere pentru a urmări mișcarea camerei în timpul diferitelor scene. Acest lucru a permis ca multe obiecte virtuale, cum ar fi dinozaurii CG, să fie adăugați la scene cu mișcări complexe ale camerei sau chiar camere de umăr. Bilele de tenis au fost ulterior pictate digital pentru a le exclude din asamblarea finală.
Miscarea meciului este deja un instrument recunoscut în mijlocul efectelor speciale.
Procesul de mutare a meciului poate fi împărțit în două părți.
Primul pas este identificarea și urmărirea țintelor. O țintă este un punct specific din imagine pe care un algoritm de urmărire îl poate bloca (în sens militar) și urmări peste mai multe imagini. Alegerea acestor ținte depinde de algoritmul de urmărire, dar acestea sunt adesea locuri deschise / întunecate, margini sau colțuri. Important este că fiecare țintă reprezintă un punct specific de pe suprafața unui obiect real. Când este urmărită, o țintă devine o serie de coordonate bidimensionale care reprezintă poziția țintei prin secvența de imagine. Această suită se numește pistă . Odată ce aceste piese au fost calculate, ele pot fi utilizate imediat pentru a se potrivi cu 2D în mișcare sau pot fi utilizate pentru a calcula informații 3D.
Al doilea pas necesită rezoluție pentru a obține mișcarea 3D. Scopul este de a deduce mișcarea camerei rezolvând o proiecție inversă a căilor 2D pentru poziția camerei. Acest proces se numește calibrare .
Mai precis: atunci când este fotografiat un punct de pe suprafața unui obiect tridimensional, poziția acestuia în imaginea 2D poate fi calculată printr-o funcție de tip proiecție 3D. Putem considera că o cameră este o abstracție care conține toți parametrii necesari pentru modelarea unei camere într-un univers real sau virtual. Astfel, o cameră este un vector care conține ca elemente: poziția camerei, orientarea acesteia, distanța focală și alți parametri posibili care definesc modul în care camera focalizează lumina pe film. Nu contează modul în care este construit acest vector atâta timp cât există o funcție de proiecție compatibilă P.
Funcția de proiecție P ia ca intrare un vector de cameră (notat cameră ) și un alt vector reprezentând poziția unui punct 3D în spațiu (notat xyz ) și returnează un punct 2D care este proiecția punctului 3D pe un plan numit imagine și situat în fața camerei (notat XY ) Avem apoi următoarea expresie:
XY = P ( cameră , xyz )
Funcția de proiecție transformă un punct 3D în special prin eliminarea componentei de adâncime. Fără a cunoaște profunzimea, o proiecție inversă poate returna doar un set de puncte de soluție 3D. Acest set este o linie dreaptă care începe de la centrul optic al camerei și trece prin punctul 2D proiectat. Putem exprima proiecția inversă prin:
sau
xyz : P ( camera , xyz ) = XYSă presupunem că suntem în cazul în care țintele pe care le urmărim se află pe suprafața unui obiect rigid, de exemplu o clădire. După cum știm că punctul real xyz va rămâne în același loc în spațiu (cu excepția cazului în care clădirea este deformată) de la o imagine la cealaltă, putem forța acest punct să fie constant, chiar dacă nu îi cunoaștem poziția. Prin urmare:
xyz i = xyz junde indicii i și j sunt numere arbitrare de imagini ale scenei pe care o analizăm. Acest lucru ne permite să afirmăm că:
P '( camera i , XY i ) ∩ P' ( camera j , XY j ) ≠ {}Deoarece valoarea XY i a fost determinată pentru toate imaginile în care ținta a fost urmărită de program, putem rezolva proiecția inversă între două imagini atâta timp cât P '( camera i , XY i ) ∩ P' ( camera j , XY j ) este un set restricționat. Setul posibililor vectori de cameră care sunt soluții ale ecuației la momentele i și j (notate C ij ).
C ij = {( camera i , camera j ): P '( camera i , XY i ) ∩ P' ( camera j , XY j ) ≠ {})Există deci un set de perechi de vectori de cameră C ij pentru care intersecția proiecției inverse a două puncte XY i și XY j este ne-goală, de preferință mică și este centrată în jurul punctului teoretic staționar xyz .
Cu alte cuvinte, imaginați-vă un punct negru plutind în spațiul alb și o cameră foto. Pentru fiecare poziție a spațiului în care este amplasată camera, există un set de parametri corespunzători (orientare, distanță focală etc.) care vor fotografia acest punct exact în același mod. Deoarece C are un număr infinit de membri, un singur punct este insuficient pentru a determina poziția curentă a camerei.
Prin creșterea numărului de puncte vizate, putem restricționa setul de poziții posibile pentru cameră. De exemplu, dacă avem un set de puncte xyz i, 0 ,…, xyz i, n } și xyz j, 0 ,…, xyz j, n } i și j fiind întotdeauna indici de imagine și n este un indice care reprezintă fiecare dintre țintele. Putem obține apoi un set de perechi de vectori de cameră {C i, j, 0 ,…, C i, j, n }.
În acest fel, setul de parametri ai camerei este restricționat. Setul de parametri posibili care sunt adecvați pentru cameră, F, este intersecția tuturor seturilor:
F = C i, j, 0 ∩… ∩ C i, j, nCu cât acest set este mai mic, cu atât este mai ușor să abordați vectorul soluției camerei. Cu toate acestea, în practică, erorile introduse de faza de monitorizare necesită o abordare statistică pentru a determina soluția, algoritmi de optimizare sunt adesea utilizați. Din păcate, există atât de mulți parametri într-un vector al camerei încât, atunci când fiecare dintre acești parametri este independent de ceilalți, este posibil să nu puteți restricționa F la o singură posibilitate, indiferent de câte puncte încercați să urmăriți. Cu cât este mai mare numărul de parametri care pot fi restricționați în timpul unei fotografii (în special distanța focală), cu atât este mai ușor să determinați soluția.
Procesarea constând în restrângerea numărului de soluții posibile ale mișcării camerei pentru a ajunge la o singură posibilitate potrivită pentru faza de compoziție se numește faza de rezoluție 3D.
Odată ce poziția camerei a fost determinată pentru fiecare imagine, devine posibilă estimarea poziției fiecărei ținte în spațiul real prin proiecție inversă. Setul de puncte rezultat este denumit adesea un nor de puncte datorită aspectului său nebulos. Deoarece norul de puncte dezvăluie adesea o parte a formei scenei 3D, poate fi folosit ca referință pentru a plasa obiecte CGI sau, folosind un program de reconstrucție, pentru a crea o versiune virtuală a imaginii.
Camera și norul de puncte trebuie să fie orientate în spațiu. Astfel, odată ce calibrarea este completă, este necesar să se definească planul care reprezintă solul. În mod normal, există un plan unitar care determină scala, orientarea și originea spațiului proiectat. Unele programe încearcă să facă acest lucru automat; cu toate acestea, în majoritatea cazurilor, utilizatorul este cel care definește acest plan. Deoarece modificarea acestui plan are ca rezultat doar o simplă transformare pe toate punctele, poziția unui astfel de plan este într-adevăr doar o chestiune de convenție.
Reconstrucție este procesul interactiv de recrearea unui obiect fotografiată folosind datele de urmărire. Această tehnică este legată de fotogrametrie . În acest caz particular, este vorba de utilizarea software-ului de mutare a meciurilor pentru a reconstitui scena dintr-o captură adecvată.
Un program de reconstrucție poate crea obiecte tridimensionale care reprezintă obiectele reale din scena fotografiată. Folosind datele din norul de puncte și estimarea utilizatorului, programul poate crea un obiect virtual și poate extrage o textură din videoclip care va fi proiectată pe obiectul virtual ca textură de suprafață.
Memento: urmărirea este un sistem software care permite urmărirea mișcării. Cea mai cunoscută este urmărirea video (utilizată în special în filme sau jocuri video).
Urmărirea video face posibilă recrearea mișcărilor unei camere reale pe o cameră virtuală. Sistemul este utilizat fie pentru a integra o persoană reală fotografiată pe un fundal albastru sau verde într-un cadru virtual, fie pentru a integra un personaj virtual într-un cadru real fotografiat cu o cameră în mișcare.
Pentru a obține o urmărire bună, trebuie să urmați câțiva pași care încep de la locul de fotografiere.
Cel mai adesea, asistenții managerului de efecte speciale sunt cei care se ocupă de acest pas. Este vorba aici de poziționarea semnelor pe decorațiuni, care sunt suficient de vizibile pentru continuare și nu prea multe pentru a fi îndepărtate cu ușurință. Apoi, trebuie să măsurați cu precizie distanța dintre fiecare reper și să faceți un plan detaliat al întregii scene. Pentru fiecare fotografie realizată în set, este necesar să se noteze distanța focală utilizată și înălțimea camerei, dacă mișcarea efectuată corespunde unei mișcări într-un cadru 3D.
Semnele pot fi, de asemenea, elemente dure ale decorului, colțului mesei, modelului, atâta timp cât contrastul cu culoarea de fundal este suficient de marcat.
Apoi, recreăm toate decorurile în 3D pentru a le scala conform planului creat în timpul filmării într-un software 3D.
Când începe postproducția, un tehnician primește toate fotografiile, va trebui să analizeze fiecare fotografie, să știe ce distanță focală este utilizată, dacă există un zoom, mișcarea camerei. Apoi filmul va fi transformat într-o succesiune de imagini.
Există multe programe de urmărire ( Matchmover de la Realviz ), în majoritatea programelor 3d există un sistem de urmărire (Maya Live pentru Maya , camere potrivite pentru 3DS Max ...). Aici îi spunem programului distanța focală utilizată, dacă există un zoom și mișcarea camerei.
Aici începe urmărirea efectivă. Aici plasăm puncte - „Urmăritorii” - pe reperele reale. Lansăm urmărirea și programul va urmări automat marcajul până când îl pierde din vedere. Facem acest pas pe toate punctele prezente pe scenă.
În acest moment al procesului, trackerele se mișcă doar în 2 dimensiuni. Aici vom importa reproducerea scenei 3D în program. Vom face ca fiecare tracker să coincidă cu punctele care le corespund pe scena 3D. Începem să rezolvăm. Programul va interpreta mișcările 2D ale fiecărui tracker în funcție de poziția lor în scena 3D pentru a avea mișcarea camerei.
Acum, că avem mișcarea fidelă a camerei, o vom putea importa într-un software 3D dacă nu este deja acolo.
Există două metode prin care informațiile despre mișcare pot fi extrase dintr-o imagine. Urmărirea interactivă se bazează pe capacitatea utilizatorului de a urmări ținte în timpul unei secvențe. Punctele urmărite de utilizator sunt apoi utilizate pentru a calcula mișcarea camerei. Urmărirea automată se bazează pe algoritmi pentru a identifica și urmări țintele în timpul secvenței.
Avantajul urmăririi interactive este că un om poate urmări o țintă pe parcursul unei secvențe întregi fără a fi dezorientat de ținte care nu sunt rigide. Defectul este că utilizatorul va introduce în mod inevitabil mici erori care, urmărind obiectele, vor conduce inevitabil la o deriva .
Avantajul urmăririi automate este că computerul poate crea mult mai multe puncte decât poate un om. Mai multe puncte pot fi analizate pentru a determina statistic ce date sunt mai fiabile. Dezavantajul urmăririi automate este că, în funcție de algoritm, computerul se poate confunda cu ușurință și poate pierde ținte.
Software-ul profesional de mutare a meciurilor utilizează, în general, o combinație de urmărire interactivă și urmărire automată. Un artist poate elimina punctele clar anormale și poate folosi una sau mai multe opțiuni de urmărire pentru a bloca informațiile nedorite din procesul de urmărire.
O „ urmărire mată ” este un concept similar cu pictura mată . Cu toate acestea, scopul urmăririi mate este de a împiedica algoritmul de urmărire să utilizeze date nesigure, nelegate sau nerigide. De exemplu, într-o scenă în care un actor se plimbă în fața unui fundal, mutatorul de meciuri (cel care are grijă de meciul să se miște ) va dori să folosească doar acel fundal pentru a obține mișcarea camerei sale știind că actorul se va amesteca în calcule. În acest caz, artistul va construi o urmărire mată pentru a-l urmări pe actor în scenă și a bloca aceste informații în procesul de urmărire .
Deoarece există adesea mai multe soluții posibile la procesul de calibrare și se poate acumula o cantitate semnificativă de erori, ultimul pas în obținerea mișcării implică adesea o rafinare manuală a soluției. Aceasta înseamnă să modificați singur mișcarea camerei, oferind indicii pentru motorul de calibrare. Această calibrare mai interactivă este uneori denumită rafinament de calibrare.
În unele cazuri în care:
este necesară o abordare hardware. În aceste cazuri, LED-urile vizibile sau cu infraroșu pot fi atașate la obiecte precum monturi sau camere și un sistem optic de urmărire poate fi utilizat pentru a urmări camere, actori și monturi.
Această metodă este preferată numai atunci când hardware-ul este deja necesar pentru a urmări actorii sau media, deoarece abordarea software funcționează suficient de bine și nu necesită hardware. Un sistem de markeri activi precum cel al PhaseSpace face posibilă integrarea acestor markeri în obiectele scenei și oferă în timp real coordonatele relative ale sistemului permițând interacțiuni complexe. Procesoarele de la bord modulează luminozitatea LED-urilor pentru a diferenția fiecare marker și astfel pot fi urmărite sute de obiecte.