Technologia budowy holodeku

Kiedy niedawno odwiedziłem moją starszą mamę w Niemczech, zdałem sobie sprawę, iż to może być jeden z ostatnich razów, kiedy widzę ją w przytulnym domku, który nazywała domem od ponad dwudziestu lat. Zrobiłem więc to, co zrobiłby każdy: wyciągnąłem telefon i zrobiłem mnóstwo zdjęć tego miejsca, aby zachować jak najwięcej wspomnień: ciepły kominek; półki pełne znajomych książek; chwiejna stara ławka ogrodowa z przodu, którą wszyscy podpisali podczas specjalnych obchodów urodzin wiele lat temu.

Następnie spróbowałem czegoś innego. Otworzyłem się Skandynawskiaplikacja do skanowania 3D od PokemonGo producenta Niantic i uchwyciłem niektóre z tych rzeczy jako obiekty 3D, kucając i chodząc wokół nich na palcach, powoli poruszając telefonem, aby zarejestrować każdy kąt i cal. Wyniki były nieco niedoskonałe na krawędziach, ale przez cały czas wydawały się głębokie. Kiedy później otworzyłem skany, zarówno na telefonie, jak i dzięki zestawu VR, mogłem patrzeć na tę zwietrzałą ławkę ogrodową ze wszystkich stron, jakbym stał tuż przed nią. To doświadczenie poruszyło mnie emocjonalnie w sposób, na który nie byłem przygotowany.

Doświadczenie to było możliwe dzięki rozpryskiwaniu gaussowskiemu, nowatorskiej metodzie przechwytywania 3D, która została wynaleziona niecałe dwa lata temu i już szturmem podbija branżę technologiczną. Zarówno Niantic, jak i Google używają go do tworzenia swoich produktów mapowych; Snap dodał obsługę ikon — jak potocznie nazywa się obiekty uchwycone dzięki rozprysków gaussowskich — do swojej platformy programistycznej Lens Studio, a Meta chce wykorzystać rozpryski gaussowskie do stworzenia metaświata, który wygląda jak prawdziwy świat.

Firmy technologiczne są zachwycone rozpryskami gaussowskimi ze względu na ich zdolność do fotorealistycznego przechwytywania, a następnie cyfrowego odtwarzania trójwymiarowych obiektów. niedługo może umożliwić każdemu skanowanie całych pomieszczeń i zmienić sposób, w jaki twórcy z Hollywood i nie tylko nagrywają wideo 3D. W połączeniu z generatywną sztuczną inteligencją ma potencjał nie tylko zachowania istniejących przestrzeni, ale także przeniesienia nas do zupełnie nowych światów 3D.

„To ogromna zmiana w zasadach gry” – powiedział ekspert AR/VR i inwestor Tipatat Chennavasin. Jako współzałożyciel i komplementariusz spółki Fundusz Venture RealityChennavasin ma interes finansowy w powodzeniu tej technologii. Jako maniak i były artysta 3D zakochał się w tym, porównując go do Gwiezdny Trek holodeck, który umożliwiał członkom załogi wejście do holograficznych symulacji 3D rzeczywistych i wyimaginowanych przestrzeni. „Zaczynamy docierać do fotorealistycznego holodeku.”

Przechwytywanie obiektów w 3D, choćby na telefonie, nie jest niczym nowym. Jednak większość wcześniejszych wysiłków opierała się na wielokątach, rodzajach trójkątnych siatek przypominających cyberpunk, które widziałeś, jeżeli kiedykolwiek korzystałeś z mobilnej aplikacji AR.

Przechwytywanie i rekonstrukcja 3D w oparciu o siatkę wielokątną jest wystarczająco dobra w przypadku podstawowych obiektów o płaskich powierzchniach, ale może sprawiać problemy w przypadku szczegółowych tekstur i złożonego oświetlenia. Obiekty uchwycone w ten sposób często wyglądają plastycznie i nierealnie, a ludzie uchwyceni w 3D zawsze wydają się używać zdecydowanie za dużo żelu, zamiast mieć pojedyncze pasma włosów. „Wówczas było to obiecujące, ale zawsze wiązało się z ogromnymi ograniczeniami” – powiedział Chennavasin.

Wszystko to zmieniło się latem 2023 r., kiedy grupa europejskich naukowców opublikowała artykuł na temat czegoś, co nazwali „rozpryskami 3D Gaussa”. Ich podejście do problemu polegało na porzuceniu siatek i zamiast tego przechwytywaniu obiektów 3D jako zbioru rozmytych, półprzezroczystych plam, znanych również jako Gaussa.

Każda z tych plam jest przechwytywana z dokładnymi informacjami na temat jej koloru, położenia, skali, obrotu i poziomu przezroczystości — a gdy połączysz ich miliony, otrzymasz znacznie bardziej szczegółowy obraz obiektu 3D, który zawiera również szczegółowe informacje na temat jego wyglądu pod dowolnym kątem, dzięki tym wszystkim dodatkowym danym. Dzięki uczeniu maszynowemu udało im się przechwytywać obiekty ze znacznie większą szczegółowością i wyższą wiernością oraz renderować je w czasie rzeczywistym bez konieczności stosowania ciężkich urządzeń do renderowania grafiki.

Wyniki natychmiast zaskoczyły ekspertów w tej dziedzinie. „W końcu mamy szansę na prawdziwy obraz 3D, który jest fotorealistyczny” – powiedział Chennavasin. „To moment w formacie JPEG dla obliczeń przestrzennych”.

Wiceprezes ds. inżynierii w firmie Niantic, Brian McClendon, uważa, iż ​​ikony Gaussa stanowią najgłębszy postęp w dziedzinie grafiki 3D od ponad 30 lat. „Uważamy to za fundamentalną zmianę” – stwierdził.

Według McClendona rozpryski Gaussa zdemokratyzują przechwytywanie 3D, a Niantic chce być na czele tej zmiany. Po nabyciu aplikacji Scaniverse w 2021 rNiantic dodało rozpryski gaussowskie jako technologię przechwytywania w ubiegłym roku. W sierpniu wystartował nowa wersja Scaniverse, który stawia rozpryskiwanie z przodu i na środku. W październiku firma open source własny format pliku dla ikon. W grudniu Scaniverse rozszerzyło swoją ofertę na technologię VR, umożliwiając użytkownikom oglądanie ikon Gaussa w zestawach słuchawkowych Meta’s Quest.

Niantic ma swoje własne powody, aby promować splatting. Scaniverse początkowo było aplikacją do przechwytywania osobistych pamiątek i innych pojedynczych obiektów, ale w tej chwili Niantic zachęca ludzi do skanowania także posągów, fontann i innych atrakcji publicznych. Firma postrzega te skany jako najważniejsze elementy systemu Mapa 3D świata, który buduje — ta sama mapa, która zasila PokemonGo, Oliwinoraz przyszłe geoprzestrzenne gry i doświadczenia AR. „Jesteśmy bardzo skupieni na mapie oraz skanowaniu i rekonstrukcji otoczenia” – powiedział McClendon.

„Mamy już ich setki tysięcy [types of scans] w Scaniverse” – powiedział McClendon. „Mam nadzieję, iż niedługo dobijemy do miliona”.

Ikony Gaussa służą nie tylko do przechwytywania treści statycznych. Uruchomienie wizji komputerowej Gracia AI wykorzystuje tę technologię do nagrywania wolumetrycznych filmów 3D, które można oglądać na zestawach słuchawkowych Meta Quest. Jeden z tych klipów pokazuje szefa kuchni podczas przygotowywania posiłku, a widzowie mogą oglądać akcję w rzeczywistości wirtualnej pod każdym kątem, a choćby przybliżyć obraz, aby zobaczyć, jak jego nóż przecina błyszczący kawałek surowego łososia.

Gracia nagrała ten film w profesjonalnym studiu przechwytywania 3D, używając zestawu 40 kamer skierowanych na szefa kuchni ze wszystkich stron. W ten sposób profesjonaliści od lat nagrywają treści holograficzne na potrzeby rozwiązań AR i VR — ale po raz kolejny przejście od wielokątów do ikon Gaussa robi różnicę.

Wcześniej nagrywanie wideo 3D wiązało się z szeregiem wyzwań wizualnych, które prowadziły do ​​rygorystycznych zasad ubioru w przypadku uchwyconych osób: żadnych skomplikowanych wzorów, niczego półprzezroczystego, niczego luźnego i zwisającego, co mogłoby skutkować powstaniem dziwnych artefaktów. Kiedy Microsoft kilka lat temu schwytał w ten sposób Davida Attenborougha, musiał choćby przykleić kołnierzyk do koszuli i używaj nieprzyzwoitych ilości lakieru do włosów, aby dosłownie uniknąć luźnych końcówek, które mogłyby zepsuć proces przechwytywania.

Dzięki ikonom Gaussa wszystkie te ograniczenia zniknęły. „Nie ma ograniczeń co do ubioru, nie ma ograniczeń co do włosów” – powiedział współzałożyciel i dyrektor generalny Gracia, Georgii Vysotskii, który zalicza fundusz Venture Reality Fund Chennavasin do inwestorów swojej firmy. Podczas gdy wolumetryczne przechwytywanie wideo poprzedniej generacji wymagało oślepiającej ilości światła, aby wyeliminować wszelkie cienie, Gracia była w stanie nagrywać sceny w niemal całkowitej ciemności. „Możesz zostawić wszystkie cienie i zastosować artystyczne oświetlenie” – powiedział Wysocki. „To niesamowite, jak dużą elastyczność twórczą można uzyskać dzięki ikonom Gaussa”.

Nie oznacza to, iż nie ma wciąż wyzwań. W tej chwili klipy rozpryskujące się metodą Gaussa przez cały czas wymagają 9 GB danych na minutę wideo — to za dużo, aby przesyłać strumieniowo lub naprawdę cokolwiek poza krótką demonstracją technologii. Wysocki powiedział, iż firma pracuje w tej chwili nad zmniejszeniem tej przepustowości do 2–3 GB na minutę, a wolumetryczne filmy VR o kącie 180 stopni mogą wymagać zaledwie 1 GB danych na minutę. Przewiduje, iż tego typu klipy ostatecznie zastąpią nagrania instruktorów w aplikacjach do ćwiczeń VR, takich jak Supernatural lub w profesjonalnych treściach edukacyjnych, ponieważ pozwalają użytkownikom patrzeć na instrukcje pod każdym kątem.

Jedna z najbardziej ambitnych wersji demonstracyjnych ikon Gaussa została zbudowana przez firmę Meta. Hyperscapektórą firma zaprezentowała jesienią tego roku na konferencji Meta Connect, to aplikacja dla zestawów słuchawkowych Meta’s Quest, która umożliwia użytkownikom eksplorowanie fotorealistycznych renderingów 3D. Aplikacja została uruchomiona z sześcioma zeskanowanymi przestrzeniami, w tym pięcioma studiami artystów i salą konferencyjną na terenie kampusu Meta, która niegdyś służyła jako biuro Marka Zuckerberga.

Hyperscape pozwala na swobodne poruszanie się w tych przestrzeniach, co przy takiej wierności wizualnej jest fascynującym przeżyciem. W studiu artystki multimedialnej Dianne Hoffman w San Francisco możesz przeglądać wiele osobliwości, w tym niezliczone lalki i pudełko z napisem „skóra węża i muszle”. Możesz podziwiać obszerną kolekcję Porsche autorstwa artysty wizualnego Daniela Arshama, a choćby popatrzeć na paprocie i drzewa za oknem dawnego biura Zucka. Rendery wydają się tak realne, iż Meta poczuła się zmuszona zamieścić ostrzeżenie, aby nie opierać się o żaden z przedstawionych mebli.

W tej chwili Hyperscape to kilka więcej niż szyte na miarę demo technologii. Jednak Meta ma duże plany dotyczące ikon Gaussa, jak powiedział mi tej jesieni Meta Horizon OS i wiceprezes Quest Mark Rabkin na Meta Connect. „Ikony Gaussa już dla nas działają na silniku, który w dużej mierze przypomina silnik Horizon” – powiedział Rabkin, odnosząc się do społecznościowej platformy VR firmy Meta. „Tak więc technologicznie droga do uruchomienia go w świecie jest dość krótka”.

Meta postrzega ikony jako kolejne narzędzie dla twórców VR, umożliwiające tworzenie wciągających światów i wrażeń Światy Horyzontu. Firma planuje choćby umożliwić każdemu zeskanowanie własnego domu, a następnie przesłanie jego cyfrowej kopii do Metaverse. „Zdecydowanie” – powiedział Rabkin. „Właśnie nad tym pracujemy.”

Nie wiadomo, jak długo i czy będą trwały te prace Światy Horyzontu przetrwa w obecnej formie do tego czasu, to zupełnie inna kwestia. Meta odmówiła udziału w kolejnych wywiadach na potrzeby tej historii, ale McClendon z Niantic przestrzegł, aby nie lekceważyć złożoności tworzenia narzędzia skanującego, takiego jak Hyperscape.

„Zasadniczo uzyskali doskonały widok” – powiedział McClendon. Meta prawdopodobnie połączył wiele skanów każdego pomieszczenia i prawdopodobnie wykonał także sporo manualnej edycji i czyszczenia – zasugerował. A ponieważ powstałe skany są zbyt duże, aby można je było przetwarzać w czasie rzeczywistym na urządzeniu, Meta renderuje je w chmurze i przesyła strumieniowo bezpośrednio do zestawów słuchawkowych.

„To nie ma dużej skali, ale wygląda naprawdę dobrze” – powiedział McClendon. „Czy mają sposób, aby to skalować? Nie wiem.”

Rozwój technologii rozpryskiwania Gaussa postępuje w szybkim tempie. McClendon powiedział mi, iż prędkość, z jaką ukazują się nowe artykuły naukowe na ten temat, odzwierciedla prędkość badań nad generatywną sztuczną inteligencją. „Artykuły są w tej chwili publikowane niezwykle szybko” – stwierdził. „Podekscytowanie jest prawdziwe”. Chennavasin powiedział, iż opracowywana przez nich technologia jest gwałtownie wdrażana. „Albo zamienili się w start-upy”.

Jednym z obszarów dojrzałych do przełomu jest połączenie ikon i sztucznej inteligencji. Generatywna sztuczna inteligencja może ulepszyć przechwytywanie i renderowanie ikon Gaussa, potencjalnie umożliwiając firmie takiej jak Gracia AI przechwytywanie filmów przy użyciu znacznie mniejszej liczby kamer. Jednocześnie znacznie więcej osób rejestrujących obiekty i sceny 3D radykalnie zwiększy ilość wysokiej jakości danych szkoleniowych dla generatywnych modeli wideo 3D.

Wszystko to wskazuje na przyszłość, w której zwykli ludzie będą mogli generować fotorealistyczne przestrzenie 3D dzięki podpowiedzi AI, przechwytywania plam Gaussa lub ich kombinacji, a następnie wchodzić do tych przestrzeni dzięki zestawów VR lub okularów AR.

„Zabójcza aplikacja XR to holodeck dla wielu graczy” – powiedział Chennavasin. „Generatywna sztuczna inteligencja i plamy Gaussa to sposób, w jaki tworzymy ją z wizualną wiernością, która jest prawie nie do odróżnienia od rzeczywistości. To nie dzieje się z dnia na dzień. Ale teraz jest to wyraźny strzał.

Taka przyszłość na wyciągnięcie ręki rodzi pytanie: gdybyś miał holodeck, co odwiedziłbyś jako pierwsze? Fotorealistyczne wizualizacje odległych miejsc, do których jeszcze nie miałeś okazji pojechać? Znane studia nagraniowe, muzea lub biblioteki? A może raczej fantastyczne światy, takie jak średniowieczne zamki, lochy lub plany filmów Marvela?

Dla mnie może to być po prostu przytulny domek mojej mamy i ta chwiejna ławka ogrodowa.