LA 필하모닉의 100년으로 장식한 디즈니 콘서트홀
데이터를 분류하고 맥락화 하는 데이터 유니버스 구축
ADA 기술로 '암기'에서 '응용'으로 진화한 AI

[해외DS] AI와 인간의 예술 콜라보, 관객 참여᛫몰입 강화한다 (1)에서 이어집니다.

---

건축의 '의식'

레픽 아나돌 스튜디오(RAS)의 또 다른 전환점은 2018/19년 100주년 시즌을 기념하기 위해 로스앤젤레스 필하모닉(LA Phil)과 협업한 '월트 디즈니 콘서트홀 드림'(WDCH 드림)이다.

이 프로젝트를 위해 RAS는 오케스트라의 디지털 아카이브(16,471회 공연에서 40,000시간 분량의 오디오가 포함된 45테라바이트의 데이터)를 처리하기 위한 고유한 소프트웨어를 개발했다. AI는 문서를 수백만 개의 데이터 포인트로 파싱한 다음, 수백 개의 속성별로 분류했다. LA 필하모닉의 기억을 기록하고 이들 사이에 새로운 연결을 생성할 수 있는 일종의 '데이터 유니버스'를 만든 것이다.

항해를 콘셉트로 지어진 디즈니 콘서트홀의 곡선형 외벽에 투사되어 디지털 바다처럼 밀려오는 흰색 파도 블록들은 한 세기 동안 필하모닉이 관객들과 쌓은 음악적 위로와 또 다른 모험을 준비하는 설렘을 나타냈다. 현장을 찾은 관객들은 건물과 함께 파도 위에서 춤을 추고 새로운 추억을 남겼다. 이 작품은 필하모닉의 전체 디지털 아카이브를 건물의 비정형적인 곡면처럼 저마다의 리듬으로 관객을 설득했다. WDCH의 디자이너 건축가 프랭크 게리는 "훌륭한 연극에서 관객은 무대를 초월해 연극 속으로 빠져들고, 배우들도 연극에 빠져 관객을 느끼는 것처럼 건축가도 공간을 디자인할 때 그런 점을 고려한다"라고 얘기했었다. 아나돌은 진정으로 건축의 의식을 일깨웠다고 할 수 있다.

2022년 봄에 RAS는 또다시 필라델피아 오케스트라와 협력하여 '베토벤: 장엄미사 2.0'이라는 제목의 프로젝트를 진행했다. 이번 예술 작품은 "인공지능을 사용하여 베토벤의 상상을 재구성해 보는 것은 어떨까?"라는 질문에서 시작됐다. 이러한 동기를 가지고 RAS 팀은 베토벤이 생전에 유럽에서 마주쳤을 법한 건물 이미지 1,200만 장의 데이터 세트를 수집하기 시작했다. 그런 다음 이 아카이브를 사용하여 인공 건축 이미지의 새로운 데이터 유니버스를 생성하는 맞춤형 알고리즘을 개발하여 최종 아트워크로 큐레이팅했다. 유체 역학 알고리즘을 사용하여 흐르는 물과 유사한 애니메이션 효과로 현장의 공연에 실시간으로 반응하여 베토벤에게 영감을 주었을 르네상스의 예술을 재탄생시켰다.

학제 간 및 국제적 협업의 초기 작품들은 RAS의 몰입형 예술 작품이 전 세계적으로 점차 확장될 수 있는 기반을 마련했다. 2015년에 개발된 작품인 '인피니티 룸'은 무한한 공간과 기계 지능의 무한한 순열을 결합하여 빛, 소리, 향기 및 기술을 사용하여 지각의 전환을 제공하는 360도 미러링 된 방으로 관람객을 매료시켰다. 2015년 이스탄불 비엔날레와 협업하여 처음 선보인 인피니티 룸은 전 세계를 순회했고 현재 200만 명 이상의 사람들이 인피니티 룸을 경험했다.

2021년에는 빅토리아 국립미술관에서 건축, 머신러닝, 확률의 미학이 교차하는 스튜디오의 장대한 규모의 연구 결과물인 '퀀텀 메모리즈'를 역대 최대 규모의 LED 스크린으로 전시했다. 이 전시회는 170만 명의 관람객을 맞이했으며, 이는 호주에서 디지털 예술 작품을 경험한 관객 중 최대 규모다. '기계 환각: 자연의 꿈'은 베를린 코닉 갤러리에서 자연을 주제로 AI 모델을 학습했고 5주 동안 20만 명의 관람객이 방문했으며, 이는 유럽 갤러리 중 가장 많은 관객이 방문한 전시회로 기록됐다. '기계 환각: 우주'는 2018년부터 시작된 NASA의 제트추진연구소와의 협업의 결과물이다. 이 작품은 3주 동안 9만 명의 관람객이 방문하여 홍콩에서 열린 예술 작품 중 역대 최대 관객 수를 기록했다.

다양한 관객 참여 유도

2021년 봄, RAS는 바르셀로나의 상징적인 1906년 가우디 건축물인 카사 바트요를 통해 예술 작품이 다양하고 역동적인 가상 형태로 존재하면서도 물리적 세계와의 강력한 연결성이 있음을 보여줬다. '리빙 아키텍처'는 RAS가 카사 바트요 지하에 있는 6개의 스크린이 설치된 LED 큐브 룸에서 '인 더 마인드 오브 가우디'를 제작하는 의뢰를 받으면서 시작됐다.

360도 경험을 위해 RAS는 가우디의 스케치, 건물의 역사에 대한 시각적 아카이브, 학술 아카이브, 다양한 인터넷 및 소셜 미디어 플랫폼에서 찾은 카사 바트요의 공개 사진으로 구성된 약 10억 개의 이미지를 수집했다. 머신러닝 모델을 통해 이미지를 주제별 카테고리로 분류하고 맞춤형 소프트웨어와 유체 시뮬레이션 모델을 사용하여 이미지를 동적으로 만든 다음, 가우디에서 영감을 받아 기계가 생성하고 사람이 큐레이팅한 데이터 유니버스를 AI 데이터 조각품으로 변환했다. 데이터의 하위 집합을 사용하여 AI 모델을 학습시키고, 알고리즘을 통해 기계가 새로운 미적 이미지와 색상 조합을 상상하도록 설계했다. 데이터 유니버스의 맥락을 잘 반영하기 위해 이미지를 주제별 카테고리로 클러스터링했다.

이렇게 확장된 데이터 유니버스는 단순히 데이터를 보간하여 합성한 것이 아니라, 인공지능의 창의성과 예술적인 잠재력의 원천이다. 이를 위해 NVIDIA의 Style-GAN2 적응형 판별자 증강(Adaptive Discriminator Augmentation, ADA)을 사용하여 기계가 아카이브를 단순히 모방하는 수준을 넘어 재창조를 할 수 있게 모델을 만들었다. ADA는 훈련용 이미지의 개수를 10~20배까지 줄이면서도 성능을 유지할 수 있는 장점이 있다. 이미지 수가 적으면 보통 과적합 문제가 발생한다. 판별자가 훈련 이미지를 단순히 암기하고 생성기에 유용한 피드백을 제공하지 못하기 때문이다. 이미지 분류 작업에서 연구자들은 회전, 자르기, 뒤집기 등의 과정을 통해 무작위로 왜곡된 이미지를 사용하여 더 작은 데이터 세트를 확장함으로써 모델이 더 잘 일반화되도록 데이터를 증강했다.

하지만 그 결과 상식적인 합성 이미지를 생성하는 대신 훈련을 위해 사용된 왜곡 자체를 모방하는 생성기가 만들어졌다. NVIDIA의 ADA는 데이터 증강을 '적응형'으로 적용하여 과적합을 피하기 위해 훈련 과정의 여러 지점에서 데이터 증강의 양을 조정했다. 이를 통해 연구자들은 예제가 너무 부족하거나 구하기 어렵거나 대규모 데이터 세트로 수집하는 데 시간이 너무 많이 걸리는 이전에는 비실용적이었던 애플리케이션에 GAN을 적용할 수 있게 됐다. 희귀한 예술 작품에 ADA가 포함된 StyleGAN2를 적용할 수 있기 때문에 다양한 전시회에서 활용하고 있다.

다음 단계는 데이터 색채 화다. 다양한 소스의 시각적 요소를 단일 이미지로 결합해서 시각적 요소에 고유한 역동성을 부여하기 위해 10년 이상 맞춤형 소프트웨어와 유체 시뮬레이션 모델을 실험해 왔다고 전했다. 유체 시뮬레이션을 사용하면 컴퓨터가 유체의 시각적 특성과 동작을 에뮬레이션하고 생성할 수 있게 된다. 이는 RAS의 시그니처 시각 효과 중 하나다. 실시간 및 인터랙티브 애니메이션을 비롯한 다양한 수준의 복잡한 작업에 활용되었다.

[해외DS] AI와 인간의 예술 콜라보, 관객 참여᛫몰입 강화한다 (3)에서 이어집니다.

---

Architectural ‘consciousness’
Another turning point in the studio’s visualizations of institutional archives was Walt Disney Concert Hall Dreams (WDCH Dreams), a collaboration with the Los Angeles Philharmonic (LA Phil) to celebrate its 2018/19 centennial season.

For this project, RAS developed a unique software to process the orchestra’s digital archives – 45 terabytes of data containing 40,000 hours of audio from 16,471 performances. The AI parsed the files into millions of data points that it then categorized by hundreds of attributes using deep neural networks with the capacity to both record the totality of the LA Phil’s memories and create new connections between them.

This ‘data universe’ generated something new in image and sound by awakening the metaphorical consciousness of Walt Disney Concert Hall. The visual art was projected onto the building’s curved exterior walls, a swirl of moving images ranging from a rainfall of data, to musicians playing, to waves of white blocks surging like a digital ocean, and other abstract imagery. The result was a radical visualization of the LA Phil’s first century and an exploration of the synergies between art and technology, architecture, and institutional memory. The work presented the philharmonic’s entire digital archives in a non-linear way. It also featured an interactive companion installation in a U-shaped room in which two-channel projection provided multiple experiences for visitors.

RAS also collaborated with the Philadelphia Orchestra in the Spring of 2022 on a project titled Beethoven: Missa Solemnis 2.0. In Verizon Hall, a new AI-based artwork unfolded for an audience as they listened to the composer’s 1823 masterwork. The research question for this unique artwork’s dataset was: “Why not use artificial intelligence to try to reconstruct the reality of what Beethoven could imagine?” With this motivation, the RAS team started compiling a dataset of 12 million images of buildings that Beethoven could have encountered in Europe during his life. We then used this archive to train a custom algorithm that generated a new data universe of artificial architectural images for us to curate into the final artwork.

The dynamic visual artwork, consisting of the machine’s hallucinations of alternative European architectures, alluded to religious spaces and iconography, generating the feel of a virtual cathedral for the performance of this sacred music piece. We created another software tool that allowed the AI to listen to the orchestra performing Beethoven, simultaneously generating and projecting its dreams for the audience. This addition further manifested the vision of the borderless-ness of art that the studio espoused with the WDCH Dreams project.

These early works of interdisciplinary and international collaboration paved the way for the global impact of RAS’ immersive artworks to gradually expand. Infinity Room, an artwork developed in 2015, combines the boundlessness of space with the endless permutations of machine intelligence, inviting visitors to step into a 360-degree mirrored room that uses light, sound, scent, and technology to offer a seismic perception shift.

Originally presented in collaboration with the 2015 Istanbul Biennial, Infinity Room began traveling the world. More than two million people have now experienced it. In 2021, the National Gallery of Victoria exhibited Quantum Memories, the studio’s epic scale investigation of the intersection of architecture, machine learning, and the aesthetics of probability on the largest LED screen it had ever used. The exhibit has welcomed 1.7 million visitors, the largest audience to experience a digital artwork in Australia.

Machine Hallucinations: Nature Dreams, a solo exhibit of AI data sculptures and paintings based on nature-themed datasets in Berlin’s Koenig Gallery, drew 200,000 visitors in five weeks, the largest audience to visit a gallery in Europe. Machine Hallucinations: Space was the product of our collaboration with NASA’s Jet Propulsion Laboratory, beginning in 2018. It is an immersive art piece rooted in publicly available photographs of space taken by satellites and spacecraft. Ninety thousand visitors in three weeks gave it the largest audience ever to view an artwork in Hong Kong.

Engaging a diverse audience
RAS’s broad experience of creating such large-scale, immersive, multi-sensory installations around the world motivated the team to take these ideas to the metaverse. In the spring of 2021, RAS had the opportunity to explore its potential for creative production with a collaborative artwork centered around Barcelona’s iconic 1906 Gaudí building, Casa Batlló.

We created Living Architecture as an example of how an artwork could engage a diverse audience by existing in multiple and dynamic virtual forms while still exhibiting a strong connection to the physical world. This long-term project began when RAS was commissioned to create In the Mind of Gaudí, an AI-based immersive experience presented in an LED cube room, lined with six screens, in the basement Casa Batlló.

For this initial 360-degree experience, RAS collected approximately one billion images consisting of Gaudí’s sketches, visual archives of the building’s history, academic archives, and publicly available photos of Casa Batlló found on various internet and social media platforms. We processed them with machine learning classification models, which sorted images into thematic categories.

With the help of our custom-generated software and fluid simulation models, making the images dynamic, we then transformed this data universe, inspired by Gaudí, generated by machine, and curated by humans, into an AI data sculpture. We used subsets of the data to train an AI model, causing the machine to hallucinate new aesthetic images and color combinations through algorithmic connections. We then clustered the images into thematic categories to better understand the semantic context of the data universe.

This expanding data universe was not just the interpolation of data as synthesis, but a latent cosmos in which the hallucinations of the AI was the main creative and artistic currency. To capture these hallucinations, we used NVIDIA’s Style-GAN2 adaptive discriminator augmentation to generate an AI model through which the machine could process the archive. The model was trained on subsets of the sorted images, creating embeddings in 1024 dimensions.

The next stage is the data pigmentation. We combined visual elements from a range of sources into single images. For more than 10 years, we have been experimenting with custom software and fluid simulation models to give these visuals a unique dynamism. Fluid simulation allows a computer to emulate and generate the visual qualities and behavior of a fluid. It is one of our studio’s signature visual effects in data visualizations. We have used it at various levels of complexity including real-time and interactive animation.