짧은 상호작용만으로도 인공지능 편향이 인간에게 전염될 수 있다고 밝혀져
인공지능에 대한 신뢰가 높고 모델의 답변에 자신감이 묻어 나올 수록 심각해
AI 모델의 편향성을 줄이기 위해서는 투명성을 높이고, AI에 대한 교육 필요

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

인공 지능 프로그램은 이를 개발하고 훈련하는 인간과 마찬가지로 완벽하지 않다. 의료 이미지를 분석하는 머신러닝 소프트웨어든, 자연스러운 대화를 나누는 ChatGPT와 같은 생성형 챗봇이든, 알고리즘 기반 기술은 오류를 범할 수 있고 심지어 '환각'을 일으키거나 부정확한 정보를 제공할 수도 있다. 더 큰 문제는 이러한 프로그램이 학습된 방대한 데이터를 통해 많은 사용자가 감지할 수 없는 편견을 보여줄 수도 있다는 것이다. 새로운 연구에 따르면 사용자가 무의식적으로 편견을 흡수할 수 있다고 한다.

인공지능은 이미 우리 삶의 다양한 영역에 깊숙이 침투하고 실질적인 피해를 안겨다 주고 있다. 음성 인식 소프트웨어가 미국 억양이 아니면 이해하지 못해 홈 비서를 사용하는 데 불편을 초래하는 문제부터 백인, 특정 연령대, 특정 질병 단계에 있는 사람 등 일부 사람들에 대해서만 학습되어 오류가 발생하는 의료 알고리즘이나 흑인에 대한 부당 체포율을 높인 인종 편향적인 경찰 얼굴 인식 소프트웨어 등 더 심각한 사례들도 늘어나고 있다.

문제점을 인식해도 AI 모델의 편향을 신뢰한 실험 참가자들

알고리즘을 수정한다고 금방 해결될 문제가 아니다. 편견을 가진 AI 모델이 사람들의 무의식에도 지속적인 영향을 행사하기 때문이다. 최근 사이언티픽 리포트에 발표된 심리학 연구에 따르면 AI 모델에 의해 사용자에게 전염된 편견이 AI 프로그램 사용을 중단한 후에도 사람의 의사결정 행동에 지속될 수 있음을 보여준다. 스페인 데우스토 대학의 실험 심리학자인 헬레나 마투테(Helena Matute) 선임 연구원과 공동 연구자인 루시아 비센테(Lucía Vicente) 연구원은 각각 약 200명의 참가자가 참여한 세 가지 실험을 통해 비전문가인 참가자들에게 가상의 질병 유무를 나타내는 이미지를 분류하도록 요청하는 간단한 의료 진단 과제를 시뮬레이션했다. 이미지는 두 가지 색상의 점으로 구성되었으며, 참가자들은 이 점의 배열이 조직 샘플을 나타낸다는 설명을 들었다. 과제에 따라 한 가지 색의 점이 많으면 질병에 대한 긍정적인 결과를 의미하고, 다른 색의 점이 많으면 부정적인 결과를 의미했다.

실험을 진행하는 동안 마투테와 비센테는 일부 참가자에게 의도적으로 왜곡된 답안을 제시했으며 이미지를 잘못 분류하도록 유도했다. 참가자에겐 이러한 제안이 "인공 지능(AI) 알고리즘에 기반한 진단 지원 시스템"에서 비롯된 것이라고 설명했다. 대조군에는 평가할 라벨이 없는 일련의 점 이미지만 제공했다. 반면 실험 그룹은 가짜 AI로부터 '양성' 또는 '음성' 평가가 표시된 일련의 점 이미지를 받았다. 대부분은 라벨이 정확했지만, 각 색상의 개수가 비슷한 경우 연구진은 의도적으로 왜곡하여 오답을 유도했다. 한 실험 그룹에서는 AI 라벨이 거짓 음성을, 두 번째 실험 그룹에서는 거짓 양성 라벨을 제공하는 경향이 있도록 설정했다.

연구진은 거짓된 AI 제안을 받은 참가자들이 향후 의사 결정에 동일한 편견을 반영한다는 사실을 발견했다. 예를 들어, 참가자가 거짓 양성과 상호작용한 경우, 새로운 이미지가 주어졌을 때 계속해서 거짓 양성 오류를 범하는 경향이 있었다. 충격적인 점은 과제의 난도가 낮았다는 사실이다. 대조군에서는 AI의 안내 없이도 과제를 쉽게 완료할 수 있었으며, 실험 참가자 중 80%가 'AI'가 실수한 것을 알아차렸음에도 불구하고 편향은 그대로 유지되었다. 알고리즘의 편향이 얼마나 전염성이 높은지를 알 수 있는 대목이다.

AI의 확신에 찬 어조와 과대 광고효과도 한몫해

하버드 의대 피부과 교수이자 npj Digital Medicine 편집장인 조셉 크베다르(Joseph Kvedar)는 이 연구에 숙련된 의료 전문가가 참여하지 않았고 승인된 진단 소프트웨어를 평가하지 않았다는 점을 주의해야 한다고 지적했다. 따라서 이 연구가 의사와 의사가 사용하는 실제 AI 도구에 미치는 영향은 매우 제한적이라는 게 크베다르의 설명이다. 미국 영상의학 데이터 과학 연구소의 최고 과학 책임자인 키스 드레이어(Keith Dreyer)도 이에 동의하며 "의료 영상 데이터를 분석하는 전제와 다르다"라고 덧붙였다. 하지만 크베다르는 이 연구에서 가짜 AI의 진단 측면을 무시하고 심리적 관점에서 볼 때 "실험의 설계는 거의 완벽에 가까웠다"고 인정했다. 따라서 실제 의학 연구는 아니지만, 이 연구는 많은 머신러닝 알고리즘에 의도치 않게 내재한 편향을 통해 사람들이 어떻게 영향을 받을 수 있는지에 대한 인사이트를 제공하며, AI가 인간의 행동에 더 나쁜 영향을 미칠 수 있음을 시사했다.

사람이 정보의 출처를 통해 편견을 학습한다는 것은 널리 알려진 사실이다. 그러나 부정확한 콘텐츠나 지침이 인공지능에서 비롯된 경우 그 결과는 훨씬 더 심각할 수 있다. 우선, AI 모델이 인간보다 훨씬 더 쉽게 왜곡될 수 있다. 최근 블룸버그에서 발표한 평가에 따르면 생성형 AI가 사람보다 더 강한 인종적, 성별 편견을 보일 수 있다고 알려졌다. 또한 사람이 다른 출처보다 머신러닝 도구에 더 많은 객관성을 부여할 수 있는 위험도 있다. 정보 출처의 영향을 받는 정도는 정보 출처를 얼마나 지능적이라고 평가하는가와 관련이 있는데, 알고리즘은 종종 모든 인간 지식의 총합을 기반으로 하는 것으로 마케팅되기 때문에 사람들은 AI에 더 많은 권위를 부여하는 경향이 있다. 마투테와 비센테의 연구 결과는 이 같은 생각을 뒷받침하는 것으로 보인다. 자동화에 대한 신뢰도가 높다고 스스로 보고한 참가자들이 가짜 AI의 편견을 모방한 실수를 더 자주 저지르는 경향이 있었다.

또한 인간과 달리 알고리즘은 정확하든 정확하지 않든 모든 결과를 '자신감'을 가지고 전달한다. 인간과의 직접적인 커뮤니케이션에서는 불확실성의 미묘한 단서가 정보를 이해하고 맥락을 파악하는 데 중요하다. 대화 간의 긴 멈춤, 손짓 또는 눈동자의 변화는 상대방이 자기 말에 대해 그다지 긍정적이지 않다는 신호일 수 있다. 기계는 이러한 힌트를 제공하지 않는다. 일부 AI 개발자들이 불확실성 신호를 추가하여 이 문제를 해결하려고 시도하고 있지만, 실제 상황을 대체할 수 있도록 설계하기는 어렵다는 게 전문가들의 중론이다.

모델의 투명성 및 기술에 대한 이해 강화 필요

AI 개발자가 도구가 어떻게 학습되고 구축되는지에 대한 투명성이 부족하기 때문에 AI 편향성을 걸러내기가 더욱 어렵다는 지적도 나온다. 승인된 의료용 AI 도구에서도 투명성이 문제가 되고 있다. 미국 식품의약청(FDA)이 진단용 머신러닝 프로그램을 규제하고 있지만, 데이터 공개에 대한 연방 차원의 통일된 요건은 없는 것이 문제다. 미국 영상의학회는 수년 동안 투명성 강화를 주장해 왔으며 "의사들은 이러한 도구가 어떻게 작동하는지, 어떻게 개발되었는지, 훈련 데이터의 특성, 성능, 사용 방법, 사용 금지 시기, 도구의 한계에 대해 높은 수준에서 이해해야 합니다"라고 영상의학회 웹사이트에 게시된 2021년 기고문에서 밝히고 있다.

그리고 이는 비단 의사들만의 문제가 아닙니다. AI 편견의 영향을 최소화하기 위해서는 모든 사람이 AI 시스템이 어떻게 작동하는지 알고 있어야 한다. 그렇지 않으면 알고리즘의 '블랙박스'가 AI를 더욱 편향된 인간으로 만들고, 인간은 다시 더욱 편향된 알고리즘을 만들어 내는 자멸의 악순환에 빠질 위험이 있기 때문이다. 마투테는 빠져나오기 힘든 악순환이 이미 시작된 것이 아닌지 걱정이 앞선다고 말했다.

---

Humans Absorb Bias from AI—And Keep It after They Stop Using the Algorithm

People may learn from and replicate the skewed perspective of an artificial intelligence algorithm, and they carry this bias beyond their interactions with the AI

Artificial intelligence programs, like the humans who develop and train them, are far from perfect. Whether it’s machine-learning software that analyzes medical images or a generative chatbot, such as ChatGPT, that holds a seemingly organic conversation, algorithm-based technology can make errors and even “hallucinate,” or provide inaccurate information. Perhaps more insidiously, AI can also display biases that get introduced through the massive data troves that these programs are trained on—and that are indetectable to many users. Now new research suggests human users may unconsciously absorb these automated biases.

Past studies have demonstrated that biased AI can harm people in already marginalized groups. Some impacts are subtle, such as speech recognition software’s inability to understand non-American accents, which might inconvenience people using smartphones or voice-operated home assistants. Then there are scarier examples—including health care algorithms that make errors because they’re only trained on a subset of people (such as white people, those of a specific age range or even people with a certain stage of a disease), as well as racially biased police facial recognition software that could increase wrongful arrests of Black people.

Yet solving the problem may not be as simple as retroactively adjusting algorithms. Once an AI model is out there, influencing people with its bias, the damage is, in a sense, already done. That’s because people who interact with these automated systems could be unconsciously incorporating the skew they encounter into their own future decision-making, as suggested by a recent psychology study published in Scientific Reports. Crucially, the study demonstrates that bias introduced to a user by an AI model can persist in a person’s behavior—even after they stop using the AI program.

“We already know that artificial intelligence inherits biases from humans,” says the new study’s senior researcher Helena Matute, an experimental psychologist at the University of Deusto in Spain. For example, when the technology publication Rest of World recently analyzed popular AI image generators, it found that these programs tended toward ethnic and national stereotypes. But Matute seeks to understand AI-human interactions in the other direction. “The question that we are asking in our laboratory is how artificial intelligence can influence human decisions,” she says.

Over the course of three experiments, each involving about 200 unique participants, Matute and her co-researcher, Lucía Vicente of the University of Deusto, simulated a simplified medical diagnostic task: they asked the nonexpert participants to categorize images as indicating the presence or absence of a fictional disease. The images were composed of dots of two different colors, and participants were told that these dot arrays represented tissue samples. According to the task parameters, more dots of one color meant a positive result for the illness, whereas more dots of the other color meant that it was negative.

Throughout the different experiments and trials, Matute and Vicente offered subsets of the participants purposefully skewed suggestions that, if followed, would lead them to classify images incorrectly. The scientists described these suggestions as originating from a “diagnostic assistance system based on an artificial intelligence (AI) algorithm,” they explained in an email. The control group received a series of unlabeled dot images to assess. In contrast, the experimental groups received a series of dot images labeled with “positive” or “negative” assessments from the fake AI. In most instances, the label was correct, but in cases where the number of dots of each color was similar, the researchers introduced intentional skew with incorrect answers. In one experimental group, the AI labels tended toward offering false negatives. In a second experimental group, the slant was reversed toward false positives.

The researchers found that the participants who received the fake AI suggestions went on to incorporate the same bias into their future decisions, even after the guidance was no longer offered. For example, if a participant interacted with the false positive suggestions, they tended to continue to make false positive errors when given new images to assess. This observation held true despite the fact that the control groups demonstrated the task was easy to complete correctly without the AI guidance—and despite 80 percent of participants in one of the experiments noticing that the fictional “AI” made mistakes.

A big caveat is that the study did not involve trained medical professionals or assess any approved diagnostic software, says Joseph Kvedar, a professor of dermatology at Harvard Medical School and editor in chief of npj Digital Medicine. Therefore, Kvedar notes, the study has very limited implications for physicians and the actual AI tools that they use. Keith Dreyer, chief science officer of the American College of Radiology Data Science Institute, agrees and adds that “the premise is not consistent with medical imaging.”

Though not a true medical study, the research offers insight into how people might learn from the biased patterns inadvertently baked into many machine-learning algorithms—and it suggests that AI could influence human behavior for the worse. Ignoring the diagnostic aspect of the fake AI in the study, Kvedar says, the “design of the experiments was almost flawless” from a psychological point of view. Both Dreyer and Kvedar, neither of whom were involved in the study, describe the work as interesting, albeit not surprising.

There’s “real novelty” in the finding that humans might continue to enact an AI’s bias by replicating it beyond the scope of their interactions with a machine-learning model, says Lisa Fazio, an associate professor of psychology and human development at Vanderbilt University, who was not involved in the recent study. To her, it suggests that even time-limited interactions with problematic AI models or AI-generated outputs can have lasting effects.

Consider, for example, the predictive policing software that Santa Cruz, Calif., banned in 2020. Though the city’s police department no longer uses the algorithmic tool to determine where to deploy officers, it’s possible that—after years of use—department officials internalized the software’s likely bias, says Celeste Kidd, an assistant professor of psychology at the University of California, Berkeley, who was also not involved in the new study.

It’s widely understood that people learn bias from human sources of information as well. The consequences when inaccurate content or guidance originate from artificial intelligence could be even more severe, however, Kidd says. She has previously studied and written about the unique ways that AI can shift human beliefs. For one, Kidd points out that AI models can easily become even more skewed than humans are. She cites a recent assessment published by Bloomberg that determined that generative AI may display stronger racial and gender biases than people do.

There’s also the risk that humans might ascribe more objectivity to machine-learning tools than to other sources. “The degree to which you are influenced by an information source is related to how intelligent you assess it to be,” Kidd says. People may attribute more authority to AI, she explains, in part because algorithms are often marketed as drawing on the sum of all human knowledge. The new study seems to back this idea up in a secondary finding: Matute and Vicente noted that that participants who self-reported higher levels of trust in automation tended to make more mistakes that mimicked the fake AI’s bias.

Plus, unlike humans, algorithms deliver all outputs—whether correct or not—with seeming “confidence,” Kidd says. In direct human communication, subtle cues of uncertainty are important for how we understand and contextualize information. A long pause, an “um,” a hand gesture or a shift of the eyes might signal a person isn’t quite positive about what they’re saying. Machines offer no such indicators. “This is a huge problem,” Kidd says. She notes that some AI developers are attempting to retroactively address the issue by adding in uncertainty signals, but it’s difficult to engineer a substitute for the real thing.

Kidd and Matute both claim that a lack of transparency from AI developers on how their tools are trained and built makes it additionally difficult to weed out AI bias. Dreyer agrees, noting that transparency is a problem, even among approved medical AI tools. Though the Food and Drug Administration regulates diagnostic machine-learning programs, there is no uniform federal requirement for data disclosures. The American College of Radiology has been advocating for increased transparency for years and says more work is still necessary. “We need physicians to understand at a high level how these tools work, how they were developed, the characteristics of the training data, how they perform, how they should be used, when they should not be used, and the limitations of the tool,” reads a 2021 article posted on the radiology society’s website.

And it’s not just doctors. In order to minimize the impacts of AI bias, everyone “needs to have a lot more knowledge of how these AI systems work,” Matute says. Otherwise we run the risk of letting algorithmic “black boxes” propel us into a self-defeating cycle in which AI leads to more-biased humans, who in turn create increasingly biased algorithms. “I’m very worried,” Matute adds, “that we are starting a loop, which will be very difficult to get out of.”

전 세계 사람의 하루, 수면과 인간 활동에 가장 많은 시간 소요
환경을 위한 시간 고작 5분, 환경 변화를 위해 더 큰 노력 필요
연구진, 삶의 질을 개선하고 환경에 미치는 영향 최소화 기대해

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

맥길대학교와 스위스 연방 공과대학교 취리히(ETH 취리히) 연구진은 전 세계 26개국 2만 명의 데이터를 분석해 평균적인 '전 세계 사람의 하루'를 추적했다.

연구 결과, 전 세계인의 하루 중 3분의 1 이상이 수면으로 소비됐다. 나머지 시간은 인간, 물리적 세계, 또는 사람들이 어디에서 무엇을 하는지에 따라 연구진이 고안한 세 가지 범주로 나뉘었다. 인간에게 직접 영향을 주는 활동은 식사, 몸단장, 스포츠, 텔레비전 시청, 친구와의 만남, 자녀 돌보기, 학교 가기, 사원, 모스크 또는 교회 참석 등 인간의 몸과 마음을 변화시키는 활동에 집중되었다. 물리적 세계를 변화시키는 활동은 식량 공급, 비식량 공급, 주변 환경 유지, 기술 환경 조성 등으로 구성됐다. 가시적이지 않은 활동은 정부, 군사, 무역, 소매, 법률, 부동산 또는 금융 산업에서 일하는 시간과 인적 이동을 포함했다.

소득에 따른 활동의 차이, 고소득 국가는 음식 생산 시간 감소 및 경험 활동 시간 증가

세계 150개국의 시간 활동 데이터를 분석한 결과, 소득에 따라 활동이 크게 달라지는 것으로 나타났다. 저소득 국가에서는 음식 생산과 수집에 하루 1시간 이상을 소비하지만, 고소득 국가에서는 5분 미만으로 줄어든다. 이는 노동 절약 기술의 발달로 인한 것으로 보인다. 또한, 고소득 국가에서는 경험 활동(수동적, 상호작용적 및 사회적 활동, 식사 및 동적인 여가 활동)에 소비하는 시간이 하루 1.5시간 이상 증가하는 것으로 나타났다.

반면, 음식, 인적 이동, 위생 및 정돈, 식사 등 일부 활동은 소득과 관계없이 일정한 것으로 나타났다. 이러한 활동은 하루 시간의 30%를 차지한다. 특히 인적 수송에 소비하는 시간은 소득과 관계없이 일정한 것으로 나타났는데, 이는 기술 발달에도 불구하고 통근 및 여행 시간이 증가하고 있음을 시사한다.

지구 환경을 직접적으로 변화시키는 시간은 전체 시간의 극히 일부

폐기물 처리에 드는 시간도 하루에 1분 정도로 매우 적은 것으로 나타났다. 연구팀은 해양 플라스틱 축적 및 물 오염과 같은 폐기물 문제는 전체 시간 예산의 비교적 적은 시간 재분배를 통해 크게 완화될 수 있다고 제시했다. "지속 가능한 행동을 위한 시간은 충분하다"라며 "정책과 경제적 인센티브를 통해 시간 할당의 변화를 유도하는 것이 중요하다"라고 강조했다.

또한 연구진은 이 연구가 환경 변화를 이해하는 데 도움이 될 수 있다고 말했다. 에너지를 추출하고 폐기물을 처리하는 등 환경과 기후 변화를 직접적으로 변화시키는 활동에는 하루 평균 약 5분이라는 비교적 적은 시간이 사용된다는 사실이 발견됐다. "우리는 화석 연료 에너지를 끄고 더 많은 재생 에너지를 건설해야 한다"라며 "하루에 단 몇 분만 투자하면 이 문제를 해결할 수 있다"라고 말했다.

일일 평균 시간 활용 기준 마련 및 결측값 해결 방안

세계 인구의 약 60%를 차지하는 58개국의 시간 사용 설문 조사 데이터를 바탕으로 전 세계 인구의 평균 일일 시간 사용을 추정했다. 설문 조사는 국가 통계 기관에서 실시했으며, 설문 참여자가 스스로 기재한 시간 일기, 전화, 대면 인터뷰, 온라인 설문지 또는 이러한 방법의 조합을 통해 수집됐다.

각 활동에 소비되는 평균 일일 시간은 인구 가중 평균을 참여 시간(각 활동에 참여한 사람들만의 평균 시간)과 참여율(활동에 참여하는 모든 응답자의 비율)의 곱으로 계산해서 사용했다. 그 다음 각 설문 조사의 품질은 설문 조사 기간, 자료 수집 방법 및 어휘 길이와 같은 몇 가지 핵심 특징에 따라 평가됐다. 세 가지 품질 수준(A, B 및 C)은 설문 조사에서 보고된 시간 값에 대한 5%, 10% 및 20% 불확실성과 각각 연결된다.

한편 연구에서는 145개 국가에 대한 직접 관측 데이터를 기반으로 전 세계 인구를 평가하였다. 이 중 52개 국가는 시간 활용과 경제 데이터 모두를 보유하고 있었고, 6개 국가는 시간 활용 데이터만을 보유하고 있었으며, 나머지 87개 국가는 경제 데이터만을 보유하고 있었다. 따라서 전 세계 인구를 평가하기 위해 국제노동기구(ILO, International Labor Organization)의 하위 지역을 기반으로 17개 지리적 지역으로 국가를 그룹화하고 각 지역의 결측값을 채웠다. 데이터 유형이 결측된 경우, 동일 지역 표본 국가의 인구 가중 평균을 사용했다.

---

See How Humans around the World Spend the 24 Hours in a Day

A new study calculated the average “global human day,” revealing which activities take up most of our time

Every human on Earth has the same 24 hours to spend in a day—but the way we divide those hours for work and sleep and school and play varies a lot. Scientists recently compiled the available data about how people around the world allocate their time and used them to define the average “global human day.” More than a third of our hours are spent in bed, they found, with the rest split among three categories the researchers devised based on whether the time directly affected humans, the physical world, or where and what people are doing. Activities such as agriculture took up much more time in poorer countries than in wealthier ones, whereas others such as human transportation were fairly constant everywhere. Ultimately the study found that relatively little time—about five minutes per average human day—goes to activities that directly alter the environment and climate change, such as extracting energy and dealing with waste, suggesting an opportunity to put in more time to help the planet. “We have to switch off fossil-fuel energy and construct more renewables,” says study co-author Eric Galbraith of McGill University. “If it turned out that the changes we want to make required huge allocations of time to activities we're not doing now, then it would be impossible. But we can tackle this with just a couple of minutes per day. I think that's hopeful.”

네이처지, "사람처럼 일반화할 수 있도록 돕는 새로운 훈련 방법 개발"
합성성을 위한 메타 러닝 접근법, 체계적인 학습 방법이 중요해
한계에도 불구하고 인간과 인공 지능의 학습 과정 이해 실마리 제공

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

사람들은 새로운 개념을 학습하고 기존 개념과 체계적으로 결합하는 데 능숙하다. 예를 들어 아이가 '건너뛰기'를 배우면, '뒤로 건너뛰기' 또는 '허들을 두 번 건너뛰는' 방법을 이해하는 데 큰 어려움이 없다. 많은 사전 지식이 필요한 작업도 아니다.

사람처럼 추론할 수 있는 유연한 머신러닝 모델을 개발하기 위한 핵심은 많은 양의 학습 데이터가 아니라, 새로운 학습 방법이라는 연구 결과가 나왔다. 이러한 연구 결과는 더 나은 인공 지능 모델을 향한 큰 진전이 될 수 있으며, 인공 지능 시스템과 인간이 학습하는 방법의 비밀을 밝히는 데 도움이 될 수 있을 것이라는 기대를 받고 있다.

인간의 일반화 능력, "양보다 체계적인 학습 방법이 더 중요해"

인간은 조합의 달인이다. 사람들이 음식 재료와 같은 일련의 구성 요소 간의 관계를 이해하면 다양한 종류의 맛있는 레시피로 조합할 수 있게 된다. 이는 흔히 인간 인지의 핵심 원리로 여겨지는 '합성성'(compositionality) 또는 '체계적 일반화'(systematic generalization)에서 비롯된 응용력이다. 머신러닝 개발자들은 수십 년 동안 AI 시스템이 합성성을 가질 수 있다는 것을 증명하기 위해 고군분투해 왔다. 하지만 신경망으로는 해당 수준에 도달할 수 없다는 게 전문가들의 중론이었다. 오늘날의 생성형 AI 모델은 합성성을 모방하여 인간과 유사한 응답을 생성할 수 있는 수준이며, OpenAI의 GPT-3 및 GPT-4를 포함한 가장 진보된 모델조차도 여전히 사람과 같은 일반화 능력엔 미치지 못하는 수준이다.

그러나 25일(현지 시간) 네이처에 발표된 연구에 따르면 인간이 정보를 해석하는 방식으로 AI 모델의 능력을 향상할 수 있다고 한다. 아울러 연구자들은 기존 모델의 아키텍처(트랜스포머)를 근본적으로 바꿀 필요가 없다고 덧붙였다. 이 연구의 수석 저자이자 뉴욕대학교의 컴퓨터 인지 과학자인 브렌든 레이크(Brenden Lake)는 아키텍처를 바꾸기보다 학습 데이터 자체에 메타 러닝 메커니즘을 도입했다고 밝혔다. 고정된 학습 데이터가 아니라 일련의 과제를 동적으로 부여하면서 학습을 안내하는 합성성 접근법(MLC, Meta-learning for Compositionality)을 개발했다. 연구진은 표준 트랜스포머 모델, 즉 ChatGPT와 Google의 Bard를 지원하는 것과 같은 종류의 모델에서 그 효과를 입증하였기에 적용성도 높아 보인다.

단순 모방을 벗어나 진정한 추론에 한 발 다가선 AI

추론 과제에 활용된 언어는 'dax', 'lug', 'kiki', 'fep', 'blicket'과 같은 난센스 단어로 구성되었으며, 이 단어들은 다양한 색상의 점들로 '번역'되었다. 이렇게 발명된 단어 중 일부는 특정 색상의 점을 직접적으로 나타내는 상징적인 용어였고, 다른 일부는 점 출력의 순서나 개수를 변경하는 함수를 의미하기도 했다. 예를 들어 dax는 단순히 빨간색 점을 나타내지만, fep는 dax 또는 다른 기호 단어와 함께 사용하면 해당 점 출력에 3을 곱하는 함수였다. 따라서 'dax fep'는 세 개의 빨간색 점으로 해석된다. 합성 함수의 형태로 확장하는 것도 가능하다. 그러나 모델 학습에는 이러한 정보가 전혀 포함되지 않았으며, 연구진은 해당 점 세트와 짝을 이루는 난센스 문장의 예시 몇 개만 모델에 제공했다.

그런 다음 새로운 문구를 입력하여 자체적으로 일련의 점을 생성한 결괏값이 언어에 내재한 규칙을 올바르게 따랐는지에 따라 등급을 매겼다. 언어의 규칙을 '이해'하고 훈련되지 않은 문구에 적용 할 수 있는 응용력 덕분에 MLC 기반 모델은 25명의 인간 참가자와 GPT-4보다 더 좋은 성적을 거뒀다. 더 나아가 연구진이 인간의 귀납적 편향¹이 들어 있는 행동 예시를 입력하는 실험도 진행했다. MLC 기반 모델은 인간의 추론을 모방하기 시작하여 같은 실수를 저지르기 시작했다. 예를 들어 인간 참가자들은 특정 단어와 점 사이에 일대일 관계가 있다고 가정하는 오류를 자주 범했는데, 실제로는 많은 구문이 그러한 패턴을 따르지 않았지만 모델은 빠르게 편향을 학습하고 사람과 같은 빈도로 오류를 범했다. 인간의 행동이 항상 합리적이지 않다는 미묘한 면마저도 학습할 수 있기에 앞으로 인간의 인지 및 의식을 탐구하는 연구에서 그 활용처가 넓어 보인다.

아직 풀어야 할 과제 남아

하지만 현재로서는 아직 몇 가지 큰 한계점이 남아 있다. 연습 되지 않은 형태의 일반화는 자동으로 처리하지 못한다. 임의의 언어 패턴을 학습하는 한 가지 유형의 작업에서 완전히 새로운 과제를 줬을 때는 같은 기술을 적용할 수 없었다. 이는 벤치마크 테스트에서 MLC 모델이 더 긴 시퀀스를 관리하지 못하고 이전에 도입되지 않은 새로운 단어를 파악하지 못하는 모습에서 확인할 수 있는 단점이었다.

연구진은 머신러닝 연구에서 메타 학습 전략이 유효해지려면 일반화한 결과의 분포가 학습 때의 분포와 같아야 하는데 메타 학습만으론 분포 밖에 있는 에피소드를 해결하기 어려우며, 새로 접한 단어 혹은 상징을 방출시키는 기능도 현재 아키텍처에는 없다고 전했다. 마지막으로 MLC는 자연어의 전체 복잡성과 다른 분야(예: 비전)에 대해 검증되지 않았기 때문에, 모든 측면에서 연습 경험을 통해 인간과 같은 체계성을 갖출 수 있는지는 아직 미지수다.

---

The key to developing flexible machine-learning models that are capable of reasoning like people do may not be feeding them oodles of training data. Instead, a new study suggests, it might come down to how they are trained. These findings could be a big step toward better, less error-prone artificial intelligence models and could help illuminate the secrets of how AI systems—and humans—learn.

Humans are master remixers. When people understand the relationships among a set of components, such as food ingredients, we can combine them into all sorts of delicious recipes. With language, we can decipher sentences we’ve never encountered before and compose complex, original responses because we grasp the underlying meanings of words and the rules of grammar. In technical terms, these two examples are evidence of “compositionality,” or “systematic generalization”—often viewed as a key principle of human cognition. “I think that is the most important definition of intelligence,” says Paul Smolensky, a cognitive scientist at Johns Hopkins University. “You can go from knowing about the parts to dealing with the whole.”

True compositionality may be central to the human mind, but machine-learning developers have struggled for decades to prove that AI systems can achieve it. A 35-year-old argument made by the late philosophers and cognitive scientists Jerry Fodor and Zenon Pylyshyn posits that the principle may be out of reach for standard neural networks. Today’s generative AI models can mimic compositionality, producing humanlike responses to written prompts. Yet even the most advanced models, including OpenAI’s GPT-3 and GPT-4, still fall short of some benchmarks of this ability. For instance, if you ask ChatGPT a question, it might initially provide the correct answer. If you continue to send it follow-up queries, however, it might fail to stay on topic or begin contradicting itself. This suggests that although the models can regurgitate information from their training data, they don’t truly grasp the meaning and intention behind the sentences they produce.

But a novel training protocol that is focused on shaping how neural networks learn can boost an AI model’s ability to interpret information the way humans do, according to a study published on Wednesday in Nature. The findings suggest that a certain approach to AI education might create compositional machine learning models that can generalize just as well as people—at least in some instances.

“This research breaks important ground,” says Smolensky, who was not involved in the study. “It accomplishes something that we have wanted to accomplish and have not previously succeeded in.”

To train a system that seems capable of recombining components and understanding the meaning of novel, complex expressions, researchers did not have to build an AI from scratch. “We didn’t need to fundamentally change the architecture,” says Brenden Lake, lead author of the study and a computational cognitive scientist at New York University. “We just had to give it practice.” The researchers started with a standard transformer model—a model that was the same sort of AI scaffolding that supports ChatGPT and Google’s Bard but lacked any prior text training. They ran that basic neural network through a specially designed set of tasks meant to teach the program how to interpret a made-up language.

The language consisted of nonsense words (such as “dax,” “lug,” “kiki,” “fep” and “blicket”) that “translated” into sets of colorful dots. Some of these invented words were symbolic terms that directly represented dots of a certain color, while others signified functions that changed the order or number of dot outputs. For instance, dax represented a simple red dot, but fep was a function that, when paired with dax or any other symbolic word, multiplied its corresponding dot output by three. So “dax fep” would translate into three red dots. The AI training included none of that information, however: the researchers just fed the model a handful of examples of nonsense sentences paired with the corresponding sets of dots.

From there, the study authors prompted the model to produce its own series of dots in response to new phrases, and they graded the AI on whether it had correctly followed the language’s implied rules. Soon the neural network was able to respond coherently, following the logic of the nonsense language, even when introduced to new configurations of words. This suggests it could “understand” the made-up rules of the language and apply them to phrases it hadn’t been trained on.

Additionally, the researchers tested their trained AI model’s understanding of the made-up language against 25 human participants. They found that, at its best, their optimized neural network responded 100 percent accurately, while human answers were correct about 81 percent of the time. (When the team fed GPT-4 the training prompts for the language and then asked it the test questions, the large language model was only 58 percent accurate.) Given additional training, the researchers’ standard transformer model started to mimic human reasoning so well that it made the same mistakes: For instance, human participants often erred by assuming there was a one-to-one relationship between specific words and dots, even though many of the phrases didn’t follow that pattern. When the model was fed examples of this behavior, it quickly began to replicate it and made the error with the same frequency as humans did.

The model’s performance is particularly remarkable, given its small size. “This is not a large language model trained on the whole Internet; this is a relatively small transformer trained for these tasks,” says Armando Solar-Lezama, a computer scientist at the Massachusetts Institute of Technology, who was not involved in the new study. “It was interesting to see that nevertheless it’s able to exhibit these kinds of generalizations.” The finding implies that instead of just shoving ever more training data into machine-learning models, a complementary strategy might be to offer AI algorithms the equivalent of a focused linguistics or algebra class.

Solar-Lezama says this training method could theoretically provide an alternate path to better AI. “Once you’ve fed a model the whole Internet, there’s no second Internet to feed it to further improve. So I think strategies that force models to reason better, even in synthetic tasks, could have an impact going forward,” he says—with the caveat that there could be challenges to scaling up the new training protocol. Simultaneously, Solar-Lezama believes such studies of smaller models help us better understand the “black box” of neural networks and could shed light on the so-called emergent abilities of larger AI systems.

Smolensky adds that this study, along with similar work in the future, might also boost humans’ understanding of our own mind. That could help us design systems that minimize our species’ error-prone tendencies.

In the present, however, these benefits remain hypothetical—and there are a couple of big limitations. “Despite its successes, their algorithm doesn’t solve every challenge raised,” says Ruslan Salakhutdinov, a computer scientist at Carnegie Mellon University, who was not involved in the study. “It doesn’t automatically handle unpracticed forms of generalization.” In other words, the training protocol helped the model excel in one type of task: learning the patterns in a fake language. But given a whole new task, it couldn’t apply the same skill. This was evident in benchmark tests, where the model failed to manage longer sequences and couldn’t grasp previously unintroduced “words.”

And crucially, every expert Scientific American spoke with noted that a neural network capable of limited generalization is very different from the holy grail of artificial general intelligence, wherein computer models surpass human capacity in most tasks. You could argue that “it’s a very, very, very small step in that direction,” Solar-Lezama says. “But we’re not talking about an AI acquiring capabilities by itself.”

From limited interactions with AI chatbots, which can present an illusion of hypercompetency, and abundant circulating hype, many people may have inflated ideas of neural networks’ powers. “Some people might find it surprising that these kinds of linguistic generalization tasks are really hard for systems like GPT-4 to do out of the box,” Solar-Lezama says. The new study’s findings, though exciting, could inadvertently serve as a reality check. “It’s really important to keep track of what these systems are capable of doing,” he says, “but also of what they can’t.”

NFT로 자연스럽게 이어진 프로젝트
상업성과 작품성 모두 지킨 비결은
노골적인 소유 자극 아닌 비전의 설득력

[해외DS] AI와 인간의 예술 콜라보, 관객 참여᛫몰입 강화한다 (2)에서 이어집니다.

---

박물관 경험의 재정의

Living Architecture: Casa Batlló는 가우디의 기발한 미학, 1,000개 이상의 디지털 프로젝션, 21개의 오디오 채널, 바이노럴 사운드, 향기를 갖춘 역동적인 다중 감각 공간을 표현하는 데 사용된 기술은 박물관 경험을 재정의하고 전 세계 모든 나이와 배경의 관객을 끌어모으고 있다.

이어서 같은 가우디 아카이브에서 두 번째 아트워크를 제작했는데, 이 아트워크는 실제 공간과 메타버스에서 모두 NFT(대체 불가능한 토큰)로 경험하고 기념할 수 있는 작품이다. NFT 아트워크는 복제할 수 없는 디지털 아트로서 고유한 가치를 지니고 있다. RAS는 리빙 아키텍처에서 가우디의 건물과 그 기억을 근본적으로 해석하여 역동적인 NFT로 표현된 최초의 유네스코 세계 문화유산으로 등재됐다.

건물의 상징적인 정면 외벽을 캔버스로 삼아 알고리즘으로 생성된 동적 추상화를 선보였다. 이 디지털 작품은 뉴욕 맨해튼의 록펠러 플라자에서도 전시되었습니다. 작품의 시각적, 물리적 효과를 증폭시키기 위해 전시회의 사전 판매를 위한 맞춤형 향기와 오디오 사운드트랙을 제작하여 작품이 도시 환경에 어우러지도록 보완했다.

이 작품은 2022년 5월 10일 크리스티의 21세기 이브닝 세일에서 138만 달러에 판매되었고, 수익금의 10%를 신경장애 성인 및 아동과 함께 일하는 기관에 기부했다. 리빙 아키텍처는 머신러닝 도구와 블록체인 기술을 활용한 실험이 얼마나 발전했는지 보여주는 사례로, 바르셀로나에 센서를 설치하여 실시간 환경 데이터를 수집함으로써 도시의 날씨와 파사드에 투사된 예술 작품에 따라 NFT 작품이 변화하는 모습을 구현했다.

디지털 아트의 본질은 대량 유통이 아닌 '질 좋은 메시지' 전달

고객 참여를 지속적인 정서적 연결로 정의할 수 있다. 카사 바트요 프로젝트는 바로 이러한 연결을 제공했으며, NFT 예술 작품의 판매로 그 정점을 찍었다. 카사 바트요의 디렉터인 게리 고티(Gary Gautier)에는 "이 랜드마크는 바르셀로나, 뉴욕, 메타버스, 수천 개의 주택에서 실시간으로 시청할 수 있었던 전례 없는 시청각 쇼 덕분에 전 세계에 알려졌습니다. 이를 지켜본 사람들은 세계 문화유산과 레픽 아나돌의 디지털 아트워크가 결합한 미술사에 길이 남을 특별한 순간을 지켜보았습니다."라고 강조했다.

NFT 프로젝트는 다양한 감각적 참여 채널을 통해 다양한 청중에게 다가가고자 하는 RAS의 비전을 완벽하게 반영했다. 기계와 인간 간의 이러한 의미 있는 협업이 미적 표현뿐만 아니라 정신적 세계와 가상 세계 모두에서 다양한 형태의 심리적 성취감과 권한을 부여하는 데 사용될 수 있는 생산적인 실험으로 RAS 내부에선 평가하고 있다고 전했다.

이렇듯 NFT 시장을 향한 레픽 아나돌 스튜디오의 접근에서 조심성과 깊은 고민 그리고 비전의 일관성이 돋보인다. 한국에서 최근 몇년 간 뜨거웠던 '메타버스'와 'NFT' 키워드는 금세 사그라들었다. RAS의 성공 사례가 한국의 디지털 아트 시장에 시사하는 바가 분명히 있다. 예술 분야에서 NFT의 본질은 소유욕을 자극하기 위한 비즈니스 수단이 아니라 의미 있는 스토리와 관객의 몰입과 참여다. 'MZ 세대'가 메타버스와 NFT의 '큰손'이었다고 한다. 식상하고 기발함이 없으면 금세 질려하는 고객들이기에 작품성과 예술성에 뿌리를 두지 않은 시장에 관심이 사라졌을 것이다.

RAS의 프로젝트 주제를 가만히 들여다보면 의도했든 의도하지 않았든 사람들이 가장 쉽게 그리고 깊이 공감할 수 있는 공통 재료가 문화유산이란 점을 잘 파악한 듯하다. 한국은 아카이브의 천국이다. 이 둘을 멋지게 이어주는 아트 프로젝트가 꽃피우면 그 파급 효과는 무궁무진할 것이다. 스토리와 명분이 명확하고 현대 사회에 질문 던지며 관객의 공감을 자아낼 수 있는 작품을 많은 이들이 타는 목마름으로 기다리고 있다.

---

Redefining the museum experience for visitors
For Living Architecture: Casa Batlló, we synthesized the vast data from Gaudí archives into ethereal data pigments and eventually into fluid-inspired movements. In the Mind of Gaudí was part of Casa Batlló’s monumental re-opening after the pandemic, a series of immersive and interactive tours that created new connections between the masterpiece and its visitors.

The installation used a 360-degree art experience in the LED cube, billed as the world’s first 10D experience, to offer unprecedented insight into the Catalan architect’s mind, using the world’s largest digital Gaudí library. The technology that we used to represent Gaudí’s eccentric aesthetic, a dynamic multi-sensory space with more than 1,000 digital projections, 21 audio channels, binaural sound, and scent, redefining the museum experience and attracting audiences from around the globe and from all ages and backgrounds.

We went on to build a second artwork from the same Gaudí archive, one that can be experienced and celebrated both physically and in the metaverse as an NFT (non-fungible token). NFT artwork is digital art that can’t be duplicated, and therefore has value as a unique item. In Living Architecture, RAS radically interpreted Gaudí’s building and its memories, making it the first UNESCO World Heritage Site to be represented in a dynamic NFT.

Using the building’s iconic façade as a canvas, we displayed an algorithmically generated, dynamic abstraction. The digital piece was also shown at Rockefeller Plaza in Manhattan, New York. To amplify the visual and physical impact of the work, we created a custom scent and audio soundtrack for the pre-sale of the exhibition which complemented the urban environment.

The work was sold at Christie’s 21st Century Evening Sale on May 10, 2022 for $1.38 million. We donated 10% of the proceeds to institutions that work with neurodiverse adults and children. Three days prior, we had projected a mapping version of the piece on the facade of Casa Batlló before 47,000 people. Living Architecture embodied how advanced our experimentation with machine learning tools and blockchain technology have become; we used sensors in Barcelona that collect real-time environmental data which caused the NFT piece to change along with the city’s weather and the art projected on the façade.

An ongoing experiential artwork
Technologist and startup CEO Sagi Eliyahu defines customer engagement as an ongoing emotional relationship that can best be described as the sum of multiple moments or the customer’s overall emotional connection that results from the totality of the experience. The Casa Battló project offered exactly this connection, culminating in the final sale of the NFT artwork. As Gary Gautier, Casa Batlló’s director, put it, “The landmark was seen around the globe thanks to an unprecedented audiovisual show that was watched from Barcelona, New York, the metaverse, and thousands of houses, live. Those who had the chance to watch it, we watched a unique moment in the art history: bringing together a World Heritage site and the digital artwork from Refik Anadol.”

The ultimate NFT project perfectly reflected RAS’s vision of reaching a diverse audience through multiple channels of sensory engagement. We see such meaningful collaborations between machine and human not only as aesthetic representations but also as productive experiments that can be used to create multiple forms of psychological fulfillment and empowerment in both the psychical and virtual world.

The NFT sale allowed us to contribute to a worthy cause, raising further awareness of such work as the meaningful merging of science, technology, and the arts to address global issues. It also demonstrated the potential of metaverse architectures to reaching a broader audience through decentralized creativity, as well as the innovative use of blockchain currencies, to raise funds for charities, providing tangible solutions to diverse global problems.

LA 필하모닉의 100년으로 장식한 디즈니 콘서트홀
데이터를 분류하고 맥락화 하는 데이터 유니버스 구축
ADA 기술로 '암기'에서 '응용'으로 진화한 AI

[해외DS] AI와 인간의 예술 콜라보, 관객 참여᛫몰입 강화한다 (1)에서 이어집니다.

---

건축의 '의식'

레픽 아나돌 스튜디오(RAS)의 또 다른 전환점은 2018/19년 100주년 시즌을 기념하기 위해 로스앤젤레스 필하모닉(LA Phil)과 협업한 '월트 디즈니 콘서트홀 드림'(WDCH 드림)이다.

이 프로젝트를 위해 RAS는 오케스트라의 디지털 아카이브(16,471회 공연에서 40,000시간 분량의 오디오가 포함된 45테라바이트의 데이터)를 처리하기 위한 고유한 소프트웨어를 개발했다. AI는 문서를 수백만 개의 데이터 포인트로 파싱한 다음, 수백 개의 속성별로 분류했다. LA 필하모닉의 기억을 기록하고 이들 사이에 새로운 연결을 생성할 수 있는 일종의 '데이터 유니버스'를 만든 것이다.

항해를 콘셉트로 지어진 디즈니 콘서트홀의 곡선형 외벽에 투사되어 디지털 바다처럼 밀려오는 흰색 파도 블록들은 한 세기 동안 필하모닉이 관객들과 쌓은 음악적 위로와 또 다른 모험을 준비하는 설렘을 나타냈다. 현장을 찾은 관객들은 건물과 함께 파도 위에서 춤을 추고 새로운 추억을 남겼다. 이 작품은 필하모닉의 전체 디지털 아카이브를 건물의 비정형적인 곡면처럼 저마다의 리듬으로 관객을 설득했다. WDCH의 디자이너 건축가 프랭크 게리는 "훌륭한 연극에서 관객은 무대를 초월해 연극 속으로 빠져들고, 배우들도 연극에 빠져 관객을 느끼는 것처럼 건축가도 공간을 디자인할 때 그런 점을 고려한다"라고 얘기했었다. 아나돌은 진정으로 건축의 의식을 일깨웠다고 할 수 있다.

2022년 봄에 RAS는 또다시 필라델피아 오케스트라와 협력하여 '베토벤: 장엄미사 2.0'이라는 제목의 프로젝트를 진행했다. 이번 예술 작품은 "인공지능을 사용하여 베토벤의 상상을 재구성해 보는 것은 어떨까?"라는 질문에서 시작됐다. 이러한 동기를 가지고 RAS 팀은 베토벤이 생전에 유럽에서 마주쳤을 법한 건물 이미지 1,200만 장의 데이터 세트를 수집하기 시작했다. 그런 다음 이 아카이브를 사용하여 인공 건축 이미지의 새로운 데이터 유니버스를 생성하는 맞춤형 알고리즘을 개발하여 최종 아트워크로 큐레이팅했다. 유체 역학 알고리즘을 사용하여 흐르는 물과 유사한 애니메이션 효과로 현장의 공연에 실시간으로 반응하여 베토벤에게 영감을 주었을 르네상스의 예술을 재탄생시켰다.

학제 간 및 국제적 협업의 초기 작품들은 RAS의 몰입형 예술 작품이 전 세계적으로 점차 확장될 수 있는 기반을 마련했다. 2015년에 개발된 작품인 '인피니티 룸'은 무한한 공간과 기계 지능의 무한한 순열을 결합하여 빛, 소리, 향기 및 기술을 사용하여 지각의 전환을 제공하는 360도 미러링 된 방으로 관람객을 매료시켰다. 2015년 이스탄불 비엔날레와 협업하여 처음 선보인 인피니티 룸은 전 세계를 순회했고 현재 200만 명 이상의 사람들이 인피니티 룸을 경험했다.

2021년에는 빅토리아 국립미술관에서 건축, 머신러닝, 확률의 미학이 교차하는 스튜디오의 장대한 규모의 연구 결과물인 '퀀텀 메모리즈'를 역대 최대 규모의 LED 스크린으로 전시했다. 이 전시회는 170만 명의 관람객을 맞이했으며, 이는 호주에서 디지털 예술 작품을 경험한 관객 중 최대 규모다. '기계 환각: 자연의 꿈'은 베를린 코닉 갤러리에서 자연을 주제로 AI 모델을 학습했고 5주 동안 20만 명의 관람객이 방문했으며, 이는 유럽 갤러리 중 가장 많은 관객이 방문한 전시회로 기록됐다. '기계 환각: 우주'는 2018년부터 시작된 NASA의 제트추진연구소와의 협업의 결과물이다. 이 작품은 3주 동안 9만 명의 관람객이 방문하여 홍콩에서 열린 예술 작품 중 역대 최대 관객 수를 기록했다.

다양한 관객 참여 유도

2021년 봄, RAS는 바르셀로나의 상징적인 1906년 가우디 건축물인 카사 바트요를 통해 예술 작품이 다양하고 역동적인 가상 형태로 존재하면서도 물리적 세계와의 강력한 연결성이 있음을 보여줬다. '리빙 아키텍처'는 RAS가 카사 바트요 지하에 있는 6개의 스크린이 설치된 LED 큐브 룸에서 '인 더 마인드 오브 가우디'를 제작하는 의뢰를 받으면서 시작됐다.

360도 경험을 위해 RAS는 가우디의 스케치, 건물의 역사에 대한 시각적 아카이브, 학술 아카이브, 다양한 인터넷 및 소셜 미디어 플랫폼에서 찾은 카사 바트요의 공개 사진으로 구성된 약 10억 개의 이미지를 수집했다. 머신러닝 모델을 통해 이미지를 주제별 카테고리로 분류하고 맞춤형 소프트웨어와 유체 시뮬레이션 모델을 사용하여 이미지를 동적으로 만든 다음, 가우디에서 영감을 받아 기계가 생성하고 사람이 큐레이팅한 데이터 유니버스를 AI 데이터 조각품으로 변환했다. 데이터의 하위 집합을 사용하여 AI 모델을 학습시키고, 알고리즘을 통해 기계가 새로운 미적 이미지와 색상 조합을 상상하도록 설계했다. 데이터 유니버스의 맥락을 잘 반영하기 위해 이미지를 주제별 카테고리로 클러스터링했다.

이렇게 확장된 데이터 유니버스는 단순히 데이터를 보간하여 합성한 것이 아니라, 인공지능의 창의성과 예술적인 잠재력의 원천이다. 이를 위해 NVIDIA의 Style-GAN2 적응형 판별자 증강(Adaptive Discriminator Augmentation, ADA)을 사용하여 기계가 아카이브를 단순히 모방하는 수준을 넘어 재창조를 할 수 있게 모델을 만들었다. ADA는 훈련용 이미지의 개수를 10~20배까지 줄이면서도 성능을 유지할 수 있는 장점이 있다. 이미지 수가 적으면 보통 과적합 문제가 발생한다. 판별자가 훈련 이미지를 단순히 암기하고 생성기에 유용한 피드백을 제공하지 못하기 때문이다. 이미지 분류 작업에서 연구자들은 회전, 자르기, 뒤집기 등의 과정을 통해 무작위로 왜곡된 이미지를 사용하여 더 작은 데이터 세트를 확장함으로써 모델이 더 잘 일반화되도록 데이터를 증강했다.

하지만 그 결과 상식적인 합성 이미지를 생성하는 대신 훈련을 위해 사용된 왜곡 자체를 모방하는 생성기가 만들어졌다. NVIDIA의 ADA는 데이터 증강을 '적응형'으로 적용하여 과적합을 피하기 위해 훈련 과정의 여러 지점에서 데이터 증강의 양을 조정했다. 이를 통해 연구자들은 예제가 너무 부족하거나 구하기 어렵거나 대규모 데이터 세트로 수집하는 데 시간이 너무 많이 걸리는 이전에는 비실용적이었던 애플리케이션에 GAN을 적용할 수 있게 됐다. 희귀한 예술 작품에 ADA가 포함된 StyleGAN2를 적용할 수 있기 때문에 다양한 전시회에서 활용하고 있다.

다음 단계는 데이터 색채 화다. 다양한 소스의 시각적 요소를 단일 이미지로 결합해서 시각적 요소에 고유한 역동성을 부여하기 위해 10년 이상 맞춤형 소프트웨어와 유체 시뮬레이션 모델을 실험해 왔다고 전했다. 유체 시뮬레이션을 사용하면 컴퓨터가 유체의 시각적 특성과 동작을 에뮬레이션하고 생성할 수 있게 된다. 이는 RAS의 시그니처 시각 효과 중 하나다. 실시간 및 인터랙티브 애니메이션을 비롯한 다양한 수준의 복잡한 작업에 활용되었다.

[해외DS] AI와 인간의 예술 콜라보, 관객 참여᛫몰입 강화한다 (3)에서 이어집니다.

---

Architectural ‘consciousness’
Another turning point in the studio’s visualizations of institutional archives was Walt Disney Concert Hall Dreams (WDCH Dreams), a collaboration with the Los Angeles Philharmonic (LA Phil) to celebrate its 2018/19 centennial season.

For this project, RAS developed a unique software to process the orchestra’s digital archives – 45 terabytes of data containing 40,000 hours of audio from 16,471 performances. The AI parsed the files into millions of data points that it then categorized by hundreds of attributes using deep neural networks with the capacity to both record the totality of the LA Phil’s memories and create new connections between them.

This ‘data universe’ generated something new in image and sound by awakening the metaphorical consciousness of Walt Disney Concert Hall. The visual art was projected onto the building’s curved exterior walls, a swirl of moving images ranging from a rainfall of data, to musicians playing, to waves of white blocks surging like a digital ocean, and other abstract imagery. The result was a radical visualization of the LA Phil’s first century and an exploration of the synergies between art and technology, architecture, and institutional memory. The work presented the philharmonic’s entire digital archives in a non-linear way. It also featured an interactive companion installation in a U-shaped room in which two-channel projection provided multiple experiences for visitors.

RAS also collaborated with the Philadelphia Orchestra in the Spring of 2022 on a project titled Beethoven: Missa Solemnis 2.0. In Verizon Hall, a new AI-based artwork unfolded for an audience as they listened to the composer’s 1823 masterwork. The research question for this unique artwork’s dataset was: “Why not use artificial intelligence to try to reconstruct the reality of what Beethoven could imagine?” With this motivation, the RAS team started compiling a dataset of 12 million images of buildings that Beethoven could have encountered in Europe during his life. We then used this archive to train a custom algorithm that generated a new data universe of artificial architectural images for us to curate into the final artwork.

The dynamic visual artwork, consisting of the machine’s hallucinations of alternative European architectures, alluded to religious spaces and iconography, generating the feel of a virtual cathedral for the performance of this sacred music piece. We created another software tool that allowed the AI to listen to the orchestra performing Beethoven, simultaneously generating and projecting its dreams for the audience. This addition further manifested the vision of the borderless-ness of art that the studio espoused with the WDCH Dreams project.

These early works of interdisciplinary and international collaboration paved the way for the global impact of RAS’ immersive artworks to gradually expand. Infinity Room, an artwork developed in 2015, combines the boundlessness of space with the endless permutations of machine intelligence, inviting visitors to step into a 360-degree mirrored room that uses light, sound, scent, and technology to offer a seismic perception shift.

Originally presented in collaboration with the 2015 Istanbul Biennial, Infinity Room began traveling the world. More than two million people have now experienced it. In 2021, the National Gallery of Victoria exhibited Quantum Memories, the studio’s epic scale investigation of the intersection of architecture, machine learning, and the aesthetics of probability on the largest LED screen it had ever used. The exhibit has welcomed 1.7 million visitors, the largest audience to experience a digital artwork in Australia.

Machine Hallucinations: Nature Dreams, a solo exhibit of AI data sculptures and paintings based on nature-themed datasets in Berlin’s Koenig Gallery, drew 200,000 visitors in five weeks, the largest audience to visit a gallery in Europe. Machine Hallucinations: Space was the product of our collaboration with NASA’s Jet Propulsion Laboratory, beginning in 2018. It is an immersive art piece rooted in publicly available photographs of space taken by satellites and spacecraft. Ninety thousand visitors in three weeks gave it the largest audience ever to view an artwork in Hong Kong.

Engaging a diverse audience
RAS’s broad experience of creating such large-scale, immersive, multi-sensory installations around the world motivated the team to take these ideas to the metaverse. In the spring of 2021, RAS had the opportunity to explore its potential for creative production with a collaborative artwork centered around Barcelona’s iconic 1906 Gaudí building, Casa Batlló.

We created Living Architecture as an example of how an artwork could engage a diverse audience by existing in multiple and dynamic virtual forms while still exhibiting a strong connection to the physical world. This long-term project began when RAS was commissioned to create In the Mind of Gaudí, an AI-based immersive experience presented in an LED cube room, lined with six screens, in the basement Casa Batlló.

For this initial 360-degree experience, RAS collected approximately one billion images consisting of Gaudí’s sketches, visual archives of the building’s history, academic archives, and publicly available photos of Casa Batlló found on various internet and social media platforms. We processed them with machine learning classification models, which sorted images into thematic categories.

With the help of our custom-generated software and fluid simulation models, making the images dynamic, we then transformed this data universe, inspired by Gaudí, generated by machine, and curated by humans, into an AI data sculpture. We used subsets of the data to train an AI model, causing the machine to hallucinate new aesthetic images and color combinations through algorithmic connections. We then clustered the images into thematic categories to better understand the semantic context of the data universe.

This expanding data universe was not just the interpolation of data as synthesis, but a latent cosmos in which the hallucinations of the AI was the main creative and artistic currency. To capture these hallucinations, we used NVIDIA’s Style-GAN2 adaptive discriminator augmentation to generate an AI model through which the machine could process the archive. The model was trained on subsets of the sorted images, creating embeddings in 1024 dimensions.

The next stage is the data pigmentation. We combined visual elements from a range of sources into single images. For more than 10 years, we have been experimenting with custom software and fluid simulation models to give these visuals a unique dynamism. Fluid simulation allows a computer to emulate and generate the visual qualities and behavior of a fluid. It is one of our studio’s signature visual effects in data visualizations. We have used it at various levels of complexity including real-time and interactive animation.

랜드마크를 캔버스 삼는 레픽 아나돌과 그의 스튜디오
인공지능과 함께 보고 듣고 상상해
'아카이브 드리밍' 통해 기억과 기억을 잇다

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

물감 대신 데이터, 붓 대신 알고리즘을 사용한 몽환적인 작품 세계

로스앤젤레스의 레픽 아나돌 스튜디오(RAS)는 번화한 도심을 촬영한 수백만 장의 사진부터 전 세계 빙하를 촬영한 종합적인 이미지와 비디오 데이터에 이르기까지 인간의 경험을 다양한 방식으로 표현하는 데이터를 활용하여 AI 기반 예술 제작을 실험해 왔다. 우리를 둘러싼 데이터를 주요 재료로 삼고 컴퓨터의 신경망을 협력자로 삼아 각 전시 현장의 고유한 생기를 표현하는 몰입형 환경을 조성하는 것이 RAS만의 특징이다.

기계가 개인과 집단의 기억을 학습하거나 처리할 수 있다면, 꿈을 꾸거나 상상할 수 있을까? 디지털 페인팅과 조각 기법을 실험하고 공공장소에서 데이터 기반 몰입형 프로젝션을 전시하면서 RAS는 시각, 청각, 지리, 문화, 제도 등 다양한 데이터를 사용하여 AI 프로그램과 머신러닝 알고리즘을 개발하기 시작했다.

야심 찬 시작을 알렸던 '아카이브 드리밍'

예술 창작에 대한 이 독특한 머신 인텔리전스 접근 방식을 향한 RAS 스튜디오의 여정은 2016년 프로젝트 '아카이브 드리밍'에서 시작되었다. 아나돌은 아티스트와 머신 인텔리전스(AMI)를 위한 Google의 아티스트 인 레지던스 프로그램에 초대받았다. 바로 이 프로그램을 통해 RAS 팀은 AI를 이해하고 활용 아이디어를 공유하며 아카이브 드리밍 제작에 많은 도움을 받았다.

대규모 작업을 완료하기 위해 RAS는 오스만 제국의 지배적인 금융 기관이었던 오스만 은행의 17~20세기 문서 170만 건에 대한 액세스를 제공한 이스탄불의 SALT 리서치 컬렉션과 협력했다. 머신러닝 알고리즘을 사용하여 데이터 간의 관계를 검색하고 분류하는 동시에 기록 보관소에 있는 다차원 데이터의 상호 작용을 몰입형 및 인터랙티브 미디어 설치 미술로 변환하는 작업을 진행했다. 그리고 2017년 이스탄불에서 선보인 아카이브 드리밍은 고차원 데이터의 상호 작용을 원형 공간에 투사하여 문서 간의 예기치 않은 상관관계를 통해 '꿈꾸고', 우연한 연결과 중첩을 미적이고 신선한 시각적 효과로 가감 없이 표현하였다.

회전하는 터널에서 소용돌이치는 빛의 점, 밝게 번쩍이는 섬광, 빛의 소나기를 보여주는 영상을 통해 관객들은 오스만 은행의 흥망성쇠를 체험하며 수백만 개의 문서와 이미지를 탐색할 수 있었다. RAS는 머신 러닝 알고리즘이 발견한 문서 간의 유사성으로 결정된 이미지를 3차원 형태로 렌더링했다. 수천 명의 이스탄불 시민과 연구자들이 번화한 이스탄불 중심부에 설치된 이 설치물을 방문했고, Google의 AMI 프로그램을 이끄는 켄릭 맥도웰은 이 획기적인 프로젝트가 문화와 기술의 교차점에서 보여준 잠재력에 대해 찬사를 보냈다.

지난 6일 서울 여의도 63빌딩 동편 로비에 아나돌의 새 작품 '머신 시뮬레이션: 라이프 앤 드림스 - 희로애락'이 걸렸다. 라이프플러스가 국내에 아직 알려지지 않은 해외 아티스트나 유망한 신인 아티스트를 발굴해 조명하는 ‘아트(ART) 프로젝트’의 첫번째 작가로 레픽 아나돌을 선정했다. 거대한 스크린 속에서 몽환적인 이미지는 음악과 함께 한국의 복잡 미묘한 정서를 표현하고 있다. 한국의 감성을 담기 위해 행복을 느낄 때 나타나는 뇌파, 불꽃놀이, 한국 전통 음악, K팝 뮤직비디오 등 각종 오픈소스 데이터를 모아 영상을 제작했다. 아나돌과 그의 팀은 이 작품을 위해 총 6개월 동안 정성을 쏟았다. 그의 팀이 AI와 어떤 대화를 나눴는지 궁금증을 자극하는 전시다. DDP 라이트 '서울 해몽'으로 이미 한 차례 합을 맞춰본 그들이기에 한국에 대해 한 층 더 깊어졌을 이해가 어떻게 표현됐을지 기대된다.

[해외 DS] AI와 인간의 예술 콜라보, 관객 참여᛫몰입 강화한다 (2)로 이어집니다.

---

How AI-Human Collaborations in Art Deepen Audience Engagement

An essay by renowned artist Refik Anadol and Pelin Kivrak, a scholar at his studio, on AI and machine hallucinations. The Museum of Modern Art in N.Y. just acquired his installation.

The metaverse, with its immersive virtual reality environment, promises a dynamic canvas for the bold and imaginative. It is a new territory in which to explore our desire for collaborations between machine and human, whether by building a new virtual universe with its own intrinsic values or a parallel world where presence and perception have deeper meanings.

Using data as pigment
Refik Anadol Studio (RAS) in Los Angeles has been experimenting with hybrid forms of AI-based art-making, combining the creative possibilities of the metaverse with the studio’s decade-long vision of embedding new media arts in architecture. Anadol’s renowned body of works takes publicly available datasets which represent the human experience in various ways, ranging from millions of photographs of bustling urban centers to a comprehensive image and video dataset capturing the glaciers of the world.

The primary thread that runs throughout the studio’s visualizations of the unseen world is the use of data as pigment to create enriched immersive environments. Taking the data that surrounds us as the primary material and the neural network of a computer as a collaborator, the studio’s site-specific artificial intelligence (AI) data paintings and sculptures, live audiovisual performances, and environmental installations encourage us to rethink our engagement with the physical world, decentralized networks, collective synesthesia, and the quantifiable healing power of art.

Since 2012, RAS has been conducting interdisciplinary research on the interconnection of the human mind, architecture, and aesthetics in an effort to answer this question: If machines can learn or process individual and collective memories, can they also dream or hallucinate about them? After experimenting with digital paintings and sculptures of architectural data and exhibiting data-based immersive projections in public spaces, RAS started working with AI programs and machine learning algorithms using a diversity of data, be it visual, auditory, seismic, geographic, cultural, or institutional.

An ambitious beginning
The studio’s journey toward this unique machine intelligence approach to creating art began with the 2016 project titled Archive Dreaming. Refik Anadol was invited to join the Google Artist-in-Residence program for Artists and Machine Intelligence (AMI). There, engineers and thinkers in the field, including Google’s own Blaise Aguera y Arcas, Kenric McDowell and Mike Tyka, helped the entire RAS team to learn and use AI to create Archive Dreaming.

To complete the large-scale work, RAS collaborated with SALT Research collections in Istanbul, which provided access to 1.7 million documents from the 17th to 20th century archives of the Ottoman Bank, a dominant financial institution during the Ottoman Empire. We employed machine learning algorithms to search and sort relationships among these data points while translating interactions of the multidimensional data in the archives into an immersive and interactive media installation.

Archive Dreaming, presented in Istanbul in 2017 as part of The Uses of Art: Final Exhibition, supported by the Culture Programme of the European Union, was user-driven. Yet when idle, the installation ‘dreamt’ of unexpected correlations between documents, yielding generative, aesthetic, and fresh visuals representing those serendipitous links and overlaps.

Refik Anadol Studios translated the resulting high-dimensional data and interactions into an architectural immersive space, projected onto a circular area in 7680 × 1200 resolution. The installation – at times displaying swirling points of light in a rotating tunnel, or flashes of brightness with shapes that shimmer and disappear, or cloud clusters and showers of illumination − allowed the audience to browse the millions of documents and images within the archive. Curious art lovers could peak inside this universe of data and zoom in on any file at their pleasure. After its debut at SALT Galata, an extension of the project was exhibited at the Ars Electronica Festival 2017 in the section titled Artificial Intelligence.

RAS rendered these images as three-dimensional forms determined by the similarities between documents found by machine learning algorithms. Thousands of Istanbulites and researchers from around the world visited the installation in the heart of bustling Istanbul. Kenric McDowell, who leads Google’s AMI program, described the generative potential that this groundbreaking project offered at the intersection of culture and technology: “The experience is visually and architecturally impressive, but what’s most exciting about it is the way it reframes the archive as a multidimensional space of images connected by features, that is to say, visual relatedness. The piece also uses the machine learning model to hallucinate new images that could exist in the archive but don’t. To my knowledge this is the first time a museum archive has become generative in this way.”

기본 출처의 정확성 판별 및 대안 제시
주장 자체의 참 거짓은 판별 못 해
학습 데이터의 편향 문제도 남아 있어

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

위키피디아는 우리가 어떤 주제에 대한 확실한 정보를 원할 때 많이 찾는 곳 중 하나다. 위키백과의 모든 내용을 신뢰할 수는 없으므로 원본 출처를 참조하는 일은 매우 중요하다. 하지만 종종 1차 출처조차도 잘못 기재된 경우가 있다. 참고 문헌의 품질을 유지하고 개선하기 위해 더 나은 도구가 절실한 상황이다.

참고 문헌과 내용의 일치성 판별하는 AI 프로그램

런던에 본사를 둔 회사 Samaya AI의 파비오 페트로니(Fabio Petroni)와 그의 동료들은 위키피디아 참고 문헌이 관련 주장을 뒷받침하는지를 분석하고 그렇지 않으면 더 나은 대안을 제시하는 신경망 기반 시스템인 SIDE를 개발했다. 과학 학술지 네이처 머신 인텔리전스에 발표된 이 연구에 따르면 SIDE는 기본 출처가 정확한지 확인하고 새로운 출처를 제안하는 두 가지 작업을 수행한다. 그러나 이 AI는 위키백과 주장이 사실이라는 가정하에 작동하기 때문에 출처의 유효성을 확인하는 단계에 그친다.

ChatGPT가 인용을 엉망으로 만들고 환각을 일으키는 것으로 악명 높은 것을 고려할 때 인용을 돕기 위해 AI를 사용하는 것은 아이러니하게 보일 수 있다. 그러나 SIDE는 모든 것을 아는 체하는 일반 챗봇과 달리 수천 명의 위키피디아 편집자의 기여를 집중적으로 학습했다. 위키피디아의 검증 기준 미달로 지정될 가능성이 가장 높은 상위 10%의 인용에 대해서 사람들은 원래 인용된 참고 문헌보다 SIDE가 제안한 대안을 70% 더 선호한다는 사실이 관찰됐다. 시스템의 적용 가능성을 검증하기 위해 영어권 위키백과 커뮤니티를 대상으로 데모를 운영한 결과, 같은 상위 10%의 검증 불가한 주장에 대해 기존 위키백과 인용보다 SIDE의 첫 번째 인용 추천이 두 배 더 선호되는 것으로 나타났다. 이러한 결과는 인공지능 기반 시스템이 인간과 함께 위키백과의 검정력을 개선하는 데 사용될 수 있음을 보여준다.

SIDE는 편집자와 중재자로부터 많은 관심을 받은 기존의 추천 위키백과 문서를 사용하여 좋은 참고 문헌을 인식하도록 학습됐다. 그런 다음 검증 시스템을 통해 페이지 내에서 품질이 낮은 참조가 있는 주장을 식별하고 인터넷에서 평판이 좋은 출처를 검색해서 잘못된 인용을 대체할 수 있는 옵션의 순위도 매겨 준다. 페트로니와 그의 동료들은 시스템을 테스트하기 위해 SIDE가 보지 못했던 주요 위키백과 문서에 대한 추천 문헌을 검증했다. 그 결과 약 50%의 경우 SIDE가 Wikipedia에서 우수 참고 자료로 사용되고 있는 출처를 제시했고 21%의 경우 사람이 적절하다고 판단한 추천을 한 발 앞서서 제시했다.

아직 보완점 많지만, 적용 분야는 넓어

위키피디아 사용자 그룹 중 21%는 AI가 찾은 인용을 선호했고, 10%는 기존 인용을 선호했으며, 39%는 선호하는 인용이 없다고 답했다. 일부 전문가들은 SIDE 시스템을 테스트한 위키피디아 사용자 중 두 가지 모두 선호하지 않는다고 답한 비율이 AI가 추천한 인용을 선호한다고 답한 비유보다 두 배나 높았다는 점을 지적했다. 이는 사용자들이 여전히 온라인에서 관련 인용을 검색한다는 것을 의미하고 SIDE가 문서 자체의 정확성을 판단할 수 없는 한계점에 기인한 결과라고 분석했다. 또한 SIDE는 웹 페이지에 해당하는 참조만 고려한다는 점에서 기능에 한계가 있다. 실제로 위키피디아는 텍스트 외에 이미지나 동영상과 같은 다른 미디어를 통해 책과 과학 논문 등을 인용한다.

한편 학습에 의존하는 인공지능은 프로그램은 편견에 노출되기 쉽다는 것을 우리 모두 알고 있다. SIDE의 모델을 훈련하고 평가하는 데 사용되는 데이터도 편향에서 완전히 자유로울 수는 없다. 하지만 AI를 사용하여 사실 확인 과정을 간소화하거나 최소한 보조 도구로 사용하는 것의 이점은 많은 분야에서 긍정적 효과로 작용할 가능성이 높다. 특히 허위 정보가 넘쳐나는 현실을 감안하면 진실에 더 가까워지기 위해 개발된 SIDE와 같은 프로그램 하나하나가 소중하다.

한편 국내 상황은 녹록지 않다. 네이버가 지난 5년 8개월 동안 서울대 팩트체크센터와 제휴해 뉴스 홈에 제공했던 ‘팩트체크’ 서비스를 9월 26일부터 중단하고 리뉴얼된 서비스를 공개했다. 내년 총선을 앞두고 정부의 압력이 거세진 영향도 있었겠지만, 이번 사건으로 연구 단체들의 동기가 크게 꺾인 것도 사실이다. 게다가 지식iN은 뉴스 코너에 비해 팩트 체크 강도도 낮고 팩트체크단의 적극성은 위키피디아의 참여자들에 비할 바가 못 된다. 국내 검색 시장에서 네이버를 빠르게 추격하는 구글은 광고를 제외하면 위키피디아의 상단 노출 비중이 압도적으로 높다. 한국의 위키백과는 자료가 많지 않지만 구글의 페이지 번역 기능을 통해 영문 접근성이 좋아진 점을 간과할 수 없다. 구글은 유튜브에도 건강 콘텐츠 및 팩트체크 기능을 강화하고 있는데, 글보다 동영상 검색 비중이 높아지고 있는 가운데 국내 검색 포털의 미래는 더욱 불투명해지고 있다.

---

A More Reliable Wikipedia Could Come from AI Research Assistants

A neural network can identify Wikipedia references that are unlikely to support an article’s claims—and scour the web for better sources

Wikipedia lives and dies by its references, the links to sources that back up information in the online encyclopaedia. But sometimes, those references are flawed — pointing to broken websites, erroneous information or non-reputable sources.

A study published on 19 October in Nature Machine Intelligence suggests that artificial intelligence (AI) can help to clean up inaccurate or incomplete reference lists in Wikipedia entries, improving their quality and reliability.

Fabio Petroni at London-based company Samaya AI and his colleagues developed a neural-network-powered system called SIDE, which analyses whether Wikipedia references support the claims they’re associated with, and suggests better alternatives for those that don’t.

“It might seem ironic to use AI to help with citations, given how ChatGPT notoriously botches and hallucinates citations. But it’s important to remember that there’s a lot more to AI language models than chatbots,” says Noah Giansiracusa, who studies AI at Bentley University in Waltham, Massachusetts.

AI FILTER
SIDE is trained to recognize good references using existing featured Wikipedia articles, which are promoted on the site and receive a lot of attention from editors and moderators.

It is then able to identify claims within pages that have poor-quality references through its verification system. It can also scan the Internet for reputable sources, and rank options to replace bad citations.

To put the system to the test, Petroni and his colleagues used SIDE to suggest references for featured Wikipedia articles that it had not seen before. In nearly 50% of cases, SIDE’s top choice for a reference was already cited in the article. For the others, it found alternative references.

When SIDE’s results were shown to a group of Wikipedia users, 21% preferred the citations found by the AI, 10% preferred the existing citations and 39% did not have a preference.

The tool could save time for editors and moderators checking the accuracy of Wikipedia entries, but only if it is deployed correctly, says Aleksandra Urman, a computational communication scientist at the University of Zurich, Switzerland. “The system could be useful in flagging those potentially-not-fitting citations,” she says. “But then again, the question really is what the Wikipedia community would find the most useful.”

Urman points out that the Wikipedia users who tested the SIDE system were twice as likely to prefer neither of the references as they were to prefer the AI-suggested ones. “This would mean that in these cases, they would still go and search for the relevant citation online,” she says.

This article is reproduced with permission and was first published on October 19, 2023.

학습 데이터 출처 비공개, "대략적인 경로 파악은 가능해" 
프롬프트에 민감 정보 보호 기능 있지만 '설득'할 수 있어  
데이터 삭제 요청도 무시, 사실상 유명무실한 규제

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

생성형 인공 지능은 예술가와 작가들의 큰 공분을 샀다. '재주는 곰이 부리고, 돈은 왕서방이 번다'라는 속담이 틀린 것이 하나도 없다. OpenAI, Meta, Stability AI를 비롯한 주요 AI 개발사들은 현재 이와 관련하여 여러 건의 소송에 직면했다. 학습 데이터의 출처를 밝히지 않았기 때문에 작가들은 독립적인 수사에 의존하는 경우가 대다수다. 예를 들어 지난 8월 Atlantic은 Meta가 17만 권 이상의 해적판 및 저작권이 있는 도서가 포함된 Books3라는 데이터 세트를 기반으로 대규모 언어 모델(LLM)을 학습시켰다는 사실을 발견했다고 보도했다.

학습 데이터에는 책 외에도 다양한 데이터가 포함되어 있다. 개발자들은 점점 더 큰 규모의 AI 모델을 구축하기 위해 인터넷에서 검색할 수 있는 더 많은 정보들을 무분별하게 긁어모았다. 이는 저작권을 침해할 가능성이 있을 뿐만 아니라 온라인에서 정보를 공유하는 수십억 명의 개인 정보를 위협할 수 있다. 또한 중립적이어야 할 모델이 편향된 데이터로 학습될 수 있다는 의미이기도 하다. 기업이 학습 데이터를 어디서 얻는지 정확히 파악하기는 어렵지만 대략적인 경로는 유추할 수 있다.

학습 데이터의 다양한 출처 추정 및 수집 방법

LLM은 가장 먼저 인터넷에 공개된 데이터에 의존한다. 개발자들은 인터넷에서 데이터를 분류하고 추출하는 자동화 도구를 만들어서 학습 데이터를 축적한다. 웹 '크롤러(crawler)'는 URL에서 URL로 이동하면서 데이터의 위치 정보를 분류 및 저장하고 웹 '스크래퍼(scraper)'는 해당 링크의 데이터를 직접적으로 추출하는 방식이다. 구글은 검색 엔진을 구동하기 위해 이미 웹 크롤러 시스템을 구축해서 사용하고 있지만 다른 회사들은 OpenAI의 GPT-3를 학습하는 데 사용한 커먼 크롤(Common Crawl)같은 도구나 이미지와 함께 링크와 캡션이 제공되는 대규모 인공 지능 오픈 네트워크(Large-Scale Artificial Intelligence Open NetWork, LAION)의 데이터베이스를 주로 활용한다. LAION(Stable Diffusion의 트레이닝 세트 일부였다)을 AI 자원으로 사용하려는 회사는 콘텐츠를 직접 내려받아야 하는 번거로움이 있다.

웹 크롤러와 스크래퍼는 로그인이 필요한 페이지가 아닌 거의 모든 곳에서 데이터에 쉽게 접근할 수 있다. 비공개로 설정된 소셜 미디어 프로필은 포함되지 않지만 검색 엔진에서 볼 수 있거나 사이트에 로그인하지 않고도 볼 수 있는 데이터(예: 공개 LinkedIn 프로필)는 모두 수집 대상이다. 그리고 블로그, 개인 웹페이지, 회사 사이트 등 웹 스크랩에 절대적으로 포함되는 것들이 있다. 예상대로 인기 있는 사진 공유 사이트인 Flickr, 온라인 마켓플레이스, 유권자 등록 데이터베이스, 정부 웹페이지, Wikipedia, Reddit, 연구 자료 저장소, 뉴스 매체 및 학술 기관의 모든 것이 포함된다. 또한 해적판 콘텐츠 모음집과 웹 아카이브에는 삭제된 데이터가 여전히 포함되어 있는 경우가 많다. 스크랩된 데이터베이스는 사라지지 않기 때문에 주기적으로 학습 데이터를 업데이트하는 기업이라면 해당 사이트나 게시물이 삭제되었는지 여부와 관계없이 그들의 데이터 베이스에 영원히 살아 남게 된다.

심지어 일부 데이터 크롤러와 스크래퍼는 유료 계정으로 위장하여 페이 월(paywall)을 통과할 수 있다고 알려져 있다. 워싱턴 포스트와 앨런 연구소의 공동 분석에 따르면, 유료 뉴스 사이트는 Google의 C4 데이터베이스(Google의 LLM T5 및 Meta의 LLaMA 학습에 사용됨)에 포함된 상위 데이터 소스 중 하나다. 언론사들이 애써 만들어 놓은 로그인 월과 페이월에 자동문이 생긴 꼴이다.

웹 스크래퍼는 때로 의외의 데이터도 수집하곤 한다. 한 예술가가 자신의 사적인 진단 의료 이미지가 LAION 데이터베이스에 있다는 사실을 발견한 사례가 알려졌다. 아르스 테크니카(Ars Technica)의 보도로 해당 아티스트의 계정을 확인한 결과, 같은 데이터 세트에 수천 명의 다른 사람들의 의료 기록 사진도 포함되어 있었다. 병원의 내부망에서만 조회가 가능해야 할 민감한 개인정보가 어떻게 LAION에 저장됐는지 정확한 이유를 알 수 없지만, 개인 정보 설정이 느슨해지는 틈을 타 유출과 침해가 빈번하게 발생한다고 업계 관계자들은 지적했다. 공용 인터넷에 공개되지 않아야 할 정보도 학습에 사용되는 이유다.

이러한 웹 스크랩 데이터 외에도 AI 회사는 의도적으로 자사 내부 데이터를 모델 학습에 통합했다. OpenAI는 챗봇과의 사용자 상호 작용을 기반으로 모델을 미세 조정하고, 메타는 자사의 최신 AI가 부분적으로 페이스북과 인스타그램 '공개' 게시물을 학습에 사용했다고 밝혔다. 메타가 정의하는 공개 데이터의 범위는 다소 불분명하다. 소셜 미디어 플랫폼 X(전 트위터)도 같은 작업을 수행할 계획이라고 전했다. 아마존 역시 고객의 알렉사 대화에서 얻은 음성 데이터를 사용해 새로운 LLM을 훈련할 것이라고 말했다.

그러나 기업들은 최근 몇 달 동안 데이터 세트의 세부 정보를 공개하는 데 있어서 점점 더 조심스러워지고 있다. 메타는 LLaMA의 첫 번째 버전보다 LLaMA 2가 출시되었을 때 데이터에 관한 기술 비중이 눈에 띄게 줄었다. 구글 역시 최근 발표한 PaLM2 AI 모델에 데이터 소스를 명시하지 않았으며, 이전 버전의 PaLM보다 훨씬 더 많은 데이터가 PaLM2 훈련에 사용되었다는 것 외에는 구체적인 내용을 밝히지 않았다. OpenAI는 경쟁사에 대한 견제를 이유로 꼽으며 GPT-4의 훈련 데이터의 세부 정보를 공개하지 않겠다고 입장을 표명했다.

대부분의 생성형 AI 서비스는 개인 식별 정보를 공유하지 못하도록 차단하는 기능이 있지만, 이마저도 우회하는 방법이 여러 차례 입증된 전력이 있다. 기업에서 데이터 출처를 공개하지 않는 이상 개인 정보 유출은 단순히 '환각' 문제로 치부될 가능성도 있다. 한편 커먼 크롤과 같은 데이터 세트에는 백인 우월주의 웹사이트와 혐오 발언도 어렵지 않게 찾아볼 수 있다. 덜 극단적이지만 편견을 조장하는 콘텐츠도 많다. 게다가 온라인에는 수많은 포르노 콘텐츠가 인터넷 세계를 방랑한다. 편향된 정보가 입력되면 편향된 정보를 출력할 수밖에 없다. AI 이미지 생성기는 여성의 성적인 이미지를 부각하는 경향이 있다.

AI로부터 데이터를 어떻게 보호할 수 있을까

안타깝게도 현재 데이터를 의미 있게 보호할 수 있는 옵션은 거의 없다. AI 모델이 이미지를 효과적으로 읽을 수 없도록 만드는 데 사용할 수 있는 Glaze라는 도구가 개발됐지만, 일부 AI 이미지 생성기에서만 그 효과를 검증할 수 있었으며 용도도 제한적이다. 또한 온라인에 게시되지 않았던 이미지만 보호할 수 있다는 한계점도 있다. 텍스트의 경우 이와 유사한 도구가 존재하지 않는다. 웹 사이트 소유자는 웹 크롤러와 스크래퍼에게 사이트 데이터를 수집하지 말라는 디지털 플래그를 삽입 할 수 있다. 그러나 이러한 고지를 준수할지 여부는 스크래퍼 개발자의 선택에 달려 있다.

캘리포니아를 비롯한 몇몇 주에서는 최근 통과된 디지털 개인정보 보호법에 따라 소비자는 기업에 데이터 삭제를 요청할 수 있는 권리를 갖게 되었다. 유럽연합(EU)에서도 사람들은 데이터 삭제에 대한 권리를 가지고 있다. 그러나 지금까지 AI 기업들은 데이터의 출처를 증명할 수 없다고 주장하거나 요청을 아예 무시하는 방식으로 이러한 요청을 거부해 왔다고 스탠퍼드 대학의 개인정보 보호 및 데이터 연구원인 제니퍼 킹(Jennifer King)은 말했다. 기업이 데이터 삭제 요청을 이행하여 사용자의 정보를 학습 세트에서 제거하더라도 AI 모델이 이전에 흡수한 내용을 잊게 만드는 명확한 방법도 없는 실정이다.

AI 모델에서 저작권이 있거나 잠재적으로 민감한 정보를 모두 제거하려면 AI를 처음부터 재교육해야 하는데, 이 경우 최대 수천만 달러의 비용이 들 수 있다. 현재로서는 테크 기업이 재교육 조처를 하도록 요구하는 강력한 정책이나 법적 판결이 없으므로 그들이 다시 원점에서 시작해야 할 이유가 없는 상황이다.

---

Your Personal Information Is Probably Being Used to Train Generative AI Models

Companies are training their generative AI models on vast swathes of the Internet—and there’s no real way to stop them

Artists and writers are up in arms about generative artificial intelligence systems—understandably so. These machine learning models are only capable of pumping out images and text because they’ve been trained on mountains of real people’s creative work, much of it copyrighted. Major AI developers including OpenAI, Meta and Stability AI now face multiple lawsuits on this. Such legal claims are supported by independent analyses; in August, for instance, the Atlantic reported finding that Meta trained its large language model (LLM) in part on a data set called Books3, which contained more than 170,000 pirated and copyrighted books.

And training data sets for these models include more than books. In the rush to build and train ever-larger AI models, developers have swept up much of the searchable Internet. This not only has the potential to violate copyrights but also threatens the privacy of the billions of people who share information online. It also means that supposedly neutral models could be trained on biased data. A lack of corporate transparency makes it difficult to figure out exactly where companies are getting their training data—but Scientific American spoke with some AI experts who have a general idea.

WHERE DO AI TRAINING DATA COME FROM?
To build large generative AI models, developers turn to the public-facing Internet. But “there’s no one place where you can go download the Internet,” says Emily M. Bender, a linguist who studies computational linguistics and language technology at the University of Washington. Instead developers amass their training sets through automated tools that catalog and extract data from the Internet. Web “crawlers” travel from link to link indexing the location of information in a database, while Web “scrapers” download and extract that same information.

A very well-resourced company, such as Google’s owner, Alphabet, which already builds Web crawlers to power its search engine, can opt to employ its own tools for the task, says machine learning researcher Jesse Dodge of the nonprofit Allen Institute for AI. Other companies, however, turn to existing resources such as Common Crawl, which helped feed OpenAI’s GPT-3, or databases such as the Large-Scale Artificial Intelligence Open Network (LAION), which contains links to images and their accompanying captions. Neither Common Crawl nor LAION responded to requests for comment. Companies that want to use LAION as an AI resource (it was part of the training set for image generator Stable Diffusion, Dodge says) can follow these links but must download the content themselves.

Web crawlers and scrapers can easily access data from just about anywhere that’s not behind a login page. Social media profiles set to private aren’t included. But data that are viewable in a search engine or without logging into a site, such as a public LinkedIn profile, might still be vacuumed up, Dodge says. Then, he adds, “there’s the kinds of things that absolutely end up in these Web scrapes”—including blogs, personal webpages and company sites. This includes anything on popular photograph-sharing site Flickr, online marketplaces, voter registration databases, government webpages, Wikipedia, Reddit, research repositories, news outlets and academic institutions. Plus, there are pirated content compilations and Web archives, which often contain data that have since been removed from their original location on the Web. And scraped databases do not go away. “If there was text scraped from a public website in 2018, that’s forever going to be available, whether [the site or post has] been taken down or not,” Dodge notes.

Some data crawlers and scrapers are even able to get past paywalls (including Scientific American’s) by disguising themselves behind paid accounts, says Ben Zhao, a computer scientist at the University of Chicago. “You’d be surprised at how far these crawlers and model trainers are willing to go for more data,” Zhao says. Paywalled news sites were among the top data sources included in Google’s C4 database (used to train Google’s LLM T5 and Meta’s LLaMA), according to a joint analysis by the Washington Post and the Allen Institute.

Web scrapers can also hoover up surprising kinds of personal information of unclear origins. Zhao points to one particularly striking example where an artist discovered that a private diagnostic medical image of herself was included in the LAION database. Reporting from Ars Technica confirmed the artist’s account and that the same data set contained medical record photographs of thousands of other people as well. It’s impossible to know exactly how these images ended up being included in LAION, but Zhao points out that data get misplaced, privacy settings are often lax, and leaks and breaches are common. Information not intended for the public Internet ends up there all the time.

In addition to data from these Web scrapes, AI companies might purposefully incorporate other sources—including their own internal data—into their model training. OpenAI fine-tunes its models based on user interactions with its chatbots. Meta has said its latest AI was partially trained on public Facebook and Instagram posts. According to Elon Musk, the social media platform X (formerly known as Twitter) plans to do the same with its own users’ content. Amazon, too, says it will use voice data from customers’ Alexa conversations to train its new LLM.

But beyond these acknowledgements, companies have become increasingly cagey about revealing details on their data sets in recent months. Though Meta offered a general data breakdown in its technical paper on the first version of LLaMA, the release of LLaMA 2 a few months later included far less information. Google, too, didn’t specify its data sources in its recently released PaLM2 AI model, beyond saying that much more data were used to train PaLM2 than to train the original version of PaLM. OpenAI wrote that it would not disclose any details on its training data set or method for GPT-4, citing competition as a chief concern.

WHY ARE DODGY TRAINING DATA A PROBLEM?
AI models can regurgitate the same material that was used to train them—including sensitive personal data and copyrighted work. Many widely used generative AI models have blocks meant to prevent them from sharing identifying information about individuals, but researchers have repeatedly demonstrated ways to get around these restrictions. For creative workers, even when AI outputs don’t exactly qualify as plagiarism, Zhao says they can eat into paid opportunities by, for example, aping a specific artist’s unique visual techniques. But without transparency about data sources, it’s difficult to blame such outputs on the AI’s training; after all, it could be coincidentally “hallucinating” the problematic material.

A lack of transparency about training data also raises serious issues related to data bias, says Meredith Broussard, a data journalist who researches artificial intelligence at New York University. “We all know there is wonderful stuff on the Internet, and there is extremely toxic material on the Internet,” she says. Data sets such as Common Crawl, for instance, include white supremacist websites and hate speech. Even less extreme sources of data contain content that promotes stereotypes. Plus, there’s a lot of pornography online. As a result, Broussard points out, AI image generators tend to produce sexualized images of women. “It’s bias in, bias out,” she says.

Bender echoes this concern and points out that the bias goes even deeper—down to who can post content to the Internet in the first place. “That is going to skew wealthy, skew Western, skew towards certain age groups, and so on,” she says. Online harassment compounds the problem by forcing marginalized groups out of some online spaces, Bender adds. This means data scraped from the Internet fail to represent the full diversity of the real world. It’s hard to understand the value and appropriate application of a technology so steeped in skewed information, Bender says, especially if companies aren’t forthright about potential sources of bias.

HOW CAN YOU PROTECT YOUR DATA FROM AI?
Unfortunately, there are currently very few options for meaningfully keeping data out of the maws of AI models. Zhao and his colleagues have developed a tool called Glaze, which can be used to make images effectively unreadable to AI models. But the researchers have only been able to test its efficacy with a subset of AI image generators, and its uses are limited. For one thing, it can only protect images that haven’t previously been posted online. Anything else may have already been vacuumed up into Web scrapes and training data sets. As for text, no such similar tool exists.

Website owners can insert digital flags telling Web crawlers and scrapers to not collect site data, Zhao says. It’s up to the scraper developer, however, to opt to abide by these notices.

In California and a handful of other states, recently passed digital privacy laws give consumers the right to request that companies delete their data. In the European Union, too, people have the right to data deletion. So far, however, AI companies have pushed back on such requests by claiming the provenance of the data can’t be proven—or by ignoring the requests altogether—says Jennifer King, a privacy and data researcher at Stanford University.

Even if companies respect such requests and remove your information from a training set, there’s no clear strategy for getting an AI model to unlearn what it has previously absorbed, Zhao says. To truly pull all the copyrighted or potentially sensitive information out of these AI models, one would have to effectively retrain the AI from scratch, which can cost up to tens of millions of dollars, Dodge says.

Currently there are no significant AI policies or legal rulings that would require tech companies to take such actions—and that means they have no incentive to go back to the drawing board.

사용자 편의성 보다 '성장'이 우선
추천 시스템이란 탈을 쓴 통제
수동적이고 단일적인 사고에 갇힐 수도

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

역사상 가장 인기 있는 소비자 제품 중 하나인 아이폰에서 깔끔한 사용자 인터페이스를 더 이상 찾아볼 수 없다. 새 아이폰에는 38개의 앱이 사전 설치되어 있으며, 즐겨 사용하는 개인 금융, 소셜 미디어 및 생산성 앱을 내려받으면 이제 46개가 넘어간다. 모든 항목에 대해 별도의 폴더와 레이블을 신중하게 만들지 않는 한, 사용자는 홈 화면에만 의존할 수 없게 됐다. '설정' 앱은 다양한 앱과 기능이 미로처럼 얽혀 있고, 알파벳순으로 정리되어 있지도 않으며, 각 옵션은 더 많은 옵션으로 이어져서 원하는 기능을 찾기 쉽지 않은 실정이다.

지저분한 디자인과 늘어난 검색 비용을 보완하기 위해 애플은 AI 기반 검색 엔진 'Spotlight' 기능을 지원한다. 다른 기업들도 마찬가지로 인공 지능의 '혁신'은 새로운 것을 창조하거나 혁명적인 것이 아니라 무분별한 개발로 잃어버린 주 기능을 되찾기 위한 궁여지책이다.

사용자 편의성에 관심 없어, 매출 올리기 급급한 앱 마켓

2007년부터 검색 시장의 선두 주자인 구글은 검색의 의미를 서서히 약화해 왔다. 관련성이 높은 검색 결과가 아니라 검색 엔진에 최적화된 콘텐츠 혹은 광고 게시물로 도배하고 사용자가 답을 찾는 것을 방해했다. 이제 사용자는 구글 검색 문장에 '+Reddit' 또는 기타 우회적인 방법을 통해 구글을 속여야 하는 우스꽝스러운 상황에 직면했다. 구글은 생성형 AI를 사용하여 검색 결과를 요약해 주는 AI 스냅숏 검색(Search Generative Experience) 서비스를 제공하고 있다. 인공지능으로 새로운 검색 경험을 선사하리라는 홍보의 이면엔 망가진 검색 기능을 봉합하려는 의도가 숨겨져 있다.

현대의 기술 기업(특히 상장 기업)은 더 나은 제품이나 더 유용한 서비스를 제공하는 것이 아니라 끝없이 확장하는 데 관심이 있다. Apple 뉴스, Apple 음악, Apple 피트니스, Apple TV+가 각각 고유한 알림과 팝업 세트를 갖추게 된 이유다. 이러한 앱과 다양한 설정이 사용자 경험을 계속 침식하더라도 앱스토어 매출(2022년 약 1,452조 원)을 늘리기 위해 애플은 사용자가 휴대폰에 설치하는 앱의 수를 줄이는 데는 관심이 없다. 결과적으로 애플 디바이스의 앱 개수는 증가하고 찾기 어려워지며 속수무책으로 인공 지능에 의존하게 되는 구조가 형성된다. 유능한 앱을 많이 내려받는 것은 아무런 문제가 없다. 하지만 한 조사에 따르면 사용자들은 모바일에 설치된 80개의 앱 중 평균적으로 9개의 앱만 지속해서 사용한다. 앱의 리텐션율이 낮은 이유 중 가장 눈에 띄는 원인은 사용자가 앱에 대한 호기심이 급증했다가 앱이 상상했던 목적에 부합하지 않으면 흥미를 잃기 때문이라고 전했다. 호기심을 자극하기 위한 과대광고와 낮은 제품 퀄리티를 방관하는 애플의 방만을 방증하는 부분이다.

도둑맞은 자율성, 기업의 조작에 점점 취약해

알렉사(Alexa)와 시리(Siri)는 의식적이고 의도적인 디지털 경험을 대체하고 있다. 이 두 서비스는 명령을 음성 인터페이스로 통합하여 편리하지만 "우리가 할 수 있는 일"을 "아마존이나 애플이 허용하는 일"에 종속시키는 결과를 낳았다. Siri나 Alexa에서 무언가를 검색하면 애플과 아마존이 결과를 제어한다. 이들은 사용자가 원하는 검색 결과를 제공하기도 하지만, 자체 서비스나 선호하는 검색 결과 등 기업에 이익이 되는 다양한 옵션을 추가했다. 한편 인스타그램도 광고 피드를 먼저 배치하거나 검색어와 일치하지 않은 '연관' 피드를 추천하여, 일반 사용자뿐만 아니라 인플루언서들도 거세게 반발했다. 사용자의 검색 피로도가 급증한 탓이다. 구글의 경우도 이미 사용자의 위치에 따라 다른 검색 결과를 제공하고 있으며, 구글에 이익이 되는 링크를 클릭하도록 유도하기 위해 결과 페이지를 설계했다. 검색어를 큰따옴표로 감싸도 정확히 일치하는 검색 결과를 구할 수 없는 지경까지 이르렀다.

사용자를 '안내'하기 위해 만들어진 인공 지능은 거의 항상 사용자가 실제로 원하는 경험보다 회사가 원하는 경험을 우선시한다. 사용자 경험의 악화가 의도적인 선택은 아닐지라도, 빅테크 기업이 사용 편의성을 지속해서 개선하지 않음으로써 사용자가 할 수 있는 일을 더욱 세밀하게 통제할 기회를 얻게 되었으며, 이를 유리하게 조작할 수 있게 되었다. 추천 게시물과 상품 위주로 노출되어 타자에 의해 촉발된 욕망에 익숙해지면서 사고의 능동성과 다양성을 잃을 가능성도 크다. 우울하게도, 우리의 미래는 인공지능에 도움을 요청할 것인지, 아니면 스스로 해결할 수 있을지도 모른다는 희망으로 잘못 설계된 서비스와 싸워야 할 것인지 선택해야 하는 시대가 되고 있다. 우리의 디지털 생활로 수조 달러 규모의 기업으로 성장시킨 서비스에 소비자로서 더 많은 것을 요구해야 한다.

---

AI Is Becoming a Band-Aid over Bad, Broken Tech Industry Design Choices

After decades of messy, thoughtless design choices, corporations are using artificial intelligence to sell basic usability back to consumers

The iPhone, one of the most popular consumer products of all time, has become a usability nightmare. A new one comes with 38 preinstalled apps, of which you can delete 27. Once you’ve downloaded your favorite personal finance, social media and productivity apps, you’re now sitting at 46 or more.

But finding the one you’re looking for is a slog: Apple has decided, over time, that there is simply no reason to build a clean user interface for the iPhone anymore, so users cannot rely on their home screen unless they sit and carefully craft separate folders and labels for everything. The “settings” app is a labyrinth of different options for various apps and features, one that isn’t even organized alphabetically, with each option leading to more options that lead to even more options.

Apple isn’t alone. Like many companies, it has decided that there’s no need to build an easy-to-use product when it can just patch over its messy design choices with layers of artificial intelligence. If you want to find something in their garbage dump of apps and options, you must use Spotlight, Apple’s AI-powered search engine that can find everything from text messages to that one setting that they’ve buried deep in a Matryoshka of bolted-on features.

This “innovation” of artificial intelligence in your iPhone and throughout the world is not the creation of something new, or revolutionary, but simply corporations selling you back basic usability after decades of messy, thoughtless and bloated design choices. We need to call out what is going on here: tech firms are charging us more to fix their mistakes and slapping an AI label on the shakedown.

Take Google. Since 2007 the search market leader has slowly eroded the signifiers of advertisements, all while allowing results to turn into a mess of search engine–optimized content that seeks to interrupt your quest for answers with something that will make somebody else money. Users must now trick Google into giving them usable results by putting “+Reddit” or other Boolean strings into search prompts. No worries, Google has an answer: it will use generative AI to summarize search results, solving the search problem not by producing more relevant sources, but by reading them for you. One might think that the solution here would be to build a better search engine, or to reject content that was specifically built to game searches, but Google has (willingly or otherwise) fallen so far behind that it must now innovate simply to provide its original service.

This is the ultimate result of the tech ecosystem’s obsession with growth—something I call the Rot Economy. Modern tech companies (especially public ones) are incentivized not to provide better or more usable products, but instead for endless expansion of both revenue and customers. The bloated user experience of an iPhone or Mac computer results from Apple’s constant attempts to bolt on more features and services to your devices. That’s how we ended up with Apple News and Apple Music and Apple Fitness and Apple TV+, each with its own unique set of notifications and popups. This is all in service of increasing the revenue of its multibillion dollar services business, even if these apps (and their various settings) continue to erode user experiences. And the cash that Apple generates from the app store (over $100 billion per year in 2022) means that the company has little interest in trimming the number of apps that users put on their phones. This makes things more bloated, harder to find, and ultimately dependent on Apple’s artificial intelligence.

Alexa and Siri have become replacements for conscious and intentional computing. They aggregate commands into voice interfaces that, while convenient, utterly sacrifice “what we can do” to “what Amazon or Apple allows us to do.” We have been trained to hoard apps and files, while tech companies have failed to provide any intuitive or easy way to organize them. And their solution isn’t to make things more organized or usable. No, our technological overlords have decided that disorganized chaos is fine as long as they can provide an automated search product to sift through the mess.

Much like how having a hammer makes everything look like a nail, tech’s solution to problems is almost always more tech—even if tech created the problem in the first place. While one might argue that artificial intelligence allows for quicker, slicker user experiences, creating user experiences dependent on AI guarantees that any error or poor design choice becomes a single point of failure. It leaves users to sift like a raccoon through hundreds of apps and settings to find the thing they actually want to do.

As I’ve already suggested, artificial intelligence–based user interfaces also deprive the user of choice and empower tech giants to control their decision-making. When one searches for something in Siri or Alexa, Apple and Amazon control the results. They provide potentially what the user wants to see, but also a slew of other options benefiting the firms, such as their own services or preferred search results. Google already provides vastly different search results based on your location, and has redesigned search itself multiple times to trick users into clicking links that benefit Google in some way.

Artificial intelligence that is built to “guide” a user will almost always prioritize the experience that the company wants you to have over the one that you’d actually like. And while the deterioration of the user experience may not be a deliberate choice, Big Tech’s failure to continually improve the ease of use of their devices has given them an opportunity to further funnel and control what a user can do—and manipulate it to their advantage.

Depressingly, our future is becoming one where we must choose between asking an artificial intelligence for help, or fighting through an ever-increasing amount of poorly designed menus in the hope we might be able to help ourselves. We, as consumers, should demand more from the companies that have turned our digital lives into trillion-dollar enterprises.

모순과 함께 성장한 논리학과 철학
유니콘이 존재하려면 모순이 참이어야 해
모순의 부재, 현대 논리학의 우수성 방증

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

유니콘은 판타지 소설과 동화 속에서는 자유롭게 돌아다니지만, 차갑고 분석적인 수학과 철학의 세계에서는 존재하지 않는다. 하지만 탄탄하게 쌓인 논리학에서 단 하나의 모순이 성립되더라도 유니콘은 존재하게 된다. 유니콘의 존재 여부를 본격적으로 파헤쳐 보기 전에 2,300여 년 전 아리스토텔레스가 제시한 세 가지 사고의 법칙을 먼저 살펴봐야 한다. 아리스토텔레스는 수많은 인상적인 공헌을 남겼는데, 그중에서도 논리학 이론 발전에 지대한 영향을 끼쳤다. 그가 정립한 사고의 법칙은 동일성, 비모순, 배제된 중간이다. 유니콘 사냥꾼에게 중요한 법칙은 모순을 금지하는 요소이며, 이 법칙에 따르면 명제는 참이면서 동시에 거짓일 수 없다. 정사각형 원과 결혼한 총각은 문명화된 논리에서 환영 받지 못하는 존재이다.

모순과 논리가 함께할 수 없는 이유

모순은 모든 역설을 뒷받침한다. 악명 높은 거짓말쟁이 역설인 '이 문장은 거짓이다'를 생각해 보자. 이 문장이 참이라면 우리는 해당 문장을 액면 그대로 받아들여야 해서 거짓이 되고, 만약 거짓이라면 문장이 거짓이 아니라 참인 것으로 판명 난다. 아리스토텔레스의 비모순 법칙 앞에서 이 모순은 설 자리가 없다. 거짓말쟁이 역설과 수백 가지의 다른 알려진 역설이 미해결 상태로 남아 있는 이유다. 이 모순을 해결하기 위해 수많은 철학 논문이 거짓말쟁이의 역설에 관해 연구해 왔으며, 모순은 부정적인 피드백을 통해 수학과 철학 발전의 원동력으로 작용해 왔다. 미로의 막다른 골목처럼 모순은 "이 길은 앞으로 나아갈 길이 아니다"라는 신호를 보내며 발걸음을 되돌려 다른 길을 연구하도록 안내했다.

모순은 왜 그렇게 용납할 수 없는 것일까? 비모순의 법칙을 꼭 받아들여야 할까? 어쩌면 모순은 블랙홀과 비슷할지도 모른다. 모순은 익숙한 규칙을 위반하는 이상하고 직관적이지 않은 경계 대상이지만, 현실을 설명할 때 모순을 위한 공간을 확보해야 설명이 되는 것처럼 말이다. 하지만 모순을 논리에 끌어들이는 것은 폭발의 원리(Principle of Explosion)로 알려진 중대한 문제를 일으킨다. 모순을 하나라도 인정하면 그것이 사실이든 아니든 무엇이든 증명할 수 있게 되는 공허한 논리 체계만 남기 때문이다.

모순이 참이면 모든 것이 참이다

모순에서 어떤 것을 증명하는 논증은 놀라울 정도로 간단하다. 연습을 위해 다음 문장이 참이라는 것을 알고 있다고 가정한다.

선언 명제: 오마르는 결혼했거나 마리아는 키가 5피트이다.

위의 내용이 참이어도 오마르가 기혼자라는 의미도 아니고 마리아의 키가 5피트라는 의미도 아니다. 둘 중 적어도 하나는 사실이어야 한다는 것을 암시할 뿐이다. 여기서 다음 명제를 추가해 보자.

명제: 오마르는 결혼하지 않았다.

이 두 가지 명제로부터 마리아의 키는 5피트여야 한다는 결론을 내릴 수 있다. 만약 마리아가 키가 작고 오마르도 결혼하지 않았다면, 우리의 선언명제가 거짓일 수밖에 없기 때문이다. 이 예를 염두에 두고 모순을 참이라고 가정한 다음 결론을 도출해 보자. 철학자들은 모순의 간결한 예로 결혼한 총각을 좋아하므로, 그 전통을 존중하기 위해 다음과 같이 가정했다:

명제 1: 오마르는 결혼했다.

명제 2: 오마르는 결혼하지 않았다.

서로 모순되는 두 명제를 만들었고, 둘 다 참이라고 가정한다.

선언 명제: 오마르는 결혼했거나 유니콘이 존재한다.

선언 명제의 전건(오마르가 결혼했다)이 참이므로 후건의 내용과 상관없이 이 명제는 참이다. 'OR' 연산자가 포함된 명제이므로 양쪽에 있는 주장 중 하나가 참이어도 전체 문장이 참이 되기 때문이다. 그러나 오마르가 결혼하지 않았다는 사실도 가정했음을 기억하면 다음과 같은 결론에 도달한다.

결론: 유니콘은 존재한다.

오마르가 결혼하지 않았다는 사실을 추가하면 선언 명제의 전건이 거짓이므로 후건이 참일 수밖에 없다. 결국 우리는 유니콘이 존재한다는 사실을 인정해야 한다. 모순이 참이면 모든 것이 참이기 때문이다.

아직까지 폭발하지 않은 논리학

일부 논리학자들은 폭발의 원리가 혼란스럽다고 생각하여 위에서 살펴본 논증을 무효로 하기 위해 초일관 논리를 고안해 냈다. 이 논리의 지지자들은 유니콘은 오마르의 결혼 여부와 아무런 관련이 없으므로, 유니콘으로부터 다른 유니콘에 대해 아무것도 알 수 없어야 한다고 주장했다. 하지만 초일관 논리를 지지하는 사람들은 마리아의 키가 5피트라는 결론을 내릴 때 사용한 논리와같이 명백해 보이는 주장을 잘못된 것으로 간주해야 하는 문제를 직면해야 한다. 대부분 철학자가 이러한 시도를 거부하는 이유다.

일부 초일관 논리를 옹호하는 사람들은 모순이 실제로는 참이라고 주장하는 훨씬 더 급진적인 입장을 취한다. 양진주의자들은 비모순의 법칙을 거부하고 합리성의 모든 구석에서 모순을 추방하기보다는 모순을 때때로 참과 거짓이 동시에 존재하는 특이한 유형의 진술로 받아들여야 한다고 주장한다. 그들의 견해에 따르면 거짓말쟁이 역설과 같이 머리를 쥐어뜯는 모순은 저절로 해결된다고 자랑한다. 그들은 더 이상 논쟁할 필요 없이 "이 문장은 거짓이다"라고 말하기만 하면 참과 거짓이 동시에 성립한다고 주장한다. 변증법은 상대적으로 지지자가 적지만, 영국 철학자 그레이엄 프리스트의 광범위한 연구 덕분에 존경할 만한 철학적 입장으로 인정받고 있다.

논리학은 수학의 기초이기도 하므로 모순이 발생하면 수학도 마찬가지로 폭발의 원리에 취약할 수 있다. 다양한 시대와 언어에 걸쳐 수학자들은 수표책의 균형을 맞추는 데 사용하는 것부터 비행기가 날고 원자로가 작동하는 계산에 이르기까지 모든 것을 지배하는 복잡하게 얽힌 논증으로 우뚝 솟은 건물을 세워왔다. 논리와 수학의 수많은 복잡한 논증 중에서 적어도 우리가 알고 있는 한, 단 하나의 모순도 빠져나가지 않고 붕괴를 피했다는 사실이 놀라울 뿐이다.

---

A Married Bachelor Proves That Unicorns Exist

The “principle of explosion” explains why a single contradiction would destroy math

Unicorns roam free in fantasy novels and children’s stories, not so much in the real world, much less the cold, analytical ones of math and philosophy. But it turns out that these logical disciplines are only one misstep away from proving the existence of the long-adored mythic creatures—or proving any absurdity.

To understand how unicorns could migrate into our most objective fields of study, we must first look to tenets laid down by Aristotle more than 2,300 years ago. Among his many impressive contributions, he is often credited with articulating the “three laws of thought”—self-evident statements that we must assume for any theory of logic to take flight. The one that matters for unicorn hunters is the law forbidding contradiction. That law says propositions cannot be both true and false. You can’t have A and not A. Square circles and married bachelors are simply unwelcome in a civilized logic.

Contradictions keep math and philosophy on course through negative feedback. Like dead ends in a maze, they signal “this is not the way forward” and demand that you retrace your steps and choose a different path. Contradictions also underpin all paradoxes. Consider the infamous liar paradox: “This sentence is false.” If it’s true, then we should take it at face value: the sentence is false. If it’s false then it is not the case that the sentence is false, i.e., it’s true. So if the statement is true, then we deduce that the statement is false and vice versa, a contradiction. Because of Aristotle’s law, the contradiction cannot stand, so the liar paradox and hundreds of other known paradoxes beg for resolutions. Reams of philosophical papers have been devoted to the impressively resilient liar paradox, all in an effort to purge the world of one contradiction.

But why are contradictions so unacceptable? Need we accept the law of noncontradiction? Maybe contradictions are akin to black holes. They’re weird, counterintuitive boundary objects that violate some accustomed rules, but we must make room for them in our description of reality. What would happen if we threw up our hands and accepted the liar paradox as a genuine contradiction? Aside from them being aesthetically unpalatable, inviting a contradiction into logic poses a major problem known as the principle of explosion. Once we admit even a single contradiction, we can prove anything, whether it’s true or not.

The argument that proves anything from a contradiction is remarkably straightforward. As a warm-up, suppose you know that the following statement is true.

True statement: Omar is married or Maria is five feet tall.

You know the above to be true. It doesn’t necessarily imply that Omar is married, nor does it imply that Maria is five feet tall. It only implies that at least one of those must be the case. Then you import an additional piece of knowledge.

True statement: Omar is not married.

What can you conclude from this pair of assertions? We conclude that Maria must be five feet tall. Because if she isn’t and Omar isn’t married either, then our original or-statement couldn’t have been true after all. With this example in mind, let’s assume a contradiction to be true and then derive something ridiculous from it. Philosophers love a married bachelor as a succinct example of a contradiction; so to honor that tradition, let’s assume the following:

True statement: Omar is married.

True statement: Omar is not married.

Using these as true statements, we’ll now prove that unicorns exist.

True statement: Omar is married or unicorns exist.

This is true because we know from our assumption that Omar is married and an or-statement as a whole is true whenever one of the claims on either side of the “or” is true.

True statement: Omar is not married.

Remember, we assumed this to be true.

Conclusion: Unicorns exist.

Just like we concluded that Maria must be five feet tall, once we accept that either Omar is married or unicorns exist and then add in that Omar is not married, we’re forced to admit the absurd. The simplicity of this argument can make it seem like sleight of hand, but the principle of explosion is fully sound and a key reason why contradictions cause intolerable destruction. If a single contradiction is true, then everything is true.

Some logicians find the principle of explosion so disturbing that they propose altering the rules of logic into a so-called paraconsistent logic, specifically designed to invalidate the arguments we’ve seen above. Proponents of this project argue that since unicorns have nothing to do with Omar’s marital status, we should not be able to learn anything about one from the other. Still, those in favor of paraconsistent logic have to bite some hearty bullets by rejecting seemingly obvious arguments as invalid, like the argument we used to conclude that Maria is five feet tall. Most philosophers decline to make that move.

Some advocates of paraconsistent logic take an even more radical stance called dialetheism, which asserts that some contradictions are actually true. Dialetheists reject the law of noncontradiction and claim that rather than expelling contradictions from every corner of rationality, we should embrace them as peculiar types of statements that are occasionally true and false simultaneously. Dialetheists boast that under their view, head-banging conundra like the liar paradox resolve themselves. They simply say that “this sentence is false” is both true and false, with no need for further debate. Although dialetheism has relatively few adherents, it has gained recognition as a respectable philosophical position, largely thanks to the extensive work of British philosopher Graham Priest.

Logic is also the foundation of mathematics, meaning that math is just as vulnerable to catastrophe if a contradiction arises. Spanning different eras and languages, mathematicians have erected a towering edifice of intricately tangled arguments that govern everything from the stuff you use to balance your checkbook to the calculations that make planes fly and nuclear reactors cook.

The principle of explosion ensures that unless we want to rewrite logic itself, a single contradiction would bring the whole field tumbling to the ground. It is remarkable to consider that among countless complicated arguments in logic and math, we’ve avoided collapse and not let one contradiction slip through the cracks—at least that we know of.