가상 화면 의존하면 부정적인 영향 우려돼, "주의력 저하"
대면 vs. 비대면 대화, 뇌와 눈 활동의 차이 유의미
비대면 환경 개선 권고 및 대면 환경의 중요성 재강조

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

화면을 통한 의사소통, 뇌 활동과 사회적 각성 저하

11월 7일, 이미징 신경과학(Imaging Neuroscience) 저널에 발표된 연구에 따르면 컴퓨터 화면을 통해 다른 사람의 얼굴을 관찰할 때, 현실에서 직접 보는 것보다 특정 뇌 활동과 사회적 각성 수준이 낮아진다는 사실이 밝혀졌다.

이는 화면이 실제 대면을 자주 대체하는 세상에서 교육, 원격 의료 또는 전문적 교류에서 화상 회의 플랫폼에 지나치게 의존하는 것이 부정적인 영향을 미칠 수 있음을 시사한다. 한편 해당 연구는 가상 커뮤니케이션 기술의 발전으로 앞서 언급한 한계를 보완할 수 있다고 덧붙였다.

전문가들은 연구진이 가상과 실제 상호 작용의 차이를 감지하기 위해 사용한 뇌 활동 데이터와 사회적 참여에 대한 다중 평가 방법인 멀티모달 방식이 특히 인상적이라고 강조했다

실제 상호 작용의 요인 고려 부족하나 가상과 실제 차이 입증

연구 저자는 총 28명의 참가자를 대상으로 안구 움직임, 동공 크기, 뇌전도(뇌파 검사 또는 EEG 사용), 뇌 혈류(기능적 근적외선 분광법 또는 fNIRS 사용)를 측정했다. 참가자들은 총 3분 동안 서로를 몇 초간 응시하거나 휴식을 취하는 것을 번갈아 가며 진행됐다. 실험의 절반은 실제로 마주 보고, 나머지 절반은 실시간 비디오 모니터를 통해 서로를 관찰했다. 연구진은 화면에 표시되는 얼굴이 실제와 거의 일치하도록 이미지 크기와 카메라 각도를 조절했다. 각 참가자는 두 가지 유형의 실험을 모두 수행했다.

연구진은 수집된 거의 모든 유형의 데이터를 비교했을 때, 가상 실험과 실제 실험 간에 참가자의 뇌와 눈 활동 사이에 상당한 차이가 있음을 발견했다. 사람들은 실제 환경에서 파트너의 눈을 더 오래 응시했고, 가상 환경에서 사람들의 눈은 좌우로 더 많이 움직였으며, 이는 주의가 산만했다는 의미로 해석될 수 있다. 또한, 사회적 각성과 감정적 참여를 나타내는 동공 지름은 실제 사람을 응시할 때 더 컸다.

뇌파 데이터에 따르면 얼굴 인식 및 움직이는 얼굴에 대한 민감도와 관련된 일부 뇌 활동은 대면 상황에서 더 강하게 나타났다. 또한 대면 실험에서 fNIRS 측정 결과, 시각적 주의력, 얼굴 처리 및 시각 자극과 관련된 뇌 부위에서 더 높은 수준의 활동이 관찰됐다.

이번 연구 결과는 이전의 연구들과 맥락을 같이한다. 4월에 발표된 한 연구 따르면 사람들은 Zoom을 통해 서로 대화할 때 실제보다 유창하지 못하며, 대화를 나누는 횟수도 적었다. 2022년에 발표된 다른 연구에서는 뇌파를 사용하여 쌍을 이룬 참가자의 뇌 활동이 같은 방에 앉아있을 때보다 화면에서 사회적으로 동기화될 가능성이 작다는 사실을 발견했다.

비대면 환경 개선할 수 있으나 대면 상호 작용 여전히 중요해

일각에선 얼굴 인식이 전부는 아니며, 침묵하고 가만히 응시하는 것보다는 좀 더 적극적인 상호 작용에 대한 추가적인 실험이 필요하다고 지적했다. 해당 연구에선 일반적으로 사회적 상호 작용이 의미하는 것과 비교할 때 매우 정적인 면을 다루고 있다는 점이 아쉽다는 설명이다. 28명이라는 비교적 적은 표본 규모도 한계라고 지적했다.

화면 밝기나 이미지 해상도와 같은 변수로 인해 참가자가 유리를 통해 보는 것보다 모니터에 집중하기 더 어려웠을 가능성이 있다고 하지만, 실제 화상 통화에서 작은 조정으로 온라인 연결 경험을 향상할 수 있다는 뜻으로 해설될 수 있다. 화상 회의는 이미 일상생활에 녹아들었다. 따라서 비대면 활동을 필요 이상으로 줄이기보다는 화상 통화의 단점을 잘 이해하고, 가상 환경을 개선하는 데 도움이 되는 보조 수단을 적극적으로 찾아야 하는 시점이다.

연구진은 화면에 카메라가 내장된 모니터를 사용하면 더 쉽게 눈을 맞추고 더 많은 사회적 동기를 부여할 수 있다고 제안한다. 비디오 지연 시간과 오디오 결함을 줄이면 참여도 향상에도 큰 도움이 된다. 증강 현실 헤드셋이나 구글의 프로젝트 스타라인에서처럼 사람을 3차원으로 투영하는 것도 좋은 해결 수단이 될 수 있다.

그리고 어쩌면 진정한 해답은 때때로 대면 상호 작용을 대체할 수 없다는 사실을 인정하는 데 있을지도 모른다. 결국 삶은 화면 너머에 존재한다.

---

It's Not All in Your Head--You Do Focus Differently on Zoom

Virtual meetings and video calls don’t quite stack up to in-person interaction—and a new study proves it

If you’ve ever felt that a Zoom meeting or video call wasn’t scratching your itch for an in-person chat, science is on your side. Staring at another person’s face via a live computer screen prompts lower levels of certain brain activities and social arousal, compared with seeing them in reality, according to a study published last month in the journal Imaging Neuroscience.

In a world where screens now frequently supplant real-life sit-downs, the study hints that there could be social consequences to leaning heavily on video conferencing platforms for education, telemedicine or professional exchanges or in our personal lives. The new research also implies that improvements to virtual communication technology could make a difference.

“This is a very nice study,” says Antonia Hamilton, a social neuroscientist at University College London, who was not involved in the research. The researchers’ multimodal methods—multiple assessments of brain activity and social engagement that they used to detect differences between virtual and real-life interactions—were “particularly impressive,” she adds.

The study authors measured eye movements, pupil size, electrical activity in the brain (using electroencephalography, or EEG) and brain blood flow (via functional near-infrared spectroscopy, or fNIRS) among a total of 28 participants. Grouped into 14 pairs and fitted with electrodes and hatlike fNIRS devices, the participants spent a total of three minutes alternating between staring silently at each other for a few seconds and taking brief rest breaks. In half of the trials, pairs faced each other in person through a transparent pane of glass; in the other half, they did so through a live video monitor. The researchers controlled for image size and camera angle to ensure that the face shown on the monitor closely matched the person’s real-life appearance. Each participant completed both types of trial.

In nearly every type of data collected, the study authors found significant differences between participants’ brain and eye activity when comparing the virtual and real-life trials. People looked at their partner’s eyes for longer in person than virtually. During the screen-based task, people’s eyes moved from side to side more, possibly indicating higher levels of distraction. Pupil diameter, a proxy for social arousal and emotional engagement, was larger among participants during the real-life staring task than when their eyes were directed at a computer monitor. Some electrical activity associated with facial recognition and sensitivity to moving faces was stronger among participants during the in-person task, according to the EEG data. And during the in-person trials, the fNIRS measurements (which are similar to those collected by functional magnetic resonance, or fMRI, imaging) showed higher levels of activity in brain parts related to visual attention, facial processing and visual stimulation.

“We now have a wealth of information” demonstrating that video and real-life interactions are meaningfully different for human brains, says Joy Hirsch, senior author of the new study and a neuroscientist at the Yale University School of Medicine. “The context of live social interactions matters perhaps more than we thought.”

The findings are further evidence of what other recent research has begun to demonstrate: that virtual interactions may be less socially effective than those that are conducted in person. One study published in April found that people talk to each other less adeptly via Zoom than in real life—they take fewer turns in conversations. (Zoom did not respond to a request for comment.) A different study from 2022 used EEG to find that paired participants’ brain activity is less likely to sync up across a screen than when they are sitting in the same room.

“It’s reassuring to see that there’s an effect” across all these new measurements, says Guillaume Dumas, a computational psychiatry researcher and cognitive neuroscientist at the University of Montreal. Dumas was one of the authors on the 2022 EEG study but wasn’t involved in the new research. The novel results echo much of what Dumas’s previous work showed but also add to a specific understanding of how video calls change face perception—“which is an important aspect of our social life,” he says.

Yet facial perception isn’t everything, and Dumas notes that he would’ve liked to see tests of more active interaction rather than just silent, still staring. In the new study, he explains, “we are dealing with something that’s very static, compared to what we usually mean by social interaction.”

Jennifer Wagner, a developmental cognitive neuroscientist at the College of Staten Island, City University of New York (CUNY) and the CUNY Graduate Center, who also wasn’t involved in the new study, agrees. “While the results are compelling and contribute to our understanding of face processing, future work will be needed to determine if these differences between ‘in real life’ and ‘on-screen’ remain in conditions when faces are socially interactive,” Wagner says.

Other limitations include the relatively small sample size of 28 participants, Hirsch notes. Wagner adds that not all of the EEG data were in complete agreement. And it’s difficult to account for every factor of difference between looking at a screen and looking through clear glass: there is the possibility that variables such as screen brightness or image resolution made it harder for participants to focus on the monitors than through the glass, Dumas suggests. Yet those things are true in actual video calls as well—which implies that perhaps small, scientifically informed adjustments could boost our experience of connecting online.

The video meeting “is with us forever and ever,” Hirsch says—adding that her research obviously isn’t a reason to avoid such calls altogether (nor necessarily to ban remote work, which has its own benefits). Instead she hopes it will help people better understand the deficiencies of video calls and serve as an impetus to improve virtual communication. “One of the take-homes is that we can identify limitations of this technology and use it accordingly,” she says.

Perhaps monitors with cameras integrated into screens could enable easier eye contact and more social synchronicity, Hirsch says. Reducing video latency and audio glitches might improve engagement, according to Dumas. Augmented reality headsets or more three-dimensional projections of people (as in Google’s Project Starline) could be additional high-tech ways of addressing the problem, he says.

And perhaps the real answer lies in acknowledging that sometimes there’s no replacement for face-to-face interaction. Life, after all, exists beyond our screens.