Skip to main content

[해외 DS] 샌드아트와 수학의 만남, 일시적인 예술의 영원한 이야기 (1)

[해외 DS] 샌드아트와 수학의 만남, 일시적인 예술의 영원한 이야기 (1)
Picture

Member for

1 month 1 week
Real name
이태선
Position
연구원
Bio
[email protected]
세상은 이야기로 만들어져 있습니다. 다만 우리 눈에 그 이야기가 보이지 않을 뿐입니다. 숨겨진 이야기를 찾아내서 함께 공유하겠습니다.

수정

바누아투, 다양한 언어와 문화로 구성된 군도
유네스코가 인정한 무형 유산, 모래 그림
민족수학자의 연구로 수학적 모델 발견


ancient_art_form_0
바누아투에서는 모래 그림을 그리기 전에 원형(사진) 또는 직사각형의 격자를 그린다/사진=알반 다 실바

바누아투는 83개의 섬으로 이루어진 군도로, 약 315,000명의 다양한 인구가 거주하고 있다. 이 나라는 138개의 방언을 사용하는 세계에서 가장 높은 언어 다양성을 자랑한다. 학교에서 가르치는 두 가지 공식 언어는 프랑스어와 영어다. 바누아투에서 사용되는 앵글로-멜라네시아 피진어인 비슬라마 또는 비클라마가 공용어다.

문화는 바누아투의 북부와 남부, 심지어 같은 섬 내에서도 다양하다. 예를 들어 모래 그림은 일부 중부 섬에서만 널리 퍼져 있다. 이 전통은 인도 타밀나두의 흙에 그림을 그리는 것을 연상시키지만 여러 가지 면에서 독특하며, 2008년 유네스코는 바누아투의 모래 그림을 인류무형문화유산으로 분류했다.

바누아투의 '한붓그리기', 수학적 특성 공유해

ancient_art_form_1
지도는 군도 국가인 바누아투의 일부를 보여주고 있다. 민족수학자 알반 다 실바는 바누아투의 페나마 지방, 특히 마에오 섬과 펜테코스트 섬에서 모래 그림을 공부했다/사진=알반 다 실바

민족수학자(Ethnomathematician) 알반 다 실바는 2018년 매오섬과 2019년 펜테코스트섬에서 실시한 두 차례의 현장 조사를 기반으로 샌드드로잉의 수학적 모델을 개발했다. 특히 펜테코스트섬 북부의 라가 지역('라라'로 발음)의 사람들이 그린 그림에 초점을 맞췄다. "이 섬들은 아오바섬과 함께 페나마 지방을 구성하고 있으며 공통된 전통을 가지고 있어 연구에 큰 도움이 되었다"라고 실바는 말했다. 실제로 수학적 언어는 샌드드로잉 작업을 설명하는 데 적합한 것으로 밝혀졌으며, 모래 그림을 통해 바누아투 사회가 환경과 관계 맺는 방식을 이해하는 데 도움이 될 수 있다고 덧붙였다.

ancient_art_form_1-1
곡선과 직선으로 복잡한 문양을 띄는 샌드아트/사진=알반 다 실바

비슬라마에서 알려진 샌드드로잉은 수천 년의 역사가 있다. 전통적으로 샌드드로잉은 흙이나 모래사장, 재가 쌓인 곳에 손가락으로 연속적인 닫힌 선을 그리는 예술 작품이다. '연속'과 '닫힌'이라는 단어는 수학에서와 같은 의미로, 모래에 그리는 선은 평면의 닫힌 연속 곡선과 유사하다. 이렇게 그려진 선은 선 또는 점으로 구성된 복합 그리드에 의해 제약을 받는다. 그리드는 직사각형 또는 원형일 수 있다. 얼마나 많은 디자인이 사용되고 있는지 알기는 어렵지만, 시간이 지남에 따라 새로운 디자인이 나타나고 안 쓰는 디자인은 사라진다. 지적 재산에 가까운 시스템이 도면을 보호하고 있으므로 이 전통 지식에 대한 접근은 때때로 민감하고 까다롭다.

자연의 언어를 담은 문양, 한 폭의 수학적 추상화

ancient_art_form_4
포식자를 피해 돌 밑에 숨어 있는 물고기를 연상시키는 모래 그림/사진=알반 다 실바

모래 그림은 스토리를 담고 있다. 동물, 곤충, 식물의 상징적인 그림은 해당 사회의 신념, 우주관, 사회 조직, 심지어 전통과도 밀접하게 연관되어 있는데, 이러한 그림은 '카스톰'(kastom)이라는 일반적인 이름으로 함께 묶인다. 또한 바누아투 중부 사회의 윤리적 또는 정치적 내러티브를 이해하는 힌트가 되기도 한다. 많은 경우, 각 그림에는 이러한 다양한 측면과 관련된 토속적인 이름이 붙어 있다.

오늘날 이 사회에서는 이러한 관행을 사람들이 의식, 종교 및 환경 지식을 기억하는 데 도움이 되는 전통적인 그래픽 아트로 인식하고 있다. 또한 라가 지역에서 만난 추장 지프 토달리는 예술가들이 대변인이라고 설명했다: "투투라니(백인 외국인)가 도착하기 전, 북부 펜테코스트 사람들은 말할 줄 몰랐다. 그들은 손가락으로 땅바닥을 따라 그린 그림으로 자신을 표현했었다. 사람 대신 바위, 돌, 언덕과 계곡의 땅, 바람, 비, 바다의 물이 말을 했지만, 이제는 상황이 바뀌었다. 말하는 것은 사람들이고 땅과 바람과 비와 바다는 침묵하고 있다. 이제 라가 지역 사람들은 땅이 더 이상 스스로를 대변할 수 없으니, 우리가 땅을 대변해야 한다'라고 말했다.

샌드드로잉은 완성된 작품이 잠시 후 사라지는 일시적인 예술로, 이는 스토리텔링에 감정을 자극한다. 예술가들은 그림을 그리면서 이야기를 전달하며, 특히 재능 있는 사람들은 그림을 그리면서도 동시에 이야기를 전달할 수 있다. 익숙한 장소, 인물, 동물 또는 심지어 채소 등 역사와 관련된 세부 사항을 그림에 추가하여 관객들의 상상력을 자극하기도 한다. 작품의 일시적인 특성이라는 측면에서 더 깊은 감동을 선사하는 효과가 있다.

[해외 DS] 샌드아트와 수학의 만남, 일시적인 예술의 영원한 이야기 (2)로 이어집니다.


An Ancient Art Form Topples Assumptions about Mathematics

The sand drawings of Vanuatu follow principles from a branch of mathematics known as graph theory

In October 2015 my time training mathematics teachers at a French high school in Port Vila, Vanuatu, was coming to an end. The principal invited me to share kava, a traditional drink in the country. As every social scientist in Vanuatu discovers, sharing kava is a fruitful opportunity for learning. This beverage, which is made from the roots of a tree of the same name, relaxes the drinker and loosens the tongue.

This first encounter with kava was also my introduction to sand drawing. That evening, one of the trainees took out a large board covered with very fine sand. After carefully flattening the surface, he drew a grid of horizontal and vertical lines. Then he began tracing furrows in the sand without ever lifting his finger. When the artist finished, he explained in the language Bislama, “Hemia hem i wan fis i ronwe i stap unda ston from i kat wan sak,” meaning “It is a fish that hides under a stone to escape the shark.”

The fluidity of the line, mixed with the effects of kava, plunged me into a state of wonder. The technique reminded me of the classic challenge to draw a complex figure with a single stroke, without lifting one’s pen or going over the same line twice. It also called to mind a “Eulerian graph” in mathematics, which involves a trail that traverses every edge exactly once while starting and ending at the same point.

As I considered these ideas, an intern approached me and whispered, “Where is the mathematics in this drawing, teacher?” Though he could not have known it, that remark would go on to shape the next six years of my life, including my doctoral work on sand drawing. One question particularly inspired me: How were such drawings created?

My investigation took me further than I could have imagined. By watching expert sand artists, learning about their methods, collecting drawings and history and exploring the work of 20th-century ethnologists, I have developed a mathematical model of sand drawing. My work shows that these artworks can be modeled as the result of algorithms and operations of an algebraic nature. Indeed, mathematical language turns out to be appropriate for describing the work of sand drawing experts. Furthermore, sand drawing can help us understand the relationships that Vanuatu societies maintain with their environment.

A Traditional Art

Vanuatu is an archipelago with a population of some 315,000 people spread throughout 83 islands. The country has the highest linguistic density in the world, with 138 vernacular languages. The two official languages taught in school are French and English. Bislama, or bichlamar, an Anglo-Melanesian pidgin used in Vanuatu, is the common language.

Cultures vary in the north and south of the country and even within the same island. The sand drawing practice is widespread only in some central islands, for example. Although the tradition is reminiscent of drawings done on soil in Tamil Nadu, India, it is unique in many ways. In 2008 UNESCO classified the sand drawing of Vanuatu as part of the intangible cultural heritage of humanity.

My research is based on two field surveys that were conducted on Maewo Island in 2018 and Pentecost Island in 2019 and that particularly focused on drawings made by people in the Raga region (pronounced “Ra-ra”) on northern Pentecost Island. These islands, along with Aoba Island, constitute the province of Penama and are bound by common traditions, which greatly facilitated my research.

“Sand drawing,” or sandroing, as it is known in Bislama, is probably thousands of years old. Traditionally, it consists of a person drawing a continuous, closed line with their finger in beaten earth, sand beaches or ashes. (The words “continuous” and “closed” have the same meaning here as in mathematics: a drawing in the sand is similar to the closed continuous curve of a plane.) This drawn line is constrained by a composite grid of lines or dots. The grid can be rectangular or circular.

Although it is difficult to know how many designs are in use, it is clear that, over time, new ones appear, and others disappear. A system very close to intellectual property protects these drawings, making access to this traditional knowledge sometimes sensitive and challenging.

These artworks are multidimensional in their significance. Some iconic drawings of animals, insects or plants are closely linked with the beliefs, cosmogonies, social organization or even traditions of these societies—which are grouped together under the generic name of kastom. The drawings can also support narratives; they reveal the ethical or political dimensions of societies in central Vanuatu. In many cases, each design bears a vernacular name related to these different aspects.

Today these societies recognize this practice as a traditional graphic art that helps people recall ritual, religious and environmental knowledge. In addition, Jief Todali, a chief whom I met in the Raga region, explained to me that the artists are spokespeople: “Before the arrival of the tuturani [the white foreigners], the people of northern Pentecost did not know how to speak. They expressed themselves through drawings that they traced on the ground with their fingers. Instead of people, the rocks, the stones, the ground of the hills and valleys, the wind, the rain, the water of the sea spoke. But now the situation is reversed. It is the people who speak, and the earth, the wind, the rain and the sea are silent. Now [the people from the Raga region] sometimes say, ‘We have to speak for the land because it can no longer speak for itself.’”

Finally, this ephemeral art—each drawing is erased once it is finished—stimulates storytelling. Practitioners generally pair their drawings with the telling of a tale, and the most gifted ones are able to do this while drawing. It is not uncommon for them to appeal to the imagination of spectators by adding details related to their history, including familiar places, characters, animals and even vegetables.

Picture

Member for

1 month 1 week
Real name
이태선
Position
연구원
Bio
[email protected]
세상은 이야기로 만들어져 있습니다. 다만 우리 눈에 그 이야기가 보이지 않을 뿐입니다. 숨겨진 이야기를 찾아내서 함께 공유하겠습니다.

[해외 DS] 냄새 예측, 머신러닝으로 한 걸음 더

[해외 DS] 냄새 예측, 머신러닝으로 한 걸음 더
Picture

Member for

1 month 1 week
Real name
이시호
Position
연구원
Bio
[email protected]
세상은 다면적입니다. 내공이 쌓인다는 것은 다면성을 두루 볼 수 있다는 뜻이라고 생각하고, 하루하루 내공을 쌓고 있습니다. 쌓아놓은 내공을 여러분과 공유하겠습니다.

수정

분자의 화학적 특성에 따라 냄새를 예측하는 모델 개발
50만 개의 분자에 대한 냄새 예측, 인간의 70년 작업량
혼합물 인식은 다음 단계, 조합의 수 증가로 어려움 예상

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.


ml_creates_map_of_odor
사진=Scientific American

사람의 코에 황화수소는 썩은 달걀 냄새를, 제라닐 아세테이트는 장미 냄새를 풍긴다. 하지만 새로운 화학 물질의 냄새를 맡지 않고 어떤 냄새가 날지 추측하는 문제는 식품 과학자, 조향사, 신경 과학자 모두에게 오랫동안 큰 난제였다.

냄새 물질의 화학적 특성과 냄새의 관계, 더욱 명확하게 밝혀 줄 것으로 기대

그러나 최근 발표된 사이언스(Science) 연구에 따르면, 연구자들은 '주요 냄새 지도'(Principal Odor Map)를 개발해 이 문제에 도전했다. 주요 냄새 지도 모델링은 아직 합성된 적이 없는 50만 개의 분자에 대한 냄새를 예측했는데, 이는 인간이 직접할 때 70년이나 걸리는 작업량이다. 이 연구를 공동 주도한 미시간주립대 식품과학자 에밀리 메이휴(Emily Mayhew)는 "전례 없는 분자 프로파일링 속도"라고 강조했다.

principal_odor_map
사진=Scientific American

빛의 색은 파장으로 정의되지만, 분자의 물리적 특성과 냄새의 관계는 그렇게 단순하지 않다. 미세한 구조적 변화만으로도 분자의 냄새가 크게 달라질 수 있으며, 반대로 분자 구조가 다른 화학물질도 비슷한 냄새를 풍길 수 있다. 그 때문에 이전의 머신러닝 모델은 화학 정보학이라고 불리는 알려진 냄새 성분의 화학적 특성과 냄새 사이의 연관성을 발견했지만, 예측 성능은 제한적이었다.

새로운 연구에서 연구진은 5,000개의 이미 알려진 냄새 성분으로 신경망을 훈련해, 분자의 냄새에 영향을 미치는 정도에 따라 256개의 화학적 특징을 강조하도록 했다. 이 연구에 참여하지 않은 IBM Research의 계산생물학자 파블로 메이어 로하스(Pablo Meyer Rojas)는 표준 화학 정보학 대신 "연구진은 자체적인 방법을 사용했다"라며 "그들은 냄새와 관련된 속성을 직접 유추했다"라고 설명했다.

비슷한 냄새 물질 군집화 및 냄새 강도·유사도 예측, "단일 분자에 한함"

이 모델은 화학적 특성에 따라 각 분자의 좌표가 결정되는 거대한 냄새 지도를 생성한다. 또한 '풀 냄새' 또는 '나무 냄새'와 같은 55개의 설명 레이블을 사용하여 각 분자가 사람에게 어떤 냄새가 나는지 예측할 수 있다. 놀랍게도, 비슷한 냄새를 풍기는 냄새 물질이 지도에 군집으로 나타나는데, 이는 이전의 냄새 지도에서는 찾아볼 수 없었던 기능이다.

이어서 연구팀은 모델이 새로운 냄새 물질을 얼마나 잘 예측하는지를 평가하기 위해 15명의 사람의 판단을 기반으로 모델의 예측을 분석했다. 결과적으로, 모델의 예측은 사람의 평균적인 설명과 매우 유사했다. 게다가 모델은 냄새의 강도와 두 분자 간의 냄새 유사도 예측까지 성공했는데, 이는 명시적으로 설계되지 않은 두 가지 기능이라는 점에서 놀라운 발견이었다.

그러나 이 모델은 단일 분자의 냄새만 예측할 수 있다는 한계점이 있다. 향수와 냄새나는 쓰레기봉투가 있는 일상 세계에서 냄새는 종종 다양한 물질의 혼합물이다. 메이휴는 "혼합물 인식은 다음 단계"라며, 가능한 조합의 수가 매우 많기 때문에 혼합물을 예측하는 것은 엄청난 어려움을 겪을 것이지만, "첫 번째 단계는 각 분자가 어떤 냄새를 내는지를 이해하는 것"이라고 메이어 로하스는 설명했습니다.


Machine Learning Creates a Massive Map of Smelly Molecules

Scientists can finally predict a chemical’s odor without having a human sniff it

To a human nose, hydrogen sulfide smells like rotten eggs, geranyl acetate like roses. But the problem of guessing how a new chemical will smell without having someone sniff it has long stumped food scientists, perfumers and neuroscientists alike.

Now, in a study published in Science, researchers describe a machine-learning model that does this job. The model, called the Principal Odor Map, predicted smells for 500,000 molecules that have never been synthesized—a task that would take a human 70 years. “Our bandwidth for profiling molecules is orders of magnitude faster,” says Michigan State University food scientist Emily Mayhew, who co-led the study.

The color of light is defined by its wavelength, but there's no such simple relationship between a molecule's physical properties and its smell. A tiny structural tweak can drastically alter a molecule's odor; conversely, chemicals can smell similar even with different molecular structures. Earlier machine-learning models found associations between the chemical properties of known odorants (called chemoinformatics) and their smells, but predictive performance was limited.

In the new study, the researchers trained a neural network with 5,000 known odorants to emphasize 256 chemical features according to how much they affect a molecule's odor. Rather than using standard chemoinformatics, “they built their own,” says Pablo Meyer Rojas, a computational biologist at IBM Research, who was not involved in the study. “They directly inferred the properties that are related to smell,” he says—although how the model arrives at these predictions is too complex for a human to understand.

The model creates a giant map of odors, with each molecule's coordinates determined by its chemical properties. The model also predicts how each molecule will smell to a human, using 55 descriptive labels such as “grassy” or “woody.” Remarkably, similar-smelling odorants appeared in clusters on the map—a feature prior odor maps couldn't achieve.

The team then compared the model's scent predictions with the judgments of 15 humans trained to describe new odorants. The model's predictions were as close as those of any human judge to the panel's average descriptions of the new scents. It could also predict an odor's intensity and how similar two molecules would smell—two things it was not explicitly designed to do. “That was a really cool surprise,” Mayhew says.

The model's main limitation is that it can predict the odors of only single molecules; in the real world of perfumes and stinky trash bags, smells are almost always olfactory medleys. “Mixture perception is the next frontier,” Mayhew says. The vast number of possible combinations makes predicting mixtures exponentially more difficult, but “the first step is understanding what each molecule smells like,” Meyer Rojas says.

Picture

Member for

1 month 1 week
Real name
이시호
Position
연구원
Bio
[email protected]
세상은 다면적입니다. 내공이 쌓인다는 것은 다면성을 두루 볼 수 있다는 뜻이라고 생각하고, 하루하루 내공을 쌓고 있습니다. 쌓아놓은 내공을 여러분과 공유하겠습니다.

[해외 DS] 드론-AI, 우크라이나에서 지뢰 탐지 지원

[해외 DS] 드론-AI, 우크라이나에서 지뢰 탐지 지원
Picture

Member for

1 month 1 week
Real name
이효정
Position
연구원
Bio
[email protected]
지식은 전달하는 정보가 아니라, 함께 고민하기 위해 만들어진 언어입니다.

수정

지뢰 제거는 위험하고 시간이 많이 소요되는 작업
드론-AI 기술로 지뢰 제거 속도와 효율성 크게 향상해
정확도 개선 및 지표면 아래 지뢰 탐지 기능 추가 필요

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.


presence_of_landmines_at_Ukraine
2023년 2월 28일 키예프 교외에 있는 우크라이나 자원 봉사 부대의 위치에 지뢰가 있음을 알리는 표지판이 있다/사진=Scientific American

지뢰 제거는 시간이 많이 소요되는 작업으로 알려져 있다. 그리고 기술의 혁신이 오랜 기간 부재했었다. 2차 세계대전 이후 사용됐던 기술 수준을 벗어나지 못했고 작업 과정도 노동집약적이다. 그러나 컬럼비아대학교의 화산학및원격탐사학 박사과정생 재스퍼 바우어(Jasper Baur)와 Safe Pro Group(개인 보호 장비 제조업체)은 드론과 AI 기술을 융합하여 지뢰 제거 과정을 혁신하고자 한다. 드론과 AI의 결합은 지뢰를 빠르고 효율적으로 탐지하며 안전하게 제거하는 데 도움을 줄 것으로 기대된다.

탐지 정확도는 떨어지지만, 넓은 지역 효율적으로 분석할 수 있어

아이디어는 놀라울 정도로 간단하다. 먼저 드론이 지뢰가 매설된 것으로 추정되는 지역 상공을 비행하며 대량의 이미지를 수집한다. 그다음 70가지 유형의 지뢰, 집속탄, 기타 불발탄의 시각적 특성에 대해 학습된 바우어의 알고리즘은 이미지를 0.5인치 이하의 해상도로 처리하여 지도를 만든다. 그러면 이 모델은 사람이 같은 이미지를 검토하는 것보다 더 빠르고 정확하게 폭발물을 인식하고 매핑할 수 있다. "몇 분 안에 모든 지뢰 탐지 위치를 지도에 표시할 수 있다"라고 바우어는 강조했다.

약 90%의 탐지율을 보이는 드론은 기존 방법을 대체하는 것이 아니라 보강하는 역할을 한다. 지뢰를 하나하나 살펴보는 것이 아니기 때문에 정확성은 떨어지지만, 수작업에 비해 더 많은 지역을 커버할 수 있는 장점이 있다. 바우어와 그의 팀은 우크라이나에서 전쟁이 시작된 이래로 이 기술을 테스트하기 위해 우크라이나를 여러 차례 방문했다. 일부 추정에 따르면 우크라이나에는 지뢰와 기타 폭발물을 숨길 수 있는 약 67,000제곱마일(플로리다주와 비슷한 면적, 대한민국 국토의 약 1.7배)의 땅이 있다. 드론 AI 시스템을 사용하면 지뢰 제거 팀을 투입하기 전에 넓은 지역을 스캔하여 오염 밀도가 가장 높은 곳부터 제거 작업을 시작할 수 있어서 효율성이 극대화될 전망이다.

전쟁 피해 크지만, 지속적인 기술 혁신으로 복구 전망은 긍정적

싱크탱크 GLOBSEC이 발표한 추정에 따르면 우크라이나가 기존의 방법과 현재의 자원으로 피해를 복구하는 데는 750년 이상 걸릴 것이며, 우크라이나 경제부가 공유한 수치에 따르면 11월 1일 현재 러시아의 침공 이후 최소 264명의 민간인이 지뢰로 사망하고 830명 이상이 다쳤다. 세계은행은 제거 비용이 370억 달러를 넘을 것으로 추정했다. 그러나 지뢰 제거 관계자와 국제 전문가들은 우크라이나에서 개척되고 있는 지뢰 제거 혁신으로 인해 제거의 속도, 효율성 및 안정성을 영원히 바꿀 것으로 전망했다.

현재로서는 표면에 있는 폭발물만 감지할 수 있으며, 깊이 묻혀 있거나 초목으로 덮여 있는 폭발물은 감지할 수 없다. 이에 바우어가 설립한 비영리 단체인 지뢰제거연구커뮤니티(Demining Research Community)는 열화상 및 지표 투과 레이더를 사용하여 더 깊은 곳까지 살펴볼 방법을 테스트하고 있다. 또한 초목의 양에 따라 지뢰 탐지 결과에 대한 AI의 신뢰도를 평가할 수 있는 모델도 함께 개발 중이다.

한편 바우어 외에도 개인과 기관이 각자의 위치에서 힘을 모으고 있다. 우크라이나 정부는 미국의 데이터 분석 기업인 Palantir와 협력하여 이전에 사일로화되어 있던 수십 개의 데이터 스트림을 결합하고 어떤 지뢰 제거가 가장 큰 영향을 미칠지 결정하는 모델을 개발했다. 또한 지뢰 신고 앱을 개발한 우크라이나 대학생 프로그래머와 트랙터를 지뢰 제거 기계로 개조한 농부들도 지뢰 제거 작업에 힘을 보태고 있다. 전쟁의 피해가 지금도 발생하고 있는 우크라이나에서 지친 몸과 마음을 달래는 한 줄기 빛과 같은 소식이다.


Drones and AI Could Locate Land Mines in Ukraine

An AI model could speed up laborious and dangerous demining efforts

Finding and removing land mines is an excruciatingly slow process. Human deminers scour contaminated ground inch by inch with handheld metal detectors, waiting for the telltale beep of a magnetic anomaly. Although trained dogs are sometimes used, metal detectors have remained the go-to clearance method since the end of World War II.

“There's a very long period where there hasn't been much innovation in the field,” says Jasper Baur, a Ph.D. student in volcanology and remote sensing at Columbia University. Baur and his collaborators at Safe Pro Group, a manufacturer of personal protective gear, have been developing a drone-based machine-learning technology to make demining safer and faster than with traditional methods.

The idea is deceptively simple: A drone flies over an area thought to be mined, collecting a large volume of images. Baur's algorithm, trained on the visual characteristics of 70 types of land mines, cluster munitions, and other unexploded ordnance, processes the images into a map, with resolution down to a fraction of an inch. The model can then recognize and map explosives more quickly and accurately than a human reviewing the same images. “In a matter of minutes you'll have a map plotted out with where all the land-mine detections are,” Baur says.

With a reported detection rate of about 90 percent, the drones are meant to augment traditional methods, not replace them. “It's less comprehensive because you're not going through inch by inch,” Baur says. But the approach can reveal potential dangers and can cover more ground than manual efforts.

Baur and his team have visited Ukraine to test the technology multiple times since the start of the war there. They hope their work can speed up a demining process that, using current resources, could take more than 750 years. By some estimates, Ukraine has about 67,000 square miles (an area roughly the size of Florida) that could harbor mines and other explosives. With the new system, “you can scan wide areas of land and try to figure out where the highest density of contamination is” before sending in humans to defuse the mines, Baur says.

For now the AI can detect only surface-level explosives, not deeply buried ones or those covered by vegetation. Baur's nonprofit organization, the Demining Research Community, is testing ways to look deeper by using thermal imaging and ground-penetrating radar. It is also developing a model that can rate the AI's level of confidence in its mine-detection results based on the amount of vegetation present.

Milan Bajić, an expert in remote sensing who has been involved in demining efforts in Croatia, says the approach is a valuable addition to the demining tool kit. “There is no silver bullet of technology,” he says, “but combining different technologies can be more successful than any of them.”

Picture

Member for

1 month 1 week
Real name
이효정
Position
연구원
Bio
[email protected]
지식은 전달하는 정보가 아니라, 함께 고민하기 위해 만들어진 언어입니다.

[해외 DS] MIT·Google, '합성 이미지'를 사용하여 이미지 생성 모델 훈련

[해외 DS] MIT·Google, '합성 이미지'를 사용하여 이미지 생성 모델 훈련
Picture

Member for

1 month 1 week
Real name
김광재
Position
연구원
Bio
[email protected]
균형 잡힌 시각으로 인공지능 소식을 전달하겠습니다.

수정

StableRep, AI로 생성한 이미지를 훈련 데이터로 활용
실제 이미지로 학습한 다른 모델보다 우수한 성능 기록 
하지만 이미지 생성 속도가 느려지고 비용이 많이 듦

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.


synthetic_training_data
출처=Microsoft Bing Image Creator

OpenAI의 DALL-E 3은 출시와 동시에 사용자들을 놀라게 했었다. OpenAI는 합성 이미지를 사용하여 모델을 학습시켰기 때문에 기능이 향상되었다고 설명했다. MIT와 Google의 연구팀은 이 개념을 확장하여 인기 있는 오픈소스 텍스트-이미지 모델인 Stable Diffusion에 합성 이미지를 학습 시켰다.

'다중양성대조학습', 나무보다 숲을 보는 법을 알려줘

연구진은 '다중양성대조학습'(multi-positive contrastive learning method) 방법을 사용하여 StableRep이라는 모델을 개발했다. 이 방법은 같은 텍스트 프롬프트에서 생성된 여러 이미지를 서로 양성(positive)으로 간주하여 훈련 중에 추가 정보를 제공함으로써 다양성을 더할 뿐만 아니라 비전 시스템에 어떤 이미지가 비슷하고 어떤 이미지가 다른지 학습한다. 즉, AI 이미지 생성 모델은 예를 들어 특정 풍경의 다양한 변형을 살펴보고 해당 풍경과 관련된 모든 설명을 상호 참조하여 해당 이미지를 기반으로 뉘앙스를 파악한다. 그 후 최종적으로 이를 적용하여 매우 상세하고 현실적인 이미지가 생성된다.

MIT와 Google의 연구팀은 StableRep을 Stable Diffusion에 적용하여 SimCLR 및 CLIP와 같은 경쟁 이미지 생성 모델보다 더 우수한 성능을 발휘하도록 했다. 이러한 노력으로 StableRep은 이미지넷 분류에서 76.7%의 선형 정확도를 달성했고, 언어 감독을 추가(StableRep+)한 결과, 2천만 개의 합성 이미지로 학습한 StableRep이 5천만 개의 실제 이미지로 학습한 CLIP보다 우수한 성능을 보였다.

MIT 박사 과정 중이며 수석 연구원인 리지 팬(Lijie Fan)은 "단순히 데이터만 공급하는 것이 아니기 때문에" 이 기술이 더 우수하다고 전했다. "같은 텍스트로부터 생성된 여러 이미지가 공통된 사물의 묘사로 취급될 때, 모델은 픽셀뿐만 아니라 물체와 같이 이미지 뒤에 숨어 있는 개념에 대해 더 깊이 파고듭니다."

Stable Diffusion에 의존하기 때문에 속도·비용·편견 해결 못 해

StableRep에도 단점이 있다. 예를 들어 이미지 생성 속도가 느리고 StableRep의 기본 모델인 Stable Diffusion은 여전히 실제 데이터에 대한 초기 학습을 거쳐야 하므로 StableRep을 사용하여 이미지를 생성하려면 시간이 더 오래 걸리고 비용도 더 많이 들 수 있다.

방대한 양의 실제 이미지를 수집하는 것에 대한 의존도를 낮춰 비용 효율을 높이고 사람의 큐레이션으로 인한 편견을 최소화할 수 있다는 점에서 의미가 있지만, 큐레이션 되지 않은 대규모 웹 데이터로 학습된 텍스트-이미지 생성 모델에는 여전히 잠재적인 사회적 편견과 오류가 존재할 수 있다. 또한 프롬프트의 텍스트 선택이 생성된 이미지에 영향을 미쳐 또 다른 잠재적 편견을 야기할 수 있다.

StableRep은 GitHub을 통해 액세스할 수 있고, 상업적으로 활용할 수 있다. StableRep은 Apache 2.0 라이선스에 따라 사용하고 2차 저작물 제작이 가능하다. 그러나 재배포된 저작물 또는 파생 저작물과 함께 Apache 라이선스 사본을 제공하고 변경 사항에 대한 공지를 포함해야 한다. 라이선스에는 책임 제한 조항이 포함되어 있어, 기여자는 라이선스가 부여된 저작물의 사용으로 인한 손해에 대한 책임을 지지 않는다. 또한 이 라이선스에는 책임 제한 조항이 포함되어 있어, 기여자는 라이선스가 부여된 저작물의 사용으로 인해 발생하는 어떠한 손해에 대해서도 책임을 지지 않는다.


MIT, Google: Using Synthetic Images to Train AI Image Models

Researchers describe a new method for creating highly detailed AI images, using training data made up of AI-generated images.

At a Glance

  1. MIT and Google researchers developed a new technique that generates highly detailed images in image generation models.
  2. Called StableRep, it uses AI-generated images to train AI models.
    Researchers applied it to open-source Stable Diffusion.
  3. But StableRep has flaws that make image generation slower and likely costlier to do.

Upon launch, OpenAI’s DALL-E 3 wowed users with its ability to generate highly detailed images compared to prior versions. OpenAI said the model's improved ability to do so came from using synthetic images to train the model. Now, a team of researchers from MIT and Google are expanding on this concept, applying it to the popular open source text-to-image model Stable Diffusion.

In a newly published paper, the researchers described a new approach to using AI-generated images to train image generation models that they call StableRep. It uses millions of labeled synthetic images to generate high-quality images.

The researchers said StableRep is a “multi-positive contrastive learning method” where multiple images generated from the same text prompt are treated as positives for each other, which enhances the learning process. That means an AI image generation model would view several variations of, for example, a landscape and cross-reference them with all descriptions related to that landscape to recognize nuances based on those images. It would then apply them in the final output. This is what creates a highly detailed image.

Outperforms rivals
The MIT and Google researchers applied StableRep to Stable Diffusion to make it outperform rival image generation models such as SimCLR and CLIP, which were trained with the same text prompts and corresponding real images.

StableRep achieved 76.7% linear accuracy on the ImageNet classification with a Vision Transformer model. Adding language supervision, the researchers found that StableRep, trained on 20 million synthetic images, outperformed CLIP, which was trained on 50 million real images.

Lijie Fan, a doctoral candidate at MIT and lead researcher, said that their technique is superior as it “not just feeding it data.” “When multiple images, all generated from the same text, all treated as depictions of the same underlying thing, the model dives deeper into the concepts behind the images, say the object, not just their pixels.”

StableRep does have its flaws. For example, it is slow to generate images. It also gets confused on semantic mismatches between text prompts and the resultant images.

StableRep’s underlying model, Stable Diffusion, also needed to go through an initial round of training on real data – so using StableRep to create images will take longer and likely be costlier.

Access StableRep
StableRep can be accessed via GitHub.

It is available for commercial use – StableRep is under an Apache2.0 License, meaning you can use it and produce derivative works.

However, you would have to provide a copy of the Apache License with any redistributed work or derivative works and include a notice of the changes. The license also includes a limitation of liability, where contributors are not liable for any damages arising from the use of the licensed work.

Picture

Member for

1 month 1 week
Real name
김광재
Position
연구원
Bio
[email protected]
균형 잡힌 시각으로 인공지능 소식을 전달하겠습니다.

[해외 DS] 소형 AI, 지속가능성·접근성·적합성 '3박자'

[해외 DS] 소형 AI, 지속가능성·접근성·적합성 '3박자'
Picture

Member for

1 month 1 week
Real name
이시호
Position
연구원
Bio
[email protected]
세상은 다면적입니다. 내공이 쌓인다는 것은 다면성을 두루 볼 수 있다는 뜻이라고 생각하고, 하루하루 내공을 쌓고 있습니다. 쌓아놓은 내공을 여러분과 공유하겠습니다.

수정

모델의 규모가 점점 커지고 있지만, 작은 모델도 비슷한 성능 낼 수 있어
작은 모델은 에너지 효율적이고, 접근하기 쉬우며, 다양한 장치에 적합해
인간의 학습 방식을 이해하고 모델을 훈련해야 혁신적인 기계 학습 가능

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.


인공 지능의 규모는 점점 커지고 있다. OpenAI의 ChatGPT나 Google의 Bard와 같은 유명한 챗봇을 구동하는 대규모 언어 모델(LLM)은 이제 1,000억 개 이상의 파라미터로 만들어진다. 이 모델들은 AI가 입력에 대한 출력을 결정하는 데 필요한 가중치와 변수를 담고 있는데, 이는 몇 년 전까지 가장 진보된 AI 모델에서도 상상할 수 없는 양의 정보다.

이러한 큰 규모의 AI 모델은 일반적으로 더 뛰어난 성능을 보장한다. 점점 더 방대해지는 학습 데이터와 그에 따른 모델의 크기로, 대학 시험에서부터 의대 입학시험까지 통과할 수 있는 수준의 챗봇이 나타났다. 그러나 이런 발전에는 단점도 따른다. 모델이 커질수록 관리가 어려워지고, 에너지 소모가 많아지며, 실행 및 구축 단계도 복잡해진다. 그래서 빅테크 기업에서는 더 작고 간단한 모델과 데이터 세트에 관심을 기울이는 추세다.

작은 크기에도 불구하고, Phi-1.5의 탁월한 성능

최근에는 Microsoft 연구팀이 Phi-1.5라는 새로운 언어 모델에 대한 기술 보고서를 발표했다. Phi-1.5는 13억 개의 파라미터로 이루어져 있는데, 이는 ChatGPT의 기반이 된 GPT-3.5 모델의 약 100분의 1 크기다. GPT-3.5와 Phi-1.5는 둘 다 트랜스포머 기반의 신경망으로, 언어의 문맥과 관계를 이해하여 작동하는 측면에서 공통점을 가지고 있다.

그러나 상대적으로 작은 크기에도 불구하고, phi-1.5는 (아직 동료 심사를 거치지 않은 사전 인쇄 논문으로) 공개된 보고서에서 "훨씬 더 큰 LLM의 많은 특장점을 공유하고 있다"라고 기술되었다. 이 모델은 벤치마킹 테스트에서 비슷한 크기의 많은 모델보다 우수한 성능을 보여주었으며, 5~10배 더 큰 다른 인공지능과도 견줄 만한 능력을 나타냈다. 지난 10월의 최신 업데이트를 통해 phi-1.5는 텍스트뿐만 아니라 이미지도 해석할 수 있는 멀티모달 기능을 갖추었다. 최근에 Microsoft는 27억 개의 매개 변수를 가진 phi-1.5의 후속 버전인 phi-2를 출시했는데, 이 제품은 여전히 소형인 것에 비해 더 많은 기능을 제공한다고 발표했다.

물론 Bard, GPT-3.5, GPT-4와 같은 LLM이 여전히 phi 모델보다 우세하다. 마이크로소프트 리서치의 수석 AI 연구원이자 보고서의 저자 중 한 명인 로넨 엘단(Ronen Eldan)은 "phi-1.5와 GPT-4를 비교하는 것은 중학생과 학부생을 비교하는 것과 같다"라고 말했다. 그러나 phi-1.5와 phi-2는 작은 AI 모델도 여전히 강력할 수 있고, 이는 GPT-4와 같은 거대한 AI 모델이 제기하는 몇 가지 문제를 해결할 수 있다는 가능성을 시사한다고 강조했다.

대규모 AI의 문제와 소형 AI의 가능성, "에너지·민주화·보안"

1,000억 개 이상의 파라미터를 가진 AI 모델을 학습하고 실행하는 데는 상당한 에너지가 필요하다. 워싱턴대학의 컴퓨터 엔지니어인 사자드 모아제니(Sajjad Moazeni)에 따르면, 전 세계에서 ChatGPT를 하루 사용하는 것은 미국 가정 33,000가구가 24시간 동안 소비하는 전력과 비슷한 양의 전력이 필요할 수 있다고 한다. Joule에 발표된 분석에 따르면, Google이 모든 검색 엔진 상호 작용을 Bard로 대체할 경우, 아일랜드의 전력 소비량과 비슷한 양의 전력이 소비될 것으로 조사됐다. 이러한 에너지 소비는 컴퓨팅 성능과 메가 모델을 학습하는 데 필요한 대량의 데이터로부터 비롯된다. 반면, 작은 규모의 AI가 실행에 필요한 컴퓨팅 성능과 에너지는 적다. 이러한 접근은 지속 가능성을 증진한다.

자원이 적게 필요한 AI는 더욱 접근하기 쉬운 AI다. 현재 상황에서 대규모 LLM을 구축하고 유지하는 데 필요한 자금과 서버 공간은 소수의 기업만 보유하고 있다. 작은 모델은 더 많은 사람이 개발하고 연구할 수 있게 해준다. 밀라-퀘벡 인공 지능 연구소의 계산 및 인지 언어학 연구원인 에바 포텔랑스(Eva Portelance)는 "작은 언어 모델은AI를 더욱 민주화할 수 있는 한 방법"이라며 "더 많은 데이터나 큰 모델을 필요로 하지 않기 때문에, 이는 대규모 기관 외부에서도 혁신을 이룰 기회를 제공한다"라고 언급했다.

현재 대부분의 LLM은 용량 때문에 스마트폰이나 노트북에 로컬로 저장하기 어려워 클라우드에서 실행된다. 그러나 작은 모델은 개인용 장치에서도 실행할 수 있다. '에지 컴퓨팅'으로 알려진 개인 장치에 연산 및 데이터 저장소를 통합하는 기술은 개별적인 드론과 같은 작은 장치에서 기계 학습 기반 센서 시스템을 가능케 한다. 언어 모델도 이처럼 작아진다면 다양한 애플리케이션에서 사용될 수 있을 것이다. 최신 가전제품인 스마트 냉장고나 웨어러블 기기인 애플 워치와 같은 기기에서 작은 언어 모델을 사용하면 클라우드에 연결하여 데이터를 전송하지 않고도 챗봇과 같은 인터페이스를 구현할 수 있다. 이는 데이터 보안을 강화하는 데 큰 도움이 될 것으로 예상된다.

'인간 지능'을 이해하기 위해 축소형 LLM이 적합, 설명 가능성을 높여야

AI 모델이 클수록 성능이 뛰어나지만, 모든 AI가 강력한 성능을 요구하지 않는다. 예를 들어, 스마트 냉장고의 챗봇은 식품 용어를 이해하고 목록을 작성할 수 있어야 하지만, 코드를 작성하거나 복잡한 계산을 수행할 필요는 없다. 작고 특화된 AI 모델이 기능에 맞게 개발된는 것이 중요하다. 특화되지 않은 대규모 인공지능 모델의 경우 각 매개변수의 역할을 분석하는 것이 사실상 불가능하다. '해석 가능성'이 제한적일 때, 특화된 소형 모델의 필요성이 대두되는 이유다.

인공 지능은 가장 우수한 언어 모델을 구축하는 것뿐만 아니라 인간 학습 방식을 이해하고 이를 기계적으로 모방하는 방법을 탐구하는 것이다. 모델의 크기와 해석 가능성은 인간의 사고를 이해하는 데 핵심적인 역할을 한다. 더 작고 해석 가능한 AI를 사용하면 알고리즘이 결정을 내리는 이유를 더 쉽게 이해할 수 있다. 인간이 인지 및 학습에서 최고의 모범 사례다. 인간은 적은 양의 정보로도 많은 것을 이해하고 패턴을 파악할 수 있기 때문인데, 이러한 현상을 연구하고 AI로 이를 모방하는 데에는 큰 의의가 있다.

전문가들은 대규모 데이터 세트에서 대규모 모델을 훈련하는 것의 이익이 점점 줄어들고 있다고 지적한다. 이는 고품질 데이터를 확보하는 것이 어려워지고, 에너지 비용이 증가하며, 모델의 성능이 더 이상 빠르게 향상되지 않는다는 것을 의미한다. 그 대신, 더 얇은 신경망에 집중하고 다양한 훈련 전략을 실험함으로써 머신 러닝 분야에서 혁신을 이뤄내야 할 시기라는 점을 강조한다. 축소형 AI를 연구하면서 지능의 최소 요소를 발견하고 이해하면 그것을 기반으로 혁신적인 모델을 구축할 수 있다. 더 작은 모델을 통해 큰 질문에 접근하여 AI를 경제적으로 개선하고자 많은 연구들이 진행 중이다.


When It Comes to AI Models, Bigger Isn’t Always Better

Artificial intelligence models are getting bigger, along with the data sets used to train them. But scaling down could solve some big AI problems

Artificial intelligence has been growing in size. The large language models (LLMs) that power prominent chatbots, such as OpenAI’s ChatGPT and Google’s Bard, are composed of well more than 100 billion parameters—the weights and variables that determine how an AI responds to an input. That’s orders of magnitude more information and code than was common among the most advanced AI models just a few years ago.

In broad strokes, bigger AI tends to be more capable AI. Ever larger LLMs and increasingly massive training datasets have resulted in chatbots that can pass university exams and even entrance tests for medical schools. Yet there are drawbacks to all this growth: As models have gotten bigger, they’ve also become more unwieldy, energy-hungry and difficult to run and build. Smaller models and datasets could help solve this issue. That’s why AI developers, even at some of the largest tech companies, have begun to revisit and reassess miniaturized AI models.

In September, for instance, a team of Microsoft researchers released a technical report on a new language model named phi-1.5. Phi-1.5 is made up of 1.3 billion parameters, which is about one one-hundredth the size of GPT-3.5, the model that underlies the free version of ChatGPT. GPT-3.5 and phi-1.5 also share the same general architecture: they are both transformer-based neural networks, meaning they work by mapping the context and relationships of language.

But despite its relatively diminutive size, phi-1.5 “exhibits many of the traits of much larger LLMs,” the authors wrote in their report, which was released as a preprint paper that has not yet been peer-reviewed. In benchmarking tests, the model performed better than many similarly sized models. It also demonstrated abilities that were comparable to those of other AIs that are five to 10 times larger. And recent updates made in October even allow phi-1.5 to display multimodality—an ability to interpret images as well as text. Last week Microsoft announced the release of phi-2, a 2.7-billion-parameter follow-up to phi-1.5, which demonstrates even more ability in a still relatively compact package, the company claims.

Make no mistake, massive LLMs such as Bard, GPT-3.5 and GPT-4 are still more capable than the phi models. “I would say that comparing phi-1.5 to GPT-4 is like comparing a middle school student and an undergraduate student,” says Ronen Eldan, a principal AI researcher at Microsoft Research and one of the authors of the September report. But phi-1.5 and phi-2 are just the latest evidence that small AI models can still be mighty—which means they could solve some of the problems posed by monster AI models such as GPT-4.

For one, training and running an AI model with more than 100 billion parameters takes a lot of energy. A standard day of global ChatGPT usage can consume as much electricity as about 33,000 U.S. households do in the same time period, according to one estimate from University of Washington computer engineer Sajjad Moazeni. If Google were to replace all of its users’ search engine interactions with queries to Bard, running that search engine would use as much power as Ireland does, according to an analysis published last month in Joule. That electricity consumption comes, in large part, from all the computing power required to send a query through such a dense network of parameters, as well as from the masses of data used to train mega models. Smaller AI needs far less computing power and energy to run, says Matthew Stewart, a computer engineer at Harvard University. This energy payoff is a sustainability boost.

Plus, less resource-intensive AI is more accessible AI. As it stands now, just a handful of private companies have the funds and server space to build, store, train and modify the biggest LLMs. Smaller models can be developed and studied by more people. Thinking small “can in some sense democratize AI,” says Eva Portelance, a computational and cognitive linguistics researcher at the Mila-Quebec Artificial Intelligence Institute. “In not requiring as much data and not requiring the models to be as big…, you’re making it possible for people outside of these large institutions” to innovate. This is one of multiple ways that scaled-down AI enables new possibilities.

For one thing, smaller AI can fit into smaller devices. Currently, the size of most LLMs means they have to run on the cloud—they’re too big to store locally on an unconnected smartphone or laptop. Smaller models could run on personal devices alone, however. For example, Stewart researches so-called edge computing, in which the goal is to stuff computation and data storage into local machines such as “Internet of Things” gadgets. He has worked on machine-learning-powered sensor systems compact enough to run on individual drones—he calls this “tiny machine learning.” Such devices, Stewart explains, can enable things like much more advanced environmental sensing in remote areas. If competent language models were to become similarly small, they would have myriad applications. In modern appliances such as smart fridges or wearables such as Apple Watches, a smaller language model could enable a chatbotesque interface without the need to transmit raw data across a cloud connection. That would be a massive boon for data security. “Privacy is one of the major benefits,” Stewart says.

And although the general rule is that larger AI models are more capable, not every AI has to be able to do everything. A chatbot inside a smart fridge might need to understand common food terms and compose lists but not need to write code or perform complex calculations. Past analyses have shown that massive language models can be pared down, even by as much as 60 percent, without sacrificing performance in all areas. In Stewart’s view, smaller and more specialized AI models could be the next big wave for companies looking to cash in on the AI boom.

Then there’s the more fundamental issue of interpretability: the extent to which a machine-learning model can be understood by its developers. For larger AI models, it is essentially impossible to parse the role of each parameter, explains Brenden Lake, a computational cognitive scientist researching artificial intelligence at New York University. This is the “black box” of AI: developers build and run models without any true knowledge of what each weight within an algorithm accomplishes. In smaller models, it is easier, though often still difficult, to determine cause and effect and adjust accordingly. “I’d rather try to understand a million parameters than a billion parameters,” Lake says.

For both Lake and Portelance, artificial intelligence isn’t just about building the most capable language model possible but also about gaining insight into how humans learn and how we can better mimic that through machines. Size and interpretability are key factors in creating models that help illuminate things about our own mind. With mega AI models—generally trained on much bigger datasets—the breadth of that training information can conceal limitations and make it seem like an algorithm understands something it doesn’t. Conversely, with smaller, more interpretable AI, it is far easier to parse why an algorithm is producing an output. In turn, scientists can use that understanding to create “more cognitively plausible” and possibly better overall AI models, Portelance says. Humans, they point out, are the gold standard for cognition and learning: we can absorb so much and infer patterns from very small amounts of information. There are good reasons to try to study that phenomenon and replicate it through AI.

At the same time, “there are diminishing returns for training large models on big datasets,” Lake says. Eventually, it becomes a challenge to find high-quality data, the energy costs rack up and model performance improves less quickly. Instead, as his own past research has demonstrated, big strides in machine learning can come from focusing on slimmer neural networks and testing out alternate training strategies.

Sébastien Bubeck, a senior principal AI researcher at Microsoft Research, agrees. Bubeck was one of the developers behind phi-1.5. For him, the purpose of studying scaled-down AI is “about finding the minimal ingredients for the sparks of intelligence to emerge” from an algorithm. Once you understand those minimal components, you can build on them. By approaching these big questions with smaller models, Bubeck hopes to improve AI in as economical a way as possible.

“With this strategy, we’re being much more careful with how we build models,” he says. “We’re taking a slower and more deliberate approach.” Sometimes slow and steady wins the race—and sometimes smaller can be smarter.

Picture

Member for

1 month 1 week
Real name
이시호
Position
연구원
Bio
[email protected]
세상은 다면적입니다. 내공이 쌓인다는 것은 다면성을 두루 볼 수 있다는 뜻이라고 생각하고, 하루하루 내공을 쌓고 있습니다. 쌓아놓은 내공을 여러분과 공유하겠습니다.

[해외 DS] 다람쥐는 도토리를 어디에 묻었는지 기억할까?

[해외 DS] 다람쥐는 도토리를 어디에 묻었는지 기억할까?
Picture

Member for

1 month 1 week
Real name
이태선
Position
연구원
Bio
[email protected]
세상은 이야기로 만들어져 있습니다. 다만 우리 눈에 그 이야기가 보이지 않을 뿐입니다. 숨겨진 이야기를 찾아내서 함께 공유하겠습니다.

수정

다람쥐, 먹이 종류와 서식지 특성에 따라 비축 전략 달라
시각·공간·후각적 단서를 이용해 은폐 위치 기억할 수 있어
기억 부하를 줄이는 '청킹', 재방문을 통한 '복습'도 척척

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.


사진=Scientific American

북반구에서 겨울이 다가오면 사람들은 실내로 숨어들고 삶의 속도가 느려지는 것처럼 보이지만, 다람쥐의 삶은 분주해진다. 다람쥐는 숲과 공원, 뒷마당에서 쉴 새 없이 덤불을 헤집고 다니며 견과류와 씨앗을 흙 속에 집어넣는 등 든든한 겨울나기를 위해 만반의 준비에 들어간다.

다람쥐 한 마리는 캐싱(caching)이라는 과정을 통해 한 시즌에 최대 3,000개의 견과류를 땅에 묻는다. 수십 개의 장소에 견과류를 저장하고 심지어 종류별로 공간을 나눠 정리하는 모습도 관찰됐다. 다람쥐는 냄새를 맡으면서 아무거나 무작위로 가져가는 걸까, 아니면 귀중한 식량을 어디에 보관했는지 실제로 기억하는 걸까?

다람쥐의 비축 전략, 행동반경 따라 달라져

점점 더 많은 연구가 다람쥐가 기억한다는 것을 말하고 있다. 다람쥐와 다른 동물들의 행동 및 인지적 적응을 연구하는 영국 엑서터대학교의 연구원 리사 리버는 다람쥐가 꽤 많은 전략을 세우고 있다고 전했다. 실제로 다람쥐는 먹이를 저장할 때 두 가지 체계적인 접근 방식을 취하는데, 식량을 한두 곳에 모두 묻어두는 '라더 비축'과 여러 장소에 먹이를 분산 저장하는 '분산 비축'이 그것이다.

다람쥐가 어떤 방법을 선택하느냐에 따라 다람쥐의 마음속에는 많은 요소가 복합적으로 고려된다. 먹이의 위치·가용성 및 종류·다람쥐의 서식지 특성·포식자에 대한 취약성·캐싱을 할 때 주변은 얼마나 많은 다른 친구가 있는지 등이 모두 결합하여 비축하는 방향을 결정한다고 분석됐다. 일부 다람쥐는 두 가지를 모두 사용하는 '혼합' 방법을 사용하나 일반적으로는 다람쥐 종에 따라 한 가지 또는 다른 접근 방식을 사용한다. 예를 들어, 미국 붉은 다람쥐(Tamiasciurus hudsonicus)는 소수의 소나무에 먹이를 의존한다. 솔방울을 모아 집 나무 밑에 먹다 남은 솔방울과 껍질을 쌓아 큰 더미를 만든다. 집 나무 밑에서 비축하는 이 편리한 구조 덕분에 붉은 다람쥐는 가까운 거리에서 식량을 감시하고 방어할 수 있어 라더 비축 형식을 택했다.

한편 미국 동부에서 가장 흔한 뒷마당 다람쥐인 유라시아 붉은 다람쥐(Sciurus vulgaris), 여우 다람쥐(Sciurus niger), 동부 회색 다람쥐(Sciurus carolinensis)는 분산 비축을 선호하는 경향이 있다. 사는 지역에 따라 히코리너트·호두·헤이즐넛·도토리 등 다양한 먹이에 의존하는 종들이다. 먹이의 다양성으로 인해 미국 붉은 다람쥐에 비해 더 넓은 지역에서 먹이를 구해야 하므로, 하나의 큰 은신처를 지키기 어렵다. 이들 다람쥐가 먹이를 분산해서 비축하는 이유를 설명하는 바다. 이 전략은 도둑들이 은폐 위치를 찾을 수 있다는 위험이 커지지만, 각 저장소의 크기를 제한해 비교적 손실이 적고, 라더 비축을 하는 다람쥐처럼 전체를 잃어버릴 위험도 없다는 장점이 있다.

아울러 연구자들은 분산 비축 전략을 취한 다람쥐가 가장 아끼는 식량을 보호하기 위해 추가적인 조처를 하는 것을 관찰했다. 아몬드와 땅콩을 받은 여우 다람쥐는 땅콩보다 아몬드를 선호하기 때문에 아몬드를 더 멀리 묻어뒀다. 또한, 땅콩보다 아몬드를 더 낮은 밀도로 저장해서 견과류를 노리는 경쟁자를 따돌리거나 손실의 정도를 최소화하는 전략을 구상했다. 대신 은폐 장소 수가 증가해서 기억 부하도 증가한다. 정말로 여우 다람쥐는 은폐 위치를 기억하고 있을까, 아니면 사람들이 일반적으로 생각하는 대로 대부분 잊어버릴까?

기억에 관한 연구들, 다람쥐의 공간 매핑 능력 증명해

몇몇 연구에 따르면 다람쥐는 잊어버리지 않는다. 1991년 버클리캘리포니아대학교의 심리학 및 신경과학 명예 교수인 루시아 제이컵스와 그녀의 연구팀은 사람의 손에서 자란 회색 다람쥐 8마리한테 각각 견과류 10개씩을 주고 같은 밀폐된 공간에서 비축 행동을 관찰했다. 며칠 후 연구진이 각 다람쥐를 다시 그 지역으로 돌려보냈을 때, 8마리의 다람쥐(실험집단)들은 다른 다람쥐(통제집단)가 묻어둔 견과류보다 두 배나 많은 양의 견과류를 회수하고 있었다. 흥미롭게도 실험 다람쥐들은 견과류를 가져올 때 먹이를 묻을 때와는 다른 경로를 따랐다. 이는 은폐 위치가 어디에 있었는지 기억하고 있어야만 가능한 일이었다. 제이컵스는 이 연구가 고도로 통제된 조건에서 이루어졌다고 강조했다.

다람쥐의 놀라운 기억력에 대한 다른 연구 결과도 있다. 영국 체스터대학교에서 인지 진화를 연구하는 피자 카이 차우(Pizza Ka Yee Chow)는 2017년 실험실에서 사육한 다람쥐에게 직사각형 퍼즐 상자에서 헤이즐넛을 꺼내기 위해 올바른 레버 조작을 수행해야 하는 과제를 부여했다. 그리고 22개월 후, 차우는 다람쥐에게 새로운 과제처럼 보이도록 삼각형 퍼즐 상자에 다른 색상과 다른 레버를 갖춘 또 다른 과제를 제시했다. 하지만 이 과제에서도 이전 과제와 동일한 레버 전략을 사용하여 견과류를 열어야 했고, 다람쥐들은 이를 그대로 적용했다.

다른 연구자들은 다람쥐가 숨겨진 견과류를 찾는 방법에 대한 단서를 발견했다. 열렬한 견과류 사냥꾼인 다람쥐는 후각에 부분적으로 의존하여 먹이를 찾아내지만, 1986년에 발표된 연구에 따르면 후각은 최후의 수단으로, 시각 및 공간적 단서와 같은 다른 도구를 먼저 사용하여 저장소를 찾아낸다고 한다. 실제로 1997년에 발표된 한 연구에 따르면 회색 다람쥐는 원래 은신처 옆에 심겨 있던 깃발의 위치에 따라 땅을 파는 위치를 조정하여 땅속에 묻힌 견과류를 찾는 것으로 나타났다. 이는 다람쥐가 이러한 공간적 단서를 사용할 가능성이 높다는 것을 의미한다. 실험에 참여한 회색 다람쥐는 최대 2개월 동안 최대 24개의 캐시 위치를 기억할 수 있는 것으로 조사됐다. 최근에는 실험실에서 사육된 다람쥐가 덤불이나 나무와 같은 주변 랜드마크의 상대적 위치를 이용해 밀폐된 연구 공간에서 은신처를 찾아낼 수 있다는 사실을 밝혀냈다.

흔히 볼 수 있지만, 흔치 않은 두뇌를 가진 다람쥐들

한편 제이컵스의 연구실은 다람쥐의 뇌에 대해 몇 가지 놀라운 사실을 발견했는데 대부분의 소형 포유류는 겨울이 다가오는 동안 뇌가 수축하는 반면, 다람쥐의 뇌는 이 시기에 확장되어 계절에 따라 인지 역량이 증가한다는 것을 알 수 있다. 그리고 여우 다람쥐가 같은 종류의 견과류를 서로 가까이 묻어두는 경향은 인간도 사용하는 '청킹(chunking)'이라는 정보 간소화 전략의 일종일 수 있다고 한다. 견과류를 종류별로 정리하면 기억 부하가 줄어들어 기억의 정확도가 높아질 수 있다는 뜻으로 풀이된다.

회색 다람쥐는 서식 범위가 비교적 작기 때문에 비축 식량을 쉽게 찾아낼 수 있다. 또한 일부 회색 다람쥐는 무성하게 자란 나뭇잎을 조심스럽게 재배치하는 등 매장 장소를 다시 방문하는 특이한 습성이 있다. 이 다람쥐는 견과류를 파내서 다시 묻기도 한다. 즉, 다람쥐는 9월에 캐시에 저장했다가 2월까지 기억해야 하는 것이 아니라 재정비를 통해 위치를 상기하는 행위를 수행한다는 것이다.

다람쥐는 때때로 자신의 은신처를 보호하기 위해 가짜로 땅을 파고 실제로는 땅속에 견과류를 넣지 않는다. 다른 다람쥐들의 주의를 분산시키기 위해 함정을 파놓는 치밀함을 보인다. 이 예리한 두뇌를 가진 작은 설치류가 어떻게 먹이를 찾고 보호하는지 아직 모르는 것이 많다. 하지만 도시에서 흔히 볼 수 있는 회색다람쥐의 겉보기에는 무질서해 보이는 행동 뒤에는 인상적인 전략적 산술이 작용하고 있다는 것은 확신할 수 있다.


Do Squirrels Remember Where They Buried Their Nuts?

Squirrels spread their fall bounty across several locations. But do they have a key to this treasure map?

As winter approaches in the Northern Hemisphere, people retreat indoors, and the pace of life seems to slow—but not for squirrels. Across forests, parks and your backyard, these animals go into overdrive, scurrying ceaselessly through the undergrowth and stuffing nuts and seeds into the soil.

Although it might look like a mad dash to survive the winter, the frantic vibe masks some meticulous preparation. A single squirrel can bury up to 3,000 nuts in a season in a process known as caching. It can store nuts across dozens of locations and even spatially organize them by type. What’s behind this obsessive pantry planning? Do squirrels just randomly retrieve whatever they sniff out, or do they actually remember where they place this precious stash?

A growing body of research suggests that they do remember. “They’re not just burying a bunch of stuff and hoping that they’ll find it in the future. They’re strategizing quite a lot,” says Lisa Leaver, a researcher who studies the behavioral and cognitive adaptations of squirrels and other animals at the University of Exeter in England.

In fact, squirrels take two methodical approaches to storing their food: larder hoarding, in which the fluffy-tailed rodents bury their entire bounty in one or two locations, and scatter hoarding, which involves the squirrels splitting a stash among multiple locations dotted across a landscape.

“In a squirrel’s mind, there are a lot of factors at play” in which method they choose, says Pizza Ka Yee Chow, who studies the evolution of cognition at the University of Chester in England. The foods’ location, availability and type, the squirrels’ local habitat and vulnerability to predators “and how many other buddies are around when they are doing the caching” all combine to steer them toward scattering or hoarding, Chow explains.

These two strategies exist along a continuum, and some squirrels go with the “mixed” method, where they will do both, Chow says. Usually different squirrel species will practice one or the other approach, however.

For instance, American red squirrels (Tamiasciurus hudsonicus) often depend on a small number of pine trees for their food, says Lucia Jacobs, a professor emerita of psychology and neuroscience at the University of California, Berkeley. They’ll gather pine cones and create a midden—a large pile of cones and scales left over from eating—typically at the base of a home tree. The convenient setup allows the animals to oversee and defend their bounty at close range, making larder hoarding worth their while.

Meanwhile the Eurasian red squirrel (Sciurus vulgaris), the fox squirrel (Sciurus niger) and the eastern gray squirrel (Sciurus carolinensis)—the most common backyard squirrel in the eastern U.S.—tend to favor scatter hoarding. Depending on where they live, these species rely on a range of food sources, including hickory nuts, walnuts, hazelnuts and acorns. This variety pushes these species to forage over a larger area, compared with the American red squirrel, which makes it difficult to closely guard a single large stash—and may explain why they scatter hoard. Although this strategy leaves more caches for pilferers to find, each cache’s smaller size eliminates the risk that the squirrels will lose their entire stash in one go.

Jacobs and her colleagues have also observed scatter-hoarding squirrels taking extra steps to protect their most coveted stash. Fox squirrels presented with almonds and peanuts will bury the almonds, which they prefer, farther away from the source and at lower densities than the peanuts, Jacobs says. “So the squirrel carries [a nut] a species-specific distance and caches it at a species-specific density.” These burial tactics help to throw off nut-snacking competitors. But do they also make it tough for the burier to keep tabs on all of its stash?

Not according to a few studies. In 1991, Jacobs and her team provided eight hand-raised gray squirrels with 10 nuts each to bury in the same enclosed area. When the researchers released each squirrel back into the area several days later, the animals “were retrieving twice as many of their own [nuts] as [those of] another squirrel’s cache,” Jacobs says. Interestingly, the squirrels also followed a different path when retrieving their nuts, compared with the one they’d taken to bury this food. “They could plan a trajectory through their 10 caches, which they could only do if they had a memory of where those caches were,” she says.

That study took place under highly controlled conditions, Jacobs cautions. But others have gone on to document squirrels’ impressive memory span. In a 2017 experiment, Chow gave lab-reared squirrels a task that required manipulating the right set of levers to release hazelnuts from a rectangular plexiglass puzzle box. Then, 22 months later, Chow presented them with another puzzle box that was triangularly shaped and featured different colors and a different lever layout to make it appear to the squirrels like a novel task. This task still required the same lever strategy to release the nuts as the previous one, however—and that’s the approach the squirrels applied. “The solution [the squirrels] used was the same as two years before,” Chow says. “That’s how we knew that they still remembered it.”

Meanwhile Jacobs’s lab has made some striking findings on squirrel brains. This research shows that while most small mammals experience brain shrinkage during the approach to winter, squirrels’ brain expands at this time, which may indicate a seasonal increase in cognitive load.

Others have uncovered clues about how squirrels might locate their hidden nuts. The fervent nut hunters do rely partially on their sense of smell to help them pinpoint their food, yet a 1986 study suggested that it’s a last resort: they first prioritize other tools such as visual and spatial cues to guide them to their stash. In fact, a 1997 study showed that gray squirrels adjusted where they dug for their buried nuts based on the relocation of flags that were originally planted beside the caches. That indicated that the squirrels were likely also using these spatial cues. Gray squirrels in the experiment could remember up to 24 cache locations for up to two months. More recently Chow has shown that lab-reared squirrels can use the relative position of nearby landmarks such as bushes and trees to guide them to their caches in an enclosed study area.

Spatial mapping would make sense in gray squirrels, Leaver says. The animals “have relatively small home ranges that they know inside [and] out. If you spent your whole life hiding bits of food that you relied on in your house, you would know where you’d put it,” she says.

Further research from Jacobs’s lab suggests that the fox squirrel’s tendency to carefully bury nuts of the same type close together may indicate an information-streamlining strategy called “chunking,” which humans also use. In squirrels, organizing nuts by type likely “reduces memory load and hence should increase accuracy of recall,” Jacobs explains.

She adds that some gray squirrels have a quirky habit of revisiting their burial sites, where they’ll paw through the overgrowth and then carefully rearrange the leaves. Sometimes squirrels will even excavate and then rebury their nuts. This strikes Jacobs as a kind of geographic revision: “It’s not like they cache in September and then they have to remember through till February,” she says. “They are out there every day rehearsing, rehearsing, rehearsing.”

And when they’re not refreshing their own memory, these crafty creatures continue working to throw others off their trail—with some surprisingly deceptive tactics, Chow says. “[Researcher] Mike Steele, he found that some squirrels do fake digging to protect their cache, but they don’t actually put any nuts in it,” Chow adds. “They trick others into thinking, ‘Hey, I put my nuts in here!’ just to distract them.”

There’s a lot still to learn about how these sharp-brained little rodents find and protect their food. Yet we can be sure that behind their seemingly scatterbrained fall behavior, there is some impressive mental arithmetic at play, even in the ubiquitous urban gray squirrel. “Because it’s such a common urban species, everyone thinks, ‘Oh, that’s just a squirrel,’” Jacobs says. “But it’s actually a very unique animal.”

Picture

Member for

1 month 1 week
Real name
이태선
Position
연구원
Bio
[email protected]
세상은 이야기로 만들어져 있습니다. 다만 우리 눈에 그 이야기가 보이지 않을 뿐입니다. 숨겨진 이야기를 찾아내서 함께 공유하겠습니다.

[해외 DS] 체중 감량 약물 '위고비', 심장병 환자의 사망 위험 감소 확인

[해외 DS] 체중 감량 약물 '위고비', 심장병 환자의 사망 위험 감소 확인
Picture

Member for

1 month 1 week
Real name
김광재
Position
연구원
Bio
[email protected]
균형 잡힌 시각으로 인공지능 소식을 전달하겠습니다.

수정

비만 심장병 환자 심혈관 질환 위험 20% 감소
세마글루타이드의 비용과 부작용 우려도 있어
심혈관 질환 예방 효과 있으나 효율은 낮아

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.


사진=Scientific American

체중 감량을 돕는 약물 '위고비(Wegovy)'가 일부 심장병 환자들에게 사망 위험을 낮추는 데 도움이 되고 있다는 연구 결과가 나왔다.

위고비와 오젬픽의 활성 성분인 세마글루타이드는 과체중 또는 비만한 심혈관 질환자들을 대상으로 한 대규모 임상시험에서 심장마비와 뇌졸중 위험을 효과적으로 감소시켰다. 노보 노디스크의 새로운 임상시험(SELECT) 결과에 따르면, 세마글루타이드는 이미 당뇨병 치료에 사용되며 빠른 체중 감량과 심지어 약물 및 알코올 중독 억제에 도움이 되는 것으로 알려졌다. 해당 약물은 심장마비·뇌졸중·심혈관 질환으로 인한 사망 위험을 전반적으로 20% 낮출 수 있다고 한다.

세마글루타이드, 체중 감량뿐만 아니라 심혈관 위험 감소

세마글루타이드는 GLP-1 수용체 작용제로, 혈당을 낮추고 식욕을 억제하여 체중 감량을 촉진한다. 이 연구는 과체중이지만 당뇨병은 없는 17,000명 이상의 사람을 대상으로 3년 가까이 실시되었으며, 약을 먹은 환자들은 상당한 체중 감량과 함께 심장 합병증 위험이 감소한 것으로 나타났다. 전문가들은 이러한 결과가 체중 감량 이외의 다른 요소들로 인해 발생했을 가능성이 높다고 전했다.

이번 임상시험에서는 체질량 지수(BMI)가 27 이상인 사람들을 포함했는데 비만 환자(일반적으로 세마글루타이드가 처방되는 BMI 30 이상인 환자)보다 훨씬 더 많은 심장병 환자 표본을 포함한다는 점이 주목할 만한 부분이다. BMI 27은 과체중으로 간주하지만, 확실히 비만은 아니며, 심혈관 질환 위험 감소는 상대적으로 낮은 BMI를 가진 사람들에게서 더 크게 나타났다. 따라서 SELECT에 참여한 환자들은 평균적으로 체중의 약 9.5%를 감량했지만, 이 약물의 이점은 체중 감량 그 이상인 것으로 보인다.

하지만 연구자들은 혈압에 대한 급성 효과 또는 염증 감소와 관련이 있을 수 있다고 추측할 뿐이지, 정확히 심혈관 건강 개선과 약물 사이에 어떤 관계가 있는지는 모른다고 전했다. 치료제의 놀라운 임상적 효과를 보고도 그 이유를 알 수 없는 경우는 이번이 처음도 아니고 마지막도 아닐 것이라는 게 전문가들의 중론이다. 그들은 수년간 GLP-1 수용체 작용제를 사용해 왔고 그 위험과 이점을 알고 있으므로 큰 문제가 되지 않을 것이라고 예상했다.

처방 비용에 따른 부담과 근손실 주의 필요

이러한 연구 결과는 11월 11일 뉴잉글랜드 의학 저널과 미국 심장학회 회의에서도 발표되었다. 이에 대해 의료 전문가들은 심혈관 질환 환자들의 치료를 위한 새로운 가능성에 관해 관심을 보이고 있지만, 약물의 비용과 부작용 문제로 인해 일부는 우려를 표했다. 위고비의 가격(월 700~1,300달러)을 고려할 때, 잠재적 환자를 모두 치료하는 것은 의료 시스템에 재정적으로 부담이 크다. 따라서 세마글루타이드 또는 기타 GLP-1 관련 약물로 치료하면 가장 큰 혜택을 받을 수 있는 환자를 파악하여 치료하는 일이 선행되어야 한다고 강조했다.

한편 SELECT에서 세마글루타이드를 복용한 환자 5명 중 1명은 치료를 중단해야 했다. 가장 흔한 이유는 위장관 과민증이었으며, 이는 임상에서 흔히 볼 수 있는 현상이다. 특히 치료를 시작하고 복용량을 늘리는 동안 메스꺼움·구토·설사 증상이 나타나는 것은 드문 일이 아니다. 또한 급격한 체중 감량 중에 신체가 지방을 대사하면서 간에서 여분의 콜레스테롤을 담즙으로 분비하여 담석을 유발할 수 있다. 그러나 이는 약물의 부작용이 아니라 체중 감량에 도움이 되는 약물의 성공으로 인한 부산물이라고 봐야 정확하다.

장기적인 부작용은 비교적 적지만, GLP-1 수용체 작용제의 효과에는 지방 조직과 근육의 손실이 모두 포함되어 있다. 이는 특히 건강이 약한 환자들에게 주의가 있어야 하는 요소다. 따라서 세마글루타이드처럼 골격근량에 미치는 영향이 적은 체중 감량 약물에 대한 관심이 높아지고 있다.

심혈관 질환 예방 효과 있으나 효율적이지는 않아, 추가 연구 필요해

치료 필요 환자 수(Number Needed to Treat, NNT)는 위약 대비 세마글루타이드가 한 번의 원하지 않는 임상 결과(심혈관 질환 발생)를 예방하기 위하여 몇 명의 환자를 치료할 필요가 있는가(몇 명의 환자에게 세마글루타이드를 복용시켜야 하는가)를 표시하는 수치이다. 따라서 가장 이상적인 NNT 수치는 1명이다. 하지만 세마글루타이드의 경우 NNT 수치가 60명으로 나왔다. 적어도 추적 관찰 기간 3년 동안 사건이 예방되지 않은 환자가 59명 이상이었다는 것을 의미한다. 이미 심혈관 질환 발생을 줄이기 위해 NNT가 훨씬 낮은 다른 심혈관 치료법이 존재한다. 세마클루타이드의 비용을 고려할 때, 3년 동안 한 건의 사건을 줄이기 위해 60명의 환자를 치료하는 일은 절대 만족할 수 없는 효율이다.

노보 노디스크는 미국 식품의약청(FDA)에 세마글루타이드의 심혈관 용도로 승인을 확대할 것을 요청했다. FDA는 NNT에 근거한 권고가 아니라 임상시험의 효과에 근거하여 권고를 내릴 것이기 때문에, 인상적인 결과를 보여준 이번 임상시험으로 인해 규제 당국의 승인을 받을 것으로 전문가들은 예상한다고 전했다.

이번 임상시험은 비만과 심혈관 질환을 관리하는 데 있어 혁신적인 결과를 보여주며, 여러 다른 식욕 호르몬을 표적으로 하는 약물 및 GLP-1과 전혀 관련이 없는 다른 약물도 연구가 계속되고 있다. 현재 심혈관 위험을 줄이면서 체중을 감량할 수 있는 안전한 방법을 모색하는 데 많은 관심이 집중됐다. 또한, 비만이 심부전을 악화하고 심혈관 질환의 위험을 증가시킨다는 사실은 중요한 문제다. 이를 효과적으로 치료하고 예방하기 위해 추가적인 연구와 노력이 지속해서 필요하다.


Weight-Loss Drug Wegovy Slashes Risk of Death in Some People with Heart Disease

The active ingredient in Wegovy and Ozempic reduced the risk of heart attacks and strokes in a large trial of people with cardiovascular disease who were considered overweight or had obesity, but the cost and side effects remain barriers

The drug semaglutide, the active ingredient in Ozempic and Wegovy, is already known to treat diabetes, aid rapid weight loss, and possibly even curb drug and alcohol addictions. Now a new trial by the drug’s manufacturer, Novo Nordisk, has shown that it can collectively lower the risk of heart attack, stroke and death from cardiovascular disease by 20 percent.

Semaglutide is one of a class of drugs known as GLP-1 receptor agonists, which regulate appetite hormones by lowering blood sugar and slowing the stomach’s rate of emptying. This causes people to feel full longer, so they avoid eating and lose weight. In the closely watched trial, known as Semaglutide Effects on Cardiovascular Outcomes in People with Overweight or Obesity (SELECT), more than 17,000 people who were considered overweight or had obesity and who had cardiovascular disease but not diabetes took either semaglutide or a placebo for an average of nearly three years. People who took the drug lost a significant amount of weight, thus reducing their risk of cardiac complications, but experts say that the amount of improvement suggests the drug’s heart effects likely occurred through mechanisms besides weight loss alone. Novo Nordisk published the results on November 11 in the New England Journal of Medicine and announced them in a presentation at the American Heart Association meeting in Philadelphia on the same day.

Physicians are excited to potentially have a new way of reducing cardiovascular risk in certain people, although their enthusiasm is somewhat tempered by the cost of the drug and its side effects. Scientific American spoke with Massachusetts General Hospital cardiologist James Januzzi, who was not involved in the study, about how we should view its new findings.

[An edited transcript of the interview follows.]

Were these results expected?

I think we expected to see an effect but maybe not necessarily quite such a profound effect. It’s an impressive result for a few reasons. Although we recognized that these GLP-1 receptor agonists reduce risk for major cardiovascular events in people with diabetes, understanding their value in individuals who have obesity without diabetes required more data. And the study really delivers that very clearly.

What is also quite remarkable to me is that the inclusion of folks with a body mass index (BMI) of 27 or greater is a much, much larger population of patients with heart disease than people with obesity [those with a BMI of 30 or higher, to whom semaglutide is typically prescribed]. A BMI of 27 is considered overweight but certainly isn’t obese, and the reductions in cardiovascular risk seemed somewhat larger in people with a relatively lower BMI. So while patients lost about 9.5 percent of their body weight [on average] in SELECT, the benefits of the drug seem quite clearly to be above and beyond weight loss alone.

If it’s not just causing weight loss, how is it improving cardiovascular health?

We simply don’t know. There are central effects in the brain with GLP-1 receptor agonists that clearly play a role in the downstream biological effects. There’s no way that weight loss alone explains the benefits in this trial. In the paper, the researchers speculate that it may have to do with acute effects on blood pressure or reduction in inflammation.

My personal feeling is the drug very likely has a direct effect on blood flow through vessels, along with an acute lowering of blood pressure. The level of blood pressure reduction that the team saw would be expected to improve risk for cardiovascular events.

This would not be, by any stretch, the first time, nor will it be the last time, that we see a remarkable clinical impact of a therapy and have no clue as to why. But it’s not a problem because we’ve been using GLP-1 receptor agonists for years and know their risks and benefits.

What are some of the risks?

About one in five patients taking semaglutide in SELECT had to stop treatment. The most common reason for that was gastrointestinal intolerance, and that’s what we see in clinical practice. It’s not unusual, particularly during initiation of treatment and while ramping up the dosage, that patients develop nausea, vomiting and diarrhea. And as the body metabolizes fat during rapid weight loss, it causes the liver to secrete extra cholesterol into bile, which can cause gallstones. But that’s more a by-product of the success of the drug in helping people lose weight, not the drug itself.

There are relatively few long-term adverse risks, but one is that the effects of GLP-1 receptor agonists include loss of both fat tissue and muscle. This is something that we need to keep our eye on, particularly in our more frail patients. This has led to a large interest in the development of weight-loss drugs that may not have as much of an effect on skeletal muscle mass as semaglutide does.

Based on the new findings, should doctors prescribe semaglutide to prevent cardiac problems? And if so, who should receive a prescription?

To simply say anyone with a BMI of 27 with a prior heart attack should be treated would be describing a massive number of patients. Given the price of Wegovy [between $700 and $1,300 per month], treating every patient who’s potentially eligible would be financially burdensome to the health care system. It’s reasonable to say that we need better tools to recognize who would benefit most from treatment with semaglutide or other GLP-1-related drugs so that we can focus our therapies in a more precise matter.

Was the drug actually as effective as it seems?

In SELECT, the primary endpoint was nonfatal heart attack, nonfatal stroke or cardiovascular death. And the number needed to treat (NNT) is how many patients in the trial needed to receive semaglutide versus placebo to reduce one of those serious events. That number is more than 60, which means that there were [more than] 59 patients who did not have an event prevented, at least within the three years of follow-up.

There are other cardiovascular therapies that have a much lower NNT to reduce an event. Given the cost of semaglutide, are we going to feel good about treating 60 patients to reduce one event over a three-year period? Whether it’s clinical variables, blood tests, measures of inflammation, genetic tests or even imaging tests, there certainly are ways to measure risk for future events that I suspect will provide greater clarity about who would most benefit from being treated. In the meantime, the issue is whether [insurers] will be willing to cover the drug for this indication.

Novo Nordisk has asked the U.S. Food and Drug Administration to expand its approval of semaglutide to include cardiovascular uses. What can we expect to see from the regulators?

The FDA is not going to make a recommendation based on the NNT; it’s going to make the recommendation based on the merits of the trial. The study not only met its primary end point but really had remarkably impressive results. I fully expect that [Novo Nordisk] will get the regulatory approval.

What are the next steps?

This is the first of several trials that will really revolutionize how we manage people with obesity and cardiovascular disease. There are studies looking at variations of drugs similar to semaglutide that target multiple appetite hormones. And then there are drugs that are completely unrelated to GLP-1 that are being explored. There’s a huge enthusiasm now to explore different ways to pharmacologically lose weight safely, with a parallel goal of reducing cardiovascular risk.

Another important area to think about is the fact that having obesity complicates heart failure. There's very good reason to believe that effective treatment of obesity and heart failure would reduce cardiovascular risk, so this is an area absolutely in need of further exploration.

Picture

Member for

1 month 1 week
Real name
김광재
Position
연구원
Bio
[email protected]
균형 잡힌 시각으로 인공지능 소식을 전달하겠습니다.

[해외 DS] 논란에도 불구하고 '황금기'에 접어든 초전도체 연구

[해외 DS] 논란에도 불구하고 '황금기'에 접어든 초전도체 연구
Picture

Member for

1 month 1 week
Real name
이효정
Position
연구원
Bio
[email protected]
지식은 전달하는 정보가 아니라, 함께 고민하기 위해 만들어진 언어입니다.

수정

상온 초전도 실험 논문 철회에도 불구하고, 초전도 연구는 르네상스 맞이
슈퍼 하이드라이드 등 초전도체 후보 물질 발견으로 연구는 활발해
고급 시뮬레이션 기술 발전이 초전도 연구 혁신 견인할 것

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.


사진=Scientific American

지난주 네이처가 폐열을 발생시키지 않고 냉장 없이도 전기를 전도할 수 있는 물질을 만들었다는 연구진의 주장을 철회하면서 상온 초전도에 관한 주장은 일단락되었다. 이러한 실패에도 불구하고, 초전도 연구자들은 이 분야가 어느 정도의 르네상스를 맞이하고 있다고 언급했다. 이러한 낙관은 부분적으로는 미지의 물질 존재와 특성을 예측하는 컴퓨터 시뮬레이션의 발전으로 촉진되고 있다.

많은 주목을 받는 것은 '슈퍼 하이드라이드'인데, 수소가 풍부한 이 물질은 높은 압력을 유지할 때 더 높은 온도에서 초전도 특성을 나타내는 것으로 밝혀졌다. 철회된 네이처 논문의 연구 주제도 수소, 루테튬, 그리고 질소로 이루어진 물질에 관한 것이었다. 하지만 최근 몇 년간의 연구를 통해 혁신적인 특성을 보일 수 있는 여러 물질 군이 발견되었다. 즉, 새로운 초전도체들이 많이 발견될 가능성이 있는 상황에 놓여 있다.

'서핑하는 전자', 초전도 연구와 혁신

초전도 현상은 고체 내 전자가 결합하여 '쿠퍼쌍'을 형성할 때 나타난다. 이는 물질 내에서 더 많은 전자가 동시에 움직일 수 있게 하며, 전류를 발생시키는데 폐열을 생성하지 않는다. '기존' 초전도체에서는 전자가 물질의 진동으로 서로 밀려 쿠퍼쌍을 형성하는데, 이 쿠퍼쌍은 파도를 타는 서퍼처럼 물리적 파동을 일으킨다. 2000년대 중반까지만 해도 연구자들은 일반적으로 이 메커니즘이 최대 40켈빈 정도의 극저온에서만 작동할 것으로 생각했다. 단일 원소로 만들어진 초전도체는 모두 10켈빈보다 낮은 온도에서 이 특성을 발휘한다. 2001년 일본 오카야마 대학의 아키미츠 준 교수 연구팀이 발견한 기존 초전도체인 이붕화 마그네슘은 최고 온도 기록을 39켈빈으로 끌어올렸다.

2004년 고인이 된 이론 물리학자 닐 애슈크로프트(Neil Ashcroft)는 특정 원소가 수소 원자를 서로 가깝게 만들 수 있는 충분한 압력을 가하면 다른 어떤 물질보다 훨씬 높은 온도에서 초전도 할 수 있는 수소와 화합물을 형성할 수 있다고 예측하면서 슈퍼 하이드라이드의 기초가 마련되었다. 애슈크로프트의 이론에 따르면, 수소 원자가 가까워지면 물리적 진동 주파수가 증가하여 물질이 초전도성을 유지하면서 더 높은 온도에서도 효과를 발휘할 수 있다. 하지만 이러한 물질이 존재하기 위해서는 지구의 핵과 비슷한 압력이 필요하다.

다이아몬드 앤빌 내부의 작은 표본에 대한 고압 실험을 수행하고 그 결과를 측정하는 기술이 발전하면서 2015년 독일 마인츠의 막스 플랑크 화학연구소의 물리학자 미하일 에레메츠(Mikhail Eremets)와 그의 동료들이 초수소화물인 황화수소의 초전도성을 처음으로 입증하는 획기적인 성과를 달성했다. 그 이후로 과학자들은 이 계열에 다른 여러 초전도 물질이 존재할 것으로 예측했으며, 그중 일부는 클라트레이트라고 불리는 칼슘 기반 케이지형 구조도 발견되었다. 현재 모든 종류의 초전도체 중 '가장 뜨거운' 초전도체는 최소 250켈빈 이상의 온도에서 고압의 기존 초전도체로 입증된 초수소 계열의 일원인 란타늄 10수화물로 간주한다.

고급 시뮬레이션, 초전도 및 물질 예측의 혁신

에레메츠와 같은 연구자들은 이론·시뮬레이션·재료합성·실험의 상호작용이 혁신의 결정적인 역할을 한다고 강조했다. 2000년대 초반부터 시뮬레이션을 통해 특정 결정 구조와 화학적 구성을 가진 물질이 초전도체가 될 수 있는지, 그리고 어떤 온도에서 이러한 특성을 나타낼 수 있는지 예측할 수 있게 되었다. 하지만 물질의 특성뿐만 아니라 특정 원소 조합에서 어떤 물질이 형성될 수 있는지를 예측하는 알고리즘이 도입된 것은 10년이 더 걸렸다.

2015년에 황화수소가 초전도체임이 발견되었을 때, 이는 이전에 수행된 컴퓨터 시뮬레이션 결과와 부합했다. 모스크바의 스콜코보과학기술연구소의 재료 과학자인 아르템 오가노프(Artem Oganov)는 구조 예측 알고리즘이 없었다면 수소가 풍부한 초전도체 발견은 "아마 한 세기가 더 지나야 했을 것"이라고 전했다. 특히, 그의 '진화' 알고리즘은 주어진 압력에서 가장 낮은 에너지를 갖는, 따라서 안정적으로 형성되고 유지될 가능성이 가장 높은 원자 구성을 찾아낸다.

고압에서의 물질 행동을 예측하는 시뮬레이션은 원자들이 서로 너무 밀집되어 외부 전자뿐만 아니라 내부 전자와 상호작용하는 상황에서 특히 중요하다. 이는 화학 교과서의 통념을 뒤엎어 버리는데, 고압에서만 존재할 수 있는 LiH6가 그 대표적인 사례다. 뉴욕 버팔로대학의 계산 화학자인 에바 주렉(Eva Zurek)은 "일반적인 화학 수업을 들은 사람이라면 누구나 LiH6와 같은 물질은 안정적일 수 없다고 생각할 것"이라고 설명했다.


Superconductor Research Is in a ‘Golden Age,’ Despite Controversy

The search for room-temperature superconductors has suffered scandalous setbacks, but physicists are optimistic about the field’s future

A Nature retraction last week has put to rest the latest claim of room-temperature superconductivity — in which researchers said they had made a material that could conduct electricity without producing waste heat and without refrigeration.

The retraction follows the downfall of an even more brazen claim about a supposed superconductor called LK-99, which went viral on social media earlier this year.

Despite these high-profile setbacks, superconductivity researchers say the field is enjoying somewhat of a renaissance (see ‘Timeline: Superconductivity milestones’). “It’s not a dying field — on the contrary,” says Lilia Boeri, a physicist who specializes in computational predictions at the Sapienza University of Rome. The progress is fuelled in part by the new capabilities of computer simulations to predict the existence and properties of undiscovered materials.

Much of the excitement is focused on ‘super-hydrides’— hydrogen-rich materials that have shown superconductivity at ever-higher temperatures, as long as they are kept at high pressure. The subject of the retracted Nature paper was purported to be such a material, made of hydrogen, lutetium and nitrogen. But work in the past few years has unearthed several families of materials that could have revolutionary properties. “It really does look like we’re on the hairy edge of being able to find a lot of new superconductors,” says Paul Canfield, a physicist at Iowa State University in Ames and Ames National Laboratory.

SURFING ELECTRONS
Superconductivity arises when electrons in a solid combine to form ‘Cooper pairs.’ This enables many more electrons than usual to move in sync inside the material, which in turn enables the electrons to carry currents without producing waste heat.

In ‘conventional’ superconductors, electrons form Cooper pairs when nudged together by vibrations in the material — mechanical waves that the Cooper pairs ride like surfers on a wave. Until the mid-2000s, researchers generally thought that this mechanism would work only at extremely low temperatures, up to around 40 kelvin. Superconductors made of a single element all require temperatures lower than 10 kelvin to exhibit this property. Magnesium diboride, a conventional superconductor discovered in 2001 by a team led by Jun Akimitsu at Okayama University in Japan, raised the record for the highest temperature to 39 kelvin.

The basis for super-hydrides was laid out in 2004, when the late theoretical physicist Neil Ashcroft predicted that certain elements would form compounds with hydrogen that could superconduct at much higher temperatures than could any other material, if put under enough pressure to force the hydrogen atoms closer together.

According to Ashcroft’s theory, the proximity of the hydrogen atoms would increase the frequency of mechanical vibrations, which would enable the material to get warmer while retaining its superconductivity. But there was a catch: to even exist, some of these materials would require pressures comparable to those in Earth’s core.

Advances in carrying out high-pressure experiments on tiny samples inside a diamond anvil — and measuring their outcomes — led to a breakthrough in 2015, when physicist Mikhail Eremets at the Max Planck Institute for Chemistry in Mainz, Germany, and his collaborators first demonstrated superconductivity in a super-hydride, hydrogen sulfide. Since then, scientists have predicted the existence of several other superconducting materials in this family — some of which have been found, including calcium-based cage-like structures called clathrates.

At present, the ‘hottest’ superconductor of any kind is considered to be lanthanum decahydride, a member of the super-hydride class that is proven to be a high-pressure, conventional superconductor at temperatures of up to at least 250 kelvin.

ADVANCED SIMULATIONS
Eremets and others say that the interplay of theory, simulation, materials synthesis and experiment has been crucial to progress. Beginning in the early 2000s, it became possible for simulations to predict whether a material with a certain crystal structure and chemical composition could be a superconductor, and at what temperatures it could exhibit this property. But the next major shift was the introduction of algorithms later that decade that could predict not just the properties of a material, but what materials can form from a given mix of elements. “Until then, a crucial bit was missing: understanding whether a compound can form in the first place,” says Boeri.

The discovery in 2015 that hydrogen sulfide is a superconductor was consistent with computer simulations conducted the year before. Without rapid advances in structure prediction, the discovery of hydrogen-rich superconductors “probably would have not happened for another century,” says Artem Oganov, a materials scientist at the Skolkovo Institute of Science and Technology in Moscow, who has pioneered structure-prediction algorithms. His ‘evolutionary’ algorithms, in particular, find the configuration of atoms with the lowest energy — and therefore best chance to form and remain stable — at a given pressure.

Simulations are especially crucial for predicting the behaviour of materials at high pressures, under which atoms are pushed so close to one another that they begin to interact not only through their outer electrons, but also with more inner ones, throwing chemistry-textbook dogma out of the window. An example of this is lithium hexahydride, which can exist only at high pressures. “Anybody in general-chemistry class would tell you that something like LiH6 cannot be stable,” says Eva Zurek, a computational chemist at the University at Buffalo in New York.

Picture

Member for

1 month 1 week
Real name
이효정
Position
연구원
Bio
[email protected]
지식은 전달하는 정보가 아니라, 함께 고민하기 위해 만들어진 언어입니다.

[해외 DS] MS 자체 AI 칩 공개, '마이아·코발트 100' 선보여

[해외 DS] MS 자체 AI 칩 공개, '마이아·코발트 100' 선보여
Picture

Member for

1 month 1 week
Real name
이시호
Position
연구원
Bio
[email protected]
세상은 다면적입니다. 내공이 쌓인다는 것은 다면성을 두루 볼 수 있다는 뜻이라고 생각하고, 하루하루 내공을 쌓고 있습니다. 쌓아놓은 내공을 여러분과 공유하겠습니다.

수정

마이아는 새로운 AI 가속기 제품군 
코발트는 클라우드 용 Arm 기반 CPU
클라우드 하드웨어의 비용과 성능 최적화

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.


출처=Microsoft

마이크로소프트가(MS) 15일(현지 시각) 대규모언어모델(LLM)을 위한 맞춤형 사내 칩 두 개를 공개했다. MS는 자체 칩을 개발함으로써 고객들에게 가격과 성능 측면에서 더 많은 선택권을 제공할 수 있다고 밝혔다.

사티아 나델라(Satya Nadella) CEO는 이그나이트 행사에서 첫 번째 AI 가속기 칩인 '마이아'와 범용 클라우드 워크로드를 위한 사내 CPU인 '코발트'를 소개했다. 이 두 칩은 2024년에 고객들에게 제공될 예정이다.

가트너의 애널리스트 앨런 프리스틀리(Alan Priestley) 부사장은 MS가 자체 AI 칩을 개발함으로써 '하이퍼스케일러'로서의 위치를 강화하는 것은 합리적인 결정이라는 의견을 내비쳤다. 그는 "ChatGPT와 같은 거대한 언어 모델을 운영하기 위해서는 대규모 인프라를 구축하는 데 큰 비용이 들지만, MS와 같은 하이퍼스케일러는 이를 자사 맞춤형 칩으로 최적화하여 운영 비용을 줄일 수 있으므로, LLM을 활용하려는 소비자와 기업의 비용을 절감할 수 있다"라고 설명했다.

마이아, AI 가속기

마이아는 전략적 파트너이자 ChatGPT를 개발한 OpenAI의 협력 아래 개발되었다. OpenAI를 통해 LLM이 새로운 하드웨어에서 어떻게 실행되는지를 분석했다. MS는 마이아 100 서버 보드를 위한 특별 제작된 랙을 도입했는데, 일반적인 데이터 센터 랙보다 더 넓어 전원과 네트워킹 케이블을 위한 충분한 공간을 제공한다. 그뿐만 아니라 기존 데이터 센터 설계도에 쉽게 적용되도록 디자인된 것이 큰 장점이다.

출처=Microsoft

사티아 나델라 CEO는 행사에서 "우리는 마이아 100을 위한 엔드투엔드 랙을 설계했다. AI의 전력 수요는 다른 클라우드와는 확연히 다른 인프라가 필요하고, 네트워크 밀도뿐만 아니라 훨씬 더 많은 냉각 장치가 요구됐다"라고 전했다. 또한 마이아는 하드웨어와 소프트웨어를 공동 설계하기 위해 8비트 이하 데이터 유형인 MX 데이터 유형의 첫 번째 구현을 지원한다. 이를 통해 모델 학습과 추론 시간을 줄일 계획이다. MS는 이미 차세대 마이아 개발에도 박차를 가하고 있다.

범용 워크로드를 위한 코발트 CPU

Arm 아키텍처를 기반으로 한 새로운 코발트 CPU 칩은 클라우드 네이티브 제품에서 효율성과 성능을 극대화하기 위해 최적화되었다. 이미 워싱턴주 퀸시의 MS 데이터 센터 내부에 구축된 이 칩은 128개의 코어를 보유하고 있으며, 저전력을 사용하도록 설계했다.

출처=Microsoft

MS는 코발트를 Microsoft Teams 및 SQL 서버와 같은 범용 컴퓨팅 워크로드에 사용하고 있으며, 앞으로는 가상 머신 애플리케이션으로 확장할 계획이다. 이그나이트 행사에서 AI 워크로드에 최적화된 AMD의 가상 머신을 강조했었다. Azure ND MI300x v5 가상 머신은 기업의 AI 혁신을 지원하기 위해 AMD의 Instinct MI300X를 탑재하고 있다.

파트너 협력 및 다각화를 통한 경쟁력 확보

MS가 자체 칩을 출시한다고 해서 엔비디아나 AMD와의 협력을 종료한다는 의미는 아니다. 여전히 엔비디아의 H100 칩을 사용한 클라우드 컴퓨팅 서비스를 제공하며, 새롭게 발표된 H200 칩에 대한 액세스도 추가하고 있다. 또한, 내년에 AMD의 MI300 칩에 대한 액세스도 계획 중이라고 밝혔다. Azure 하드웨어시스템및인프라(AHSI) 부문의 라니 보카르(Rani Borkar) 부사장도 인터뷰에서 엔비디아와의 성능 비교 질의를 피하고 협력 관계를 강조했다.

AWS와 Google이 앞서 커스텀 칩을 공개한 것을 미루어보아 MS의 자체 칩 출시도 업계에서의 경쟁력을 강화하는 데에 목적이 있으며, 이는 기술적 혁신과 다양한 선택권 제공에 초점을 맞추고 있는 것으로 추정된다. 그리고 자체 칩 기술을 발전시키면서도 기존 파트너사들과의 협력을 유지하며, 공급망 다각화로 큰 이점을 누릴 것으로 전망된다.


Microsoft Unveils Its First Custom, In-house Chips

Microsoft developed two new chips, including an AI accelerator, to better control the cost and performance of its Azure hardware stack.

At a Glance

  • Microsoft unveiled two new chips, one specially made for intense AI workloads, to better control its infrastructure stack.
  • Maia is a new line of AI accelerators while Cobalt is its Arm-based CPU meant for general purpose cloud workloads.
  • Microsoft said developing its own chips makes it easy to control the cost and performance of its cloud hardware stack.

Microsoft today unveiled its first two custom, in-house chips including an AI accelerator designed specifically for large language models. The tech giant said developing its own chips would let it “offer more choice in price and performance for its customers.”

At the company’s Ignite event, CEO Satya Nadella showed off Maia, its first internally developed AI accelerator chip, and Cobalt, its first custom, in-house CPU meant for general purpose cloud workloads. Both chips are set to be available to customers in 2024.

Alan Priestley, vice president analyst at Gartner, said it makes sense for Microsoft to join other hyperscalers who have developed their own AI chips. "Deploying large scale infrastructure to host large language models like ChatGPT is expensive and hyperscalers like Microsoft can leverage their own custom-designed chips, optimized for these applications to lower operational costs – reducing cost to consumers and businesses that want to use these large language models."

Maia, the AI accelerator
The Maia 100 AI Accelerator is designed to power internal AI workloads running on Azure. Microsoft enlisted the help of OpenAI, its strategic partner and maker of ChatGPT, to provide feedback on how its large language models would run on the new hardware.

Sam Altman, CEO of OpenAI, said in a blog post: “We were excited when Microsoft first shared their designs for the Maia chip, and we’ve worked together to refine and test it with our models.”

Microsoft had to build racks specifically for the Maia 100 server boards. These racks (pictured below) are wider than what typically sits in the company’s data centers. The company claims that the expanded design “provides ample space for both power and networking cables, essential for the unique demands of AI workloads.”

Next to the Maia racks are “sidekicks” that supply cold liquid to cold plates that are attached to the surface of Maia 100 chips, to remove heat.

"We've designed Maia 100 as an end-to-end rack for AI," Nadella said at the event. "AI power demands require infrastructure that is dramatically different from other clouds. The compute workloads require a lot more cooling as well network density."

Microsoft is already working on the next generation of Maia AI chips. Pat Stemen, partner program manager on the Microsoft AHSI team, said in a blog post: “Microsoft innovation is going further down in the stack with this silicon work to ensure the future of our customers’ workloads on Azure, prioritizing performance, power efficiency and cost.”

Cobalt CPUs to power general purpose workloads
Cobalt CPUs are built on Arm architecture and is optimized for greater efficiency and performance in cloud native offerings. These chips already are powering servers inside Microsoft’s data center in Quincy, Washington (pictured below). Each chip has 128 cores and is designed to use less energy.

The company is using Cobalt for general purpose compute workloads, like Microsoft Teams and SQL servers, but is also planning on expanding its scope to virtual machine applications. At Ignite, Microsoft highlighted virtual machines from AMD that are optimized for AI workloads. The Azure ND MI300x v5 Virtual Machine features AMD’s Instinct MI300X as it is designed to support AI innovation for enterprises including AI model training and generative inferencing.

The goal of making custom chips
Rani Borkar, corporate vice president for Azure Hardware Systems and Infrastructure (AHSI), said in a blog post that “the end goal is an Azure hardware system that offers maximum flexibility and can also be optimized for power, performance, sustainability or cost."

AI workloads can be expensive to run. Building its own custom chips lets Microsoft ensure they perform optimally on its most important workloads, testing different frequency, temperature and power conditions. “By controlling every facet – from the low-power ethos of the Cobalt 100 chip to the intricacies of data center cooling – Microsoft can orchestrate a harmonious interplay between each component,” the company said.

Microsoft already builds its own servers and racks to drive down costs and give customers a “consistent” experience. Chips were the final missing piece. Prior to 2016, Microsoft had bought most layers of its cloud hardware off the shelf.

Picture

Member for

1 month 1 week
Real name
이시호
Position
연구원
Bio
[email protected]
세상은 다면적입니다. 내공이 쌓인다는 것은 다면성을 두루 볼 수 있다는 뜻이라고 생각하고, 하루하루 내공을 쌓고 있습니다. 쌓아놓은 내공을 여러분과 공유하겠습니다.

[해외 DS] 학생들이 직접 ChatGPT 사용해 봐야 AI 교육 효과 있어

[해외 DS] 학생들이 직접 ChatGPT 사용해 봐야 AI 교육 효과 있어
Picture

Member for

1 month 1 week
Real name
이태선
Position
연구원
Bio
[email protected]
세상은 이야기로 만들어져 있습니다. 다만 우리 눈에 그 이야기가 보이지 않을 뿐입니다. 숨겨진 이야기를 찾아내서 함께 공유하겠습니다.

수정

'정면돌파', AI 도구를 수업에 적극적으로 도입한 한 교수
ChatGPT 보다 인간의 지성이 더 우수함을 경험한 학생들
빠른 정답 보다 느리지만 두뇌를 자극하는 과정을 인내해야

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.


사진=AI Business

ChatGPT의 '전문가스러운' 텍스트 생성 능력은 고등 교육계에 새로운 고민을 안겨주었다. AI 도구를 단순히 금지하고자 하는 유혹에 빠지기 쉽지만, 크리스토퍼 하웰(Christopher Howell) 교수는 엘론 대학교의 종교학 수업에서 '정공법'을 택했다.

교수의 입장에서 학생이 ChatGPT를 평가한 결과, "실망스럽다"

그의 선택은 학생들이 직접 ChatGPT를 활용하도록 하는 것이었다. 그 이유는 명확했다. 첫째, 학생들이 어쨌든 텍스트 생성 AI를 사용할 것이기 때문에 이를 금지하는 것은 사실상 불가능한 점을 인정했다. 둘째, 책임감 있게 사용하려는 학생들조차(즉, 부정행위를 일부러 저지르지 않는 학생들도) 이 기술에 대한 올바른 이해가 부족했다. 놀랍게도 많은 학생들이 ChatGPT를 완벽한 검색 엔진으로 오해했는데, 한 학생은 ChatGPT를 연구 도구로 활용하다가 가짜 출처를 논문에 포함하는 실수를 범하기도 했다. 하웰 교수의 목표는 학생들에게 모델의 결함에 대한 교육을 통해 이러한 실수를 방지하는 것이었다.

하웰 교수는 AI 기반의 과제를 구성했다. 각 학생은 ChatGPT를 활용해 자신의 에세이를 작성하고, 지시에 따라 '채점'하는 과정을 거쳤다. 학생들은 마치 교수가 평가하는 것처럼 문서에 코멘트를 남기도록 요청받았다. 그런 다음 하웰 교수는 몇 가지 질문을 던졌다: ChatGPT가 출처를 혼동한 적이 있는가? 그렇다면 어떻게 알 수 있었는가? 소스를 올바르게 활용했는가? 실제 출처를 잘못 이용한 적이 있는가? 주장은 설득력이 있었는가, 아니면 논리가 빈약했는가?

결과는 놀라웠다. 63개의 에세이 모두 오류가 발견됐다. 대다수의 학생들은 이 사실에 놀랐고, 기술에 대한 환상이 많이 깨졌다고 전했다. 이러한 과제는 AI 리터러시(이해력)와 ChatGPT의 책임 있는 활용뿐만 아니라 수업에서 AI의 활용, 에세이 작성의 목적, 기계 시대에서 인간의 존재 이유 등에 관한 학생들의 호기심을 자극했다. 한편 ChatGPT의 에세이를 평가하는 과정을 통해 학생들은 자신이 AI 도구보다 훨씬 더 똑똑하다는 것을 깨달았는데, 실험 전에는 ChatGPT의 유창함에 속아 자신의 능력을 저평가하는 학생들이 많았었다. 다른 교실에선 아직 이를 인식하지 못한 학생들이 많을 것으로 예상된다. 하웰 교수는 위의 유사한 경험을 통해 학생들에게 긍정적인 자아 인식을 심어주어야 하며, 그들의 관점과 비판적 사고가 중요하다는 것을 이해시키는 일이 시급함을 강조했다.

AI 활용과 두뇌 발달, 학생의 성장을 위한 고민

학교 공부에서 가장 중요한 요소는 교재나 성적이 아니다. 학생이 과제를 수행하는 동안 겪는 실제 사고 과정이 단순히 '해치운' 과제를 제출하는 것보다 더 중요하다는 데에는 이견이 없을 것이다. 논리 전개를 유도하는 것이 학교 교육의 중추적인 역할이기 때문이다. 학생들이 ChatGPT를 사용하여 과제를 대신 수행하면 이러한 인지적 경험을 놓칠까 많은 교육자가 걱정하는 이유다. 수학 문제를 풀거나, 자료를 종합하거나, 시를 쓰는 것은 학생의 두뇌를 향상하게 시키는 과제의 예다. 학생이 과제를 수행하면서 뉴런이 물리적으로 새로운 연결을 형성하여, 다음번에 더 빠르고 쉽게 작업할 수 있을 뿐만 아니라 학습 능력과 생산성도 실제로 증가한다.

2018년 유럽 연합의 교육에 대한 정책 보고서(AI의 잠재적 영향에 관한)는 학생 시절의 학습 과정이 인지 형성 단계에서 매우 중요한 시기라고 설명한다. 또한 이 보고서는 어린 두뇌가 중요한 발달 단계에 있는 동안 인공 기술에 의존하는 법을 배우면 근본적인 영향을 야기할 수 있다고 경고했다. 즉, 학생들이 학업에 스스로 노력하지 않으면 스스로 문제를 해결하는 데 필요한 뇌 구조를 형성하는 데 실패할 수 있다는 뜻이다. 2022년에 발표된 더 최근의 인공지능 프런티어(Frontiers in Artificial Intelligence) 논문도 비슷한 결론에 도달했다. 저자들은 '인지 오프로딩(cognitive offloading)', 즉, 작업을 AI에 맡기면 즉각적인 작업 수행 능력은 향상될 수 있지만 장기적으로는 해로운 영향을 미칠 수 있다고 분석했다. 문제 해결 능력 저하, 기억력 저하, 심지어 새로운 것을 배우는 능력의 저하가 부정적 영향에 포함된다.

ChatGPT는 인간이 세상과 관계를 맺는 데에 필요한 감각이 없다. 단순히 '올바르게 들린다'는 열정 없고 무감각한 대답 보다 인간의 사유는 세상과의 상호작용을 통해 훨씬 더 동적이고 심오하다. 앞으로 챗봇이 올바른 답에 더 가까워질 것이라는 생각에는 반론의 여지가 없으나, 교육 과정에서 학생들은 올바른 답을 찾는 데 초점을 맞추기보단 올바른 사고 과정을 습득하는 데에 집중해야 비판적인 사고를 일상생활에 적용할 수 있는 의식적인 성인으로 성장할 수 있는 것이다. 단기적으로 삶을 편하게 해주는 기술에 의존하면 미래의 일을 위한 능력을 개발하지 못해서, 장기적으로는 생성형 AI와 경쟁할 수밖에 없는 삶을 살아가야 한다. 이런 의미에서 하웰 교수의 실험은 교육자와 학생 모두에게 큰 경종을 울린다.


To Educate Students about AI, Make Them Use It

A college professor and his students explain what they learned from bringing ChatGPT into the classroom

ChatGPT’s ability to produce humanlike text on command has caused a crisis in higher education. Teachers and professors have been left bewildered, wondering what to do about a technology that could enable any student to fabricate assignments without actually learning. Although there is an understandable temptation to simply ban it from the classroom, I (C.W. Howell) took an alternative approach in my religious studies classes at Elon University.

I decided, instead, to have the students engage with ChatGPT directly. I chose to do this for two reasons. First, it would be difficult if not impossible to actually forbid it; students were going to use the text-generating AI no matter what. Second, unfortunately, even the students who tried to use it responsibly (that is, without just cheating wholesale) did not really understand the technology. A common and critical error is that many students mistakenly believe it is an infallible search engine. One student tried to use ChatGPT as a research tool and, unaware that it could confabulate fake sources and quotes, incorporated fraudulent information into an otherwise innocent paper. My goal was to prevent this type of misstep by teaching students about the flaws in models like ChatGPT.

To do so, I created an AI-powered class assignment. Each student was required to generate their own essay from ChatGPT and “grade” it according to my instructions. Students were asked to leave comments on the document, as though they were a professor assessing a student’s work. Then they answered questions I provided: Did ChatGPT confabulate any sources? If so, how did you find out? Did it use any sources correctly? Did it get any real sources wrong? Was its argument persuasive or shallow?

The results were eye-opening: Every one of the 63 essays contained confabulations and errors. Most students were surprised by this, and many were less impressed by the technology than they had been before doing the homework. I hope that other professors and teachers might benefit from incorporating assignments like this into their curricula as well.

In addition to teaching AI literacy and the responsible use of ChatGPT, this assignment also stimulated exciting and deeply insightful reactions from the students—about the use of AI in class, the purpose of essay-writing, and being human in an age of machines. I asked two of them, Cal Baker and Fayrah Stylianopoulos, to share their perspectives and insight on AI in education.

Cal Baker, sophomore:

The most crucial element of schoolwork is not the course material or grade: The actual thinking processes a student undergoes while working through an assignment are more important than simply turning in the completed task. The details in the work seldom matter as much as this thinking. If students use ChatGPT to do assignments for them, I worry that they will miss out on these cognitive experiences.

In most cases, the material itself is seldom why a school assignment was given in the first place; rather, it is what occurs in a student’s brain as they complete the assignment that is the backbone of schooling. Doing a math worksheet, synthesizing sources or writing a poem are examples of assignments that improve a student’s brain. As a student works, their neurons form new connections, allowing them to work more quickly and easily the next time around, as well as increasing their capacity for further learning and productivity.

Completing assignments with an AI like ChatGPT could harm a student’s cognitive development. A 2018 European Union policy report on the potential impacts of AI on education explains that a student’s brain is in a “critical phase” of development. It further warns of “quite fundamental consequences” if young brains learn to rely on artificial cognitive technologies while in their critical development phases. In other words, if they don’t put their own effort into schoolwork, students might miss out on developing the brain structures needed to solve problems for themselves. A more recent Frontiers in Artificial Intelligence paper, from 2022, reached a similar conclusion: the authors speculate that while “cognitive offloading” tasks to AI “can improve immediate task performance, it might also be accompanied by detrimental long-term effects.” These effects might include diminished problem-solving abilities, worse memory and even a decrease in one’s ability to learn new things.

On the surface, the more an individual practices something, the better at it they are likely to become. But on a deeper level, the processes that go on in a student’s brain as they undertake these assignments are the most important part. If a student turns to AI instead of doing the work themself, the neural pathways they would use for that assignment will deteriorate instead of being formed and retraced. This will ultimately end up hurting students. If they depend on technology that makes their lives easier in the short term, they will fail to develop their abilities for future work, thereby making their lives more difficult in the long term.

Fayrah Stylianopoulos, sophomore:

Although ChatGPT is certainly dangerous if abused, I recognize that it has the potential to support students on their academic journeys. At its best, ChatGPT can be a versatile resource, introducing fresh, interactive ideas into the classroom for both teachers and students to enjoy. For instance, it can suggest unique learning experiences based on standardized objectives, drafting lesson plans and prompts for student assignments. ChatGPT can even quiz students on their own class notes (in short answer or multiple-choice format no less), although it is worth noting that students might be better served cognitively by writing their own questions and recall cues.

However, the ubiquity of AI in academic spaces compels students to reflect on who they are, and on what ChatGPT is.

AI-generated text can sound right, but sequential plausibility is not the same thing as truth. Grading ChatGPT’s essay for this assignment made it apparent that students, for this reason and others, are much smarter than large language models like ChatGPT. Unfortunately, few realize this. Many students feel insignificant or unintelligent when faced with such technology. We need to affirm students and instill in them the confidence to realize that their perspectives matter, and their critical thinking cannot be automated.

Some critics have likened large language models like GPT-3 to trained parrots that repeat familiar phrases without an inkling of what their subtle contexts could mean to human listeners. If this passionless and detached precedent of simply “sounding right” is rewarded in classrooms, it will have a tragically homogenizing effect on human thinking and dialogue. I believe there is something to be said for the essential, profound stake we share in the fate of this world, which is something humans (and parrots too) have, but that ChatGPT does not. Despite all its incredible ability, ChatGPT has no sense of relationship to us or to the world. How can such a detached voice have anything to offer us that we do not already possess?

I worry that if students over-rely on machine learning technology, they will learn to think like it, and focus on predicting the most likely “right answer” instead of thinking critically and seeking to comprehend nuanced ideas. Science fiction often depicts artificial intelligence taking over society, leading to a technological singularity (where technology irrevocably surpasses humanity) and the end of the world. But I’m not worried about AI getting to where we are now. I’m much more worried about the possibility of us reverting to where AI is.

Picture

Member for

1 month 1 week
Real name
이태선
Position
연구원
Bio
[email protected]
세상은 이야기로 만들어져 있습니다. 다만 우리 눈에 그 이야기가 보이지 않을 뿐입니다. 숨겨진 이야기를 찾아내서 함께 공유하겠습니다.