Representing the Timbre of Traditional Musical Instruments Based On Contemporary Instrumental Samples Using DDSP, UIST 2023 Adjunct

Yousang Kown, Seounuk Kim, Taeyoung Ko, Juhyeok Yoon, and Kyungho Lee. Representing the Timbre of Traditional Musical Instruments Based On Contemporary Instrumental Samples Using DDSP. ACM Symposium on User Interface Software and Technology (UIST’23 Adjunct). Poster. San Francisco, USA. https://doi.org/10.1145/3586182.3616678

Statement

Traditional musical instruments, like Korea’s Geomungo, carry rich cultural value through their unique sounds. However, as modern music increasingly relies on digital tools, many traditional sounds are at risk of fading away. This research explores a novel approach to preserving and recreating these sounds using artificial intelligence. The authors use a method called Differentiable Digital Signal Processing (DDSP) to digitally imitate the Geomungo’s sound. Instead of recording hours of traditional music, they use the sound of a modern instrument—the bass guitar—which has a similar playing style. The AI system learns how to transform the bass guitar’s sound into something that closely matches the Geomungo. The researchers tested whether the recreated sound matched the original one by comparing specific audio features, such as tone and texture. They also integrated the system into common music software to demonstrate its practical application in real-world music production. This study is one of the first to apply this method to traditional instruments and could help preserve cultural music in today’s digital music landscape.

한국의 거문고처럼 전통 악기들은 고유한 소리로 풍부한 문화적 가치를 지니고 있습니다. 하지만 현대 음악이 점점 디지털 도구에 의존하게 되면서, 이러한 전통적인 소리들은 점차 사라질 위험에 처해 있습니다. 이 연구는 인공지능을 활용해 이러한 소리를 보존하고 재현하는 새로운 접근법을 제안합니다. 연구진은 ‘DDSP(Differentiable Digital Signal Processing)’라는 기술을 사용해 거문고의 소리를 디지털 방식으로 모방했습니다. 수많은 전통 음악을 녹음하는 대신, 연주 방식이 유사한 현대 악기인 베이스 기타의 소리를 활용했습니다. AI 시스템은 베이스 기타 소리를 거문고 소리처럼 변형하는 방법을 학습합니다. 연구진은 이렇게 만들어진 소리가 실제 거문고 소리와 얼마나 유사한지를 음색과 질감 같은 구체적인 음향 특성을 비교해 평가했습니다. 또한 이 시스템을 일반적인 음악 제작 소프트웨어에 적용해 실제 음악 제작 환경에서도 활용 가능함을 보여주었습니다. 이 연구는 전통 악기에 DDSP 기법을 적용한 초기 사례 중 하나로, 디지털 음악 시대에 문화적 음악 유산을 보존하는 데 기여할 수 있을 것으로 기대됩니다.