아트모아

[아티(ATI) 기업탐방] 뉴튠

내가 경험하는 모든 일상, 음악이 되다

뉴튠 이종필 대표

세계 최초 멀티모달 AI 음악 생성기인 뉴튠의 ‘믹스오디오’

프롬프트는 물론 사진, 심지어 영상을 입력하면 AI가 분위기에 맞는 음악을 생성해 준다.

 라이브 음악, LP, CD, MP3, 그리고 현재의 스트리밍.

그렇다면 스트리밍 다음의 음악 경험은 어떻게 달라질까?

더 나은, 새로운 음악 경험에 대한 끊임없는 고민으로

AI 음악 프로그램의 새로운 대로를 열어가고 있는 뉴튠.

그 기업의 시작을 만든 이종필 대표를 만나봤다.

뉴튠 이종필 대표

AI 음악 기술 전문 IT 스타트업인 뉴튠에 대한 소개와, 대표님 소개도 함께 부탁드립니다.

저희 회사는 2020년 3월에 창업했습니다. 저희가 회사를 만든 취지는 사실 단순해요. 음악이라는 게 보통 3분으로 만들어져 스트리밍으로 유통되잖아요. 그러면 저희가 평소에 하는 경험은 그냥 ‘듣는다’에 그치고, 그 이상의 것이 되기는 어렵습니다. 그런데 세상이 바뀌면서 매체별로, 사람에 맞춰서, 듣는 형태에 맞춰서 음악이 제공되는 방법이 서서히 바뀌고 있고, 기존의 음악 포맷은 그런 변화 안에서 뭔가를 더 보여주기 어렵습니다. 그래서 음악을 레고처럼 블록화해서 유통해야 한다는 메인 아이디어를 가지고 창업하게 됐습니다. 목적은 음악을 블록화해서 유통하고, 블록들을 잘 섞고, 변형시키고, 그 사이에 무언가를 생성시키는 AI 기술을 접목해 어떤 쓰임새든, 어느 곳이든 계속 사용자 맞춤형으로 서비스를 해줄 수 있도록 하는 게 저희의 메인 목표입니다.

제 소개와 함께 말씀드리면, 저희는 카이스트 문화기술대학원의 ‘Music and Audio Computing’ 연구실의 졸업생 친구들 7명이 같이 만든 회사예요. AI 음악을 하는 연구실인데, 문화 기술이라는 타이틀을 달고 있어서 전체 입학생이 10명이면 그 중 한 4~5명 정도는 공학도가 아닌 분들이 계세요. 그래서 창업을 같이한 친구들 또한 다양한 백그라운드를 가지고 있습니다. 예를 들면 버클리 음대 졸업해서 컴퓨터 음악을 전공하는 친구, 디자이너 친구, 미디어 아티스트 박승순 작가님… 이렇게 다 섞여서 같이 창업했습니다.

저희 회사는 다양한 매체에, 맞춤형으로, 실시간으로, AI로 음악을 제공할 수 있는 서비스가 주 타이틀이다 보니, 지금 믹스오디오라는 멀티모달[1]로 음악 생성하는 서비스를 운영하는 상황입니다.

믹스오디오 로고 (출처: 뉴튠 공식 홈페이지)

현재 중점적으로 서비스 중인 뉴튠의 ‘믹스오디오’는 세계 최대 규모인 전자제품박람회 2023 CES ‘Software & Mobile Apps’ 부분에서 혁신상을, 2024 독일 디자인 어워드(GDA)에서 ‘위너(Winner)’를 수상했습니다. ‘믹스오디오’, 그리고 최근 출시된 ‘믹스오디오’의 모바일 스트리밍 앱에 대한 설명 부탁드립니다.

믹스오디오는 ‘멀티모달 AI 음악 생성기’ 이런 타이틀을 달고 있는데, 거기에 부제처럼 BGM, 리믹스, 라디오 이렇게 3개의 단어를 동반합니다. 이 세 가지가 저희가 생각하는 음악 생성기의 사용 사례 같은 겁니다.  BGM을 먼저 살펴보면, 음악을 사용하셔야 하는 분들, 자기 콘텐츠를 만드는 분들이 더욱 저작권 문제없이 깔끔하고 편리하게 생산성을 향상하도록 돕는 방향의 서비스입니다. 리믹스는 ‘나는 이 음악을 하드락 느낌으로 바꿔줘’, ‘나는 이 음악을 전자 음악 느낌으로 바꿔줘’ 이렇게 아티스트의 음악을 실시간으로 바꾸면서 듣고, 놀고, 변형시킨 걸 다운로드할 수 있는 서비스입니다. 
라디오는 요즘 유튜브에서 로파이 채널 같은 걸 통해 작업 노동요라거나, 어떤 공간에 무드처럼 틀어놓는 음악을 들을 수 있는데, 이런 음악은 요즘 AI로 많이 만들거든요. 그래서 24/7 항상 끊이지 않고 틀어놓을 수 있게 특정 모드로 제공되는 기능입니다. 웹상에서는 지금 이 세 가지를 한 번에 서비스하고 있어요. 그래서 다양한 실험을 계속하고 있습니다. BGM 쪽으로 많이 포커싱 되어있긴 한데, 곧 리믹스 부분을 강화한 업데이트를 앞두고 있습니다. 그래서 아티스트 음악도 더 많이 들어올 예정이고, 아티스트의 음악을 직접 가지고 놀면서 변형시키는 서비스를 메인으로 하고자 합니다. 
웹에서 BGM이 포커싱이었다면, 앱 서비스는 리믹스와 라디오가 중점입니다. 저희가 상상하기로는 기존의 음악 스트리밍 앱을 사용하면 아티스트 음악을 검색해서 듣거나, 플레이리스트를 만들어주거나, 원래 있는 것을 그대로 듣거나 하는 게 거의 다잖아요. 그런데 만약 원하는 느낌을 검색하거나 입력하면 그에 맞춰 아티스트의 음악이 알아서 섞여서 제공된다면? 플레이리스트 이상의 경험인 거죠. 그러니까 AI로 음악을 만들어 주거나, 혹은 내가 원래 좋아하던 음악을 다양한 느낌으로 계속 변주하며 듣는 게 가능해지도록 발전하는 것이 앱의 목적입니다.

다른 AI 기술을 기반으로 한 음악 생성 프로그램들과 다른 믹스오디오만의 경쟁력이나 핵심 기술에 관해 설명해 주실 수 있으신가요?

처음에 저희 회사를 왜 만들게 됐는지에 대한 설명으로 ‘음악이 쪼개져서 유통된다, 그리고 AI 엔진이 맞물려지면 정말 다양한 파생을 할 수 있다.’라고 말씀드렸는데 이게 다른 엔진과 가장 큰 차별점입니다. 이걸 단순하게 표현하면 ‘블록화되어 유통되는 AI 음악 서비스’라고도 할 수 있어요.

기술적으로 표현하면, ChatGPT로 대표되는 LLM[2]의 가장 큰 단점으로 항상 말하는 게 할루시네이션[3]이잖아요. 원래 ChatGPT의 반대편에는 구글 같은 검색 엔진이 있었죠. ChatGPT와 비교해서 구글 검색은 정확한 사실을 잘 찾아주긴 하지만 사용자 맞춤형의 뭔가를 해주지는 않습니다. 그래서 요즘 이 둘의 장점을 혼용하자는 방향성이 만들어지고 있어요. 사용자가 뭔가를 요청하면 그 요청에 맞춤형으로 대답을 해주되, 그 근거가 되는 것도 검색 엔진처럼 설명을 해주는 거죠. 이 기술을 검색 증강 생성(Retrieval-augmented generation)이라고 불러요. 이 분야가 활발히 연구되고 있습니다.

믹스오디오는 음악에서의 이런 검색 증강 엔진의 형태를 가지고 있습니다. 어떤 입력 값에 맞춰서 음악을 막 만들어주는 게 아니라 이미 실존하는 음악 악기 소리나 이런 것들을 사용자의 입력 값에 맞춰서 실시간으로 계속 검색하고, 조립하고, 변형시키면서 맞춤형으로 제공하는 엔진입니다.

따라서 다른 음악 서비스들과 달리 저작권 문제에서 장점을 가집니다. 타 음악 서비스들이 AI 모델을 만들려면 학습을 시켜야 하잖아요. 근데 애초에 음악을 가진 회사에서 하는 게 아니니까 남의 음악을 무단으로 학습해서 문제가 되었던 케이스들이 좀 있었어요. 그런데 저희는 이미 유통 체계를 보유하고 있고, 여기 있는 음악들을 검색 엔진과 유사하게 제공하기 때문에 저작권에서 가장 깔끔하고 유통되는 음악이 많아질수록 AI 엔진의 성능이 좋아진다는 장점도 있습니다.

블록 음악 설명 그래픽 (출처: 뉴튠 공식 홈페이지)

믹스오디오의 음악 생성에 기반이 되는 블록 음악이라는 개념이 흥미롭게 다가옵니다. 음악 생성을 블록 단위로 구성하시게 된 계기와, 이를 통한 효과가 궁금합니다

블록 음악 관련해서는 같이 회사 만든 세 분이 동일한 생각을 했던 것 같아요. 음악의 포맷이 시대에 따라 계속 변해왔잖아요. 정말 옛날에는 라이브 공연 아니면 음악을 못 들었고, 그러다가 레코딩, LP 판 같은 게 발달하면서 음악을 저장해서 들을 수 있게 됐고, 그 다음에는 디지털로 넘어가 CD 같은 게 등장했고, 이후 아예 온라인으로 바뀌어 다운로드가 잠깐 생겼다가, 스트리밍으로 넘어가는 과정이잖아요. 음악도 시대별로 다 달랐는데 포맷에 맞춰 발전하다 보니 지금처럼 3분이 편해서 여기에 머물게 된 거예요. 그러면 매체 기술, AI 이런 것들의 발전 속에서 음악의 어떻게 발전해야 더 좋아질지 상상을 하면, 블록 음악의 형태로 답이 모입니다.

음악을 전공한 한 친구는 컴퓨터 음악, 영화 음악, 게임 음악을 전공했어요. 그런데 이 블록 음악이라는 개념이 사실 게임 음악이랑 포맷이 엄청나게 닮았어요. 게임을 상상해 보면, 제가 유저로서 한 장소에 머무른다거나, 다른 데로 간다거나, 어디서 싸운다거나 하면 음악이 등장하는 때가 사람마다 다 다르잖아요. 그렇기 때문에 게임에서 나오는 음악은 똑같은 걸 반복 재생하는 게 아니라 룹이 가능하게 특정 조각화 된 음악을 넣어놓고 어떤 이벤트가 발생하면 계속 변화시키는 형태예요. 그러니까 저희 블록 음악을 거의 규칙처럼 만들어 놓은 버전이거든요. 그래서 데이터 형태는 게임처럼 언제든 변형시킬 수 있게끔 하되, AI로 그 위의 것들을 다 자동화시키면 정말 자유로운 것이 되겠다는 생각이 들었어요.

그리고 전자음악이랑, 예술 경영, 미디어 아트 하시던 분도 계시는데, 클래식에는 모차르트의 주사위 게임이라고 해서 주사위를 던지면 어떤 악장의 특정 부분에서 다른 부분으로 넘어가게끔 해서 게임 음악처럼 가지고 놀던 게 있었다고 해요. 그러니까 음악은 애초에 그렇게 반복할 수 있는 형태이고, 어떻게 이어 붙여도 되고, 랜덤하게 짜깁기해도 충분히 좋다는 것이죠. 이분도 전자음악을 하다 보니 이게 음악의 미래 포맷이라고 정해놓고 거기에 맞는 기술을 계속 쌓아왔었어요.

아까 저작권 문제에 대해서 잠깐 말씀을 해주셨는데, 대표님께서는 2023년, 제6회 지식재산의 날 기념식에서 저작권 보호에 기여한 공로로 문화체육관광부 장관 표창을 수상하셨습니다. 뉴튠, 그리고 대표님께서는 예술 분야의 지식 재산권 보호에 대해서 어떤 견해를 가지고 계시는지, 어떤 기술을 통해 저작권 문제를 해결할 수 있을지 듣고 싶습니다.

일단 지식재산권의 의미가 무엇인가 하면 ‘지식재산을 보호하고, 이용을 촉진한다.’이므로 ‘보호’, ‘촉진’ 두 단어로 이해할 수 있습니다. 그러면 한 번 지식재산이 없는 세상을 상상해 봅시다. 지식재산이 없는 세상은 남이 만든 것이든 뭐든 무단으로 사용하면 되는 거예요. 그러면 사실 아트라는 건 안 나오거든요. 공들여서 자기가 뭔가를 만든 건데 그것에 대해 아무 보호도 받지 못하는 거니까. 그래서 지식재산을 보호하는 것이고, 또 보호를 함으로써 더 많은 사람들이 이런 활동을 하게끔 촉진하는 겁니다.

그런데 사실 요즘 AI 분야에서는 저작권을 공정이용[4]이라는 단어로 많이 이야기해요. 예를 들어서 제가 웹 상에 떠도는 공개된 지식을 보고, 해석하고 공부해서 다른 지식을 만들어내는 게 불법이면 안 되잖아요. AI 업체들도 인터넷에 떠도는 지식을 모아서 AI 모델을 학습시키고 AI가 답을 내뱉는 것이니, 똑같은 것이라고 주장해요. 하지만 이런 주장이 인정돼 버리면 누구나 남의 것을 AI 모델 같은 것으로 긁어와서 만들면 되는 거예요. 이게 무슨 의미냐면, 원 콘텐츠를 만드는 사람들의 수익이 줄어들기 시작할 것이고, 점차 원저작자의 지위가 약해져요. 그러면 결과적으로 지식재산을 없앤 건 아니지만 지식재산 전체를 약화시키는 방향이 될 거예요. 지식재산이 없다고 하면 아트나 새로운 건 안 나온다고 했잖아요, 결국엔 그 길로 가게 되는 거거든요.

만약 AI들만 있는 사회가 있다고 생각해 봅시다. 그러면 AI들도 가치를 따라 행동하는 존재들이니까 결국에는 그들 사이에서도 지식 재산이 필요할 거예요. 인간도 그렇기 때문에 지식재산권을 만든 거고. 결국 지식재산은 필요한 게 되는 거예요. 저희는 그래서 유통이라는 단어를 그대로 쓰는 게, 정말 콘텐츠가 원작자의 것이 될 수 있도록 공정하게, 함께 발전하는 형태의 엔진을 유일하게 추구하고 있는 서비스이기 때문입니다. 지식재산을 위한 활동은 많아요. 예를 들면 AI가 만든 콘텐츠들이 세상에 있는 원저작물을 몇 프로 닮았고 얼마나 침해했는지를 판가름할 수 있는 연구도 활발하게 이루어지고 있고요. 워터마킹[5]과 같은 것도 활발하게 연구되고 있습니다.

옛날에 스트리밍 체계가 잡히기 전에 되게 혼란하던 시절이 있었어요. CD가 스트리밍으로 바로 넘어온 게 아니라 중간에 사람들이 다운로드해서 쓰던 시절이 있었거든요. 음악을 MP3로 다운로드해서 들었던 시절이 있었어요. 스트리밍은 제가 듣는 만큼, 혹은 정액으로 돈을 지불하니까 시장 형성이 잘 된 거고, CD도 돈 주고 물건을 산 거니까 좋고. 그런데 다운로드는 온라인상에서 사람들이 너도나도 막 다운로드할 수 있어서 사실 음악 산업이 잠깐 위험했었거든요. 그래서 다운로드 시절에 콘텐츠들을 특정 시스템이 없으면 재생을 못 하게 만드는 방식으로 관리하는 DRM이라는 시스템이 등장했어요.

다운로드 시대에 다운로드를 잘할 수 있게 해주는 서비스들이 많이 나왔었는데, 지금 무단으로 남의 데이터를 쓰는 AI 서비스들이 나온 것과 비슷한 성장 상황인 거죠. 그래서 AI의 DRM 기술, 관련된 정책 같은 게 미국 등에서 활발하게 진행되고 있어요. 그러면 이 뒤에는 스트리밍 서비스가 나온 것처럼 원 소스 제작자, 서비스 사업자, 사용자 사이에 수익이 원활하게 돌아가는 구조의 서비스가 자리를 잡을 거예요. 그래서 저희는 그런 형태의 서비스가 되기 위해서 계속 달려 나가고 있습니다.

컴퓨터공학과 음악. 이 두 분야는 서로 멀게 느껴지기도 하는데요, 대표님은 어떻게 음악과 공학을 접목하는 것에 관심을 갖게 되셨는지 궁금합니다.

이건 취향이라고 밖에 답변을 못 할 것 같아요. 누구든 좋아하는 일을 해야 안 지치고 오래 할 수 있다고 생각해요. 저는 전자공학을 전공했고 학부 때 음악 활동도 좀 했어요. 제가 연주하거나 작곡하기보단 큐레이션 활동을 엄청 했어요. 고등학교 때는 하루에 발매되는 음악을 다 들을 정도로 음악을 좋아했고요. 대학교 졸업할 즘에 스스로 돌이켜보면서 내가 이제 인생을 길게 가야 될 텐데 안 지치고 할 수 있는 게 뭐가 있을까 생각을 하면서 몇 개 단어 정리를 했더니 그게 수학, 코딩, 음악, 세 개였어요. 이 세 개는 질리지 않고 재밌고 계속할 수 있다. 그래서 대학원도 그런 쪽으로 가고, 그 이후에도 계속 이런 쪽으로 일하고 있습니다.

카이스트 문화기술대학원 로고

대표님은 카이스트 문화기술대학원 MAC(Music and Audio Computing)에서 함께 연구했던 동료들과 창업하셨습니다. 취업이 아닌, 창업의 전선에 뛰어들어 뉴튠이라는 기업을 성장시키기까지의 궤적이 궁금합니다.

박사 대학원 면접을 보는데 학과장님이 박사는 붙었다고 가정하고, 졸업하면 뭘 하고 싶은지를 물어보셨어요. 근데 그냥 그때 창업하고 싶다고 답했어요. 그래서 사실 박사 기간에도 주제 선정 같은 걸 졸업하고 창업을 할 수 있는 형태의 기술을 만들어보는 걸 목표로 하기도 했었고요. 그 다음에 주위에 좋은 친구들도 같이 계속 연구하면서 보고 그래서 같이 창업을 하기도 했어요. 
사실 제가 졸업하기 한 1~2년 전에 어도비에서 인턴 같은 걸 하면서 기술 개발도 하고, 음악 관련된 일도 하면서 풀타임 제안을 받았었어요. 근데 연구 같은 걸 많이 하다 보니까 느낀 게, 실력이나 자본이나 모든 것은 상황 따라 만들면 되는 거고 제일 중요한 건 ‘가치가 맞는 좋은 사람들과 무엇을 하느냐’ 라는 생각이 들었거든요. 그게 제일 큰 건데, 이미 여기서 뜻이 맞고 좋은 분들을 많이 만났다고 생각해서 바로 창업을 선택하게 되었어요. 
모든 것을 이상적인 상황으로 가정해서 자신을 한번 던져봐요. 뭐든 다 할 수 있다고 가정했을 때 어떤 목표가 지속 가능할지, 나의 만족감, 혹은 잃을 것이 있을지. 예를 들어 돈을 많이 번다는 목표는 한순간에 이룰 수 있고 또 휘발될 수도 있죠. 그래서 결국 남는 건 가치를 쫓는 것밖에 없어요.

믹스오디오는 세계 최초의 멀티모달 AI 음악 생성기인 만큼 혁신적인 기술이 뉴튠의 발전에 큰 기여를 했다고 보입니다. 혁신적인 기술을 개발하기 위해서는 색다른 시각과 독특한 아이디어가 필요할 것 같은데, 이를 위해 일상에서 들이는 습관이나 아이디어를 얻는 방법이 있으신가요?

방향성, 정보, 실행 이렇게 세 가지인 것 같아요. 아이디어라는 건 어떻게 보면 변화하고 휘발되는 것이라고 생각하거든요. 그렇기 때문에 중요한 건 특정 가치를 위한 방향성이라고 생각합니다. 그게 있어야 아이디어를 계속 떠올려보는 거잖아요. 그래서 방향성이 일단은 잡혀야 하고, 그 다음에는 그 방향성과 관련된 정말 최신의 정보나 지식 같은 거를 습득을 해야 되고, 그걸 기반으로 아이디어가 나오면 정말 즉각적으로 실행을 한다. 이 3개인 것 같아요. 아무리 갈고 닦은 아이디어라도 실행하면 꽝인 경우가 많고, 그렇다고 방향성이나 정보가 부족한 채로 낸 아이디어를 실행만 한다고 되는 것도 절대 아니거든요.

그래서 구체적으로 제가 지금 상황에서 꾸준히 하는 것은, 일단 연구 기술 관련 정보와 음악 산업 관련 정보를 가장 최신 것으로 항상 트레킹 하고요, 이 두 개의 최신 정보를 알고 있기 때문에 제가 가고자 하는 방향이 생기면 뒤따라 떠오르는 아이디어를 이제 하나씩 두들겨 보면서, 꽝인 경우도 많지만, 계속합니다.

믹스오디오 앱 활용 장면 (출처: 뉴튠 공식 홈페이지)

인터뷰를 준비하면서 믹스오디오를 몇 번 사용해 봤는데, 컴퓨터 기술과 거리가 먼 저도 쉽게 저작권 걱정 없이 음악을 만들어낼 수 있어서 정말 유용한 서비스라고 느꼈습니다. 또, 프롬프트를 다르게 입력해 보고 블록들을 분리해서 들어보는 등 더 좋은 결과물을 만드는 과정을 통해 전문 작곡가와 함께 작업하고 있는 듯한 느낌을 받았습니다. 이러한 믹스오디오를 대중들이 어떻게 사용하면 좋을지, 그리고 앞으로 음악 분야에서 믹스오디오가 어떤 역할을 차지하게 될지에 대한 대표님의 기대가 궁금합니다.

지금 시점에서 음악은 사실 마음대로 사용할 수 없다고 생각하잖아요. 음악 스트리밍 서비스 이런 데 있는 음악들을 다운로드해서 다른 데 쓰면 안 되는 것처럼. 사실 음악 저작권이라는 게 굉장히 꼬여 있거든요. 저작권 중에서도 역사가 깊어서 과거부터 쌓인 게 있다 보니 시스템을 조금 바꾸기도 어려운 상황이에요. 근데 상상해 보면 내가 좋아하는 음악을 마음대로 듣고, 변형시키고, 여기저기 사용하면 제일 좋잖아요. 사실 그렇게 되는 분위기를 만들고 싶어요.

저희의 포부라고 한다면, 스트리밍 서비스 다음 세대의 대중적인 음악 서비스가 발전하는 게 목적입니다. 그러려면 세상에 나오는 IP 음원이라고 할까요? 그런 유명 음원을 다 포함하고 있어야 사람들이 즐겁게 사용하는 거잖아요. 그렇게까지 발전하는 게 목표예요.

마지막으로, 대표님처럼 시대 변화의 최전선에서 새로운 길을 개척해 나가길 꿈꾸는 사람들에게 한마디 부탁드립니다.

두 가지인데요, 먼저 세상은 주어진 대로 흘러가거나 누군가 만들어 놓은 시스템에서 살아야만 하는 게 아니라 ‘만들어 간다’라는 개념이 엄청 세다는 것을 인지할 것. 또 하나는 자기 확신이 어느 정도 생기려면 스스로도 엄청나게 많은 리서치를 하고, 아이디어도 변형시키면서 실행하는 과정이 필요하거든요. 그렇기 때문에 ‘주도적으로 뭔가를 할 수 있다’라는 개념을 가지고, 근데 그걸 그냥 맹목적으로 하지는 말고 그만한 확신을 얻기 위해서 엄청 많은 것들도 같이 했을 때 결국 ‘하면 된다’는 것.

0