Search
🔊

Image2Music

•
초기 모델 : Chain 형식 / Image + text → text→ music
•
저작권 문제 유의
Search
시장 조사
영화, TV 프로그램, 애니메이션, 게임 개발자들은 이미지와 함께 음악을 결합하여 강력한 경험을 제공하고 싶어합니다. 이러한 AI 모델은 새로운 음악을 만들거나 기존 음악을 변형하여 시청자와 플레이어들에게 더욱 흥미로운 경험을 선사할 수 있습니다.
영상 및 게임 산업
광고 캠페인이나 마케팅 프로젝트에서는 강렬한 이미지와 함께 맞춤형 음악을 활용하여 제품 또는 서비스를 강조하는데 활용할 수 있습니다. 이러한 AI 모델은 이미지와 상품 또는 브랜드 컨셉을 분석하여 이에 어울리는 음악을 자동으로 생성할 수 있습니다.
광고 및 마케팅(SNS)
작곡가, 음악 프로듀서, 음악가들은 창작 과정에서 AI 기반의 도구를 사용하여 새로운 음악을 만들어내거나 창작 과정을 보조할 수 있습니다. 이미지로부터 영감을 받아 AI가 음악을 작곡해주는 도구는 창의적인 작업을 돕는데 유용할 수 있습니다.
AI 기반 창작 도구(작곡 등)
AI는 예술적 창작 활동에도 널리 활용되고 있습니다. 이미지를 바탕으로 AI가 음악을 작곡하는 것은 예술가들이 새로운 시각과 청각적 경험을 탐구하는 데 도움이 될 수 있습니다.
•
예술 및 창작 활동(전시회 작품 BGM 등)
음악 교육 분야에서도 이미지를 활용하여 AI가 음악을 생성하는 것은 학생들의 창의성과 상상력을 키우는 데 도움이 될 수 있습니다. 학생들은 그림을 그리고 AI가 이를 음악으로 변환하는 과정을 통해 다양한 형태의 예술을 경험하고 배울 수 있습니다.
•
유아 대상 AI 체험 교육 플랫폼
음악 교육 및 학습 도구
BGM 플랫폼의 경우 다음과 같이 분류 가능
•
저작권 이슈가 없는 BGM을 대량으로 보유하고 있는 곳
•
BGM 자체를 생성할 수 있는 곳

soundraw

BGM 플랫폼 리서치
인터뷰 대상
•
미술관에서 큐레이션하고 작가와 사용자를 미술관 밖에서도 연결해줄 수 있는 서비스
•
미술관에서 QR코드를 통해 사용자와 작가를 연결해줄 수 있게 함
•
해당 서비스에서 개발자로 일하는 중
미술 작품에 오디오를 사용하는 니즈가 있는지?
→ 비슷하게 오디오를 넣는 작업을 했었음
→ 1년전에는 AI 모델을 사용하진 않았음
→ 미리 준비된 음성을 틀어놓는 식으로 진행
구체적으로 어떤 방식으로 오디오를 듣는지?
→ 전시를 할 때 QR를 찍어서 오디오를 듣는 경우가 있음
→ 대형전시의 경우 작품별로 오디오가 있었음 (대형 갤러리에서)
→ 전시회에서 선택한건지 작가에서 선택한건지 모르겠지만
전시회 작품 BGM 생성 관련 인터뷰

인터뷰 대상

•
초등학교 선생님

질문

수업에서 AI를 사용하고 있는가?
•
이미지를 넣었을 때 이미지 찾아주는 AI로 수업을 이미하고 있음
•
미드저니도 이용해본 적 있음
•
작년에는 플레이그라운드 AI를 사용했음
수업시간에 교육 목적으로 활용하는 구체적인 방법은 어떤 것이 있는가?
•
작문 연습을 할때 텍스트를 이미지로 만들어주는 식으로 이용
요즘 학교에서 태블릿으로 수업함
•
패들렛
AI 교육 관련 인터뷰

정리

•
기술의 도입을 적극적으로 하는 전시에서는 니즈가 있음
•
작가 단을 컨택하는 것이 일이 간편할 것
•
커스터마이징을 어느 수준까지 할 수 있을지 고민 필요

인터뷰이 1: 조소과 졸업생

•
특이사항
•
질문1: 미술 작품에 오디오를 사용하고자 하는 니즈가 있는가?
•
질문2: 음악 커스터마이징에 대한 의견이 어떠한가?
•
질문3: 도슨트 음악이 만들어지는 과정이 어떻게 되는가?
•
질문4: 미술관의 기획 팀이 하는 어떻게 되는가?
•
다양한 위계에서 접근 가능함

인터뷰이 2: 동양화과 전공 대학원생

•
생각보다 바로 전시를 열 가능성도 있음
미술업계 인터뷰 3건
Search
Research Papers
이름
날짜
paper
깃헙
Blog/HuggingFace
학회
리뷰어
MuLaN
Open
AudioLM
Open
MusicLM
Open
MusicGen
Open
2023/06/08
SymbolicMusicGen
Open

230730

•
교육 쪽 시장조사 (음악 생성 AI, AI 교육) - 성훈
•
MusicGen 테스트 - 태백, 성환

230806

•
데모 페이지 - 태백
•
시장조사

230820

정현: 아는 친구가 가수 목소리 합성 유튜브 채널 운영하고 있는데 (구독자는 많지 않음) 기술적인 부분 좀 물어볼까요?
태백님 Text2Music youtube channel
Music generation에 시간 좀 걸림 (10초 짜리면 30초 정도)

230827

•
프사 넣었을 때 음악이 어떤 퀄리티로 나오는지 확인
•
각자 다양한 사진을 넣어보기 (최소 10장), 어떤 사진 or 프롬프트를 넣어야 하는지 확인, 각자 실험해보기
•
symbolic music 조사
◦
해당 논문 찾아보기
◦
어떤 연구가 있는지 알아보기
image inputs

230903

이 중에서 고르기
•
Deepspeed 한국어 버전으로 docs
•
성환님 프로젝트 고도화
•
반려 동물 관련 something
•
음원 표절 검사
•
image to music 웹 서비스 출시
◦
Amazon Inf1 어떻게 쓰는지 조사 - 정현
▪
하이퍼커넥트에서 이미 tensorflow, pytorch로 해본 경험이 담긴 블로그가 있네요ㅎㅎ 제가 정리하는 것보다 이게 나을 것 같아서 첨부해둡니다.
◦
웹사이트 어떻게 만드는지 조사 - 태백
◦
Inf1, GPU 달려있는 EC2 가격 비교