Simple and Controllable Music Generation
TL;DR
โข
Conditional Music Generation
โข
MusicGen
โฆ
(Simple) single-stage transformer LM
โช
์ด์ ์ฐ๊ตฌ๋ค๊ณผ ๋ฌ๋ฆฌ, cascading several models ํ์ ์์
โช
hierarchically or upsampling
โฆ
(Controllable) conditioned on textual description or melodic features
โข
Contribution
โฆ
simple and efficient model to generate high quality music at 32 kHz
1.
generate consistent music with a single-stage language model through an efficient codebook interleaving strategy
2.
ํ
์คํธ์ ๋ฉ๋ก๋๋ฅผ condition์ผ๋ก ๋ฐ์ ์์ฑํ๋ ๋จ์ผ ๋ชจ๋ธ ์ ์, ์ผ๊ด๋๊ณ condition์ ์ถฉ์คํจ ์
์ฆ
3.
๊ด๋ฒ์ํ objective and human evaluations ์ ๊ณต
Motivation (or problem to solve)
โข
์์
์์ฑ์ ์ด๋ ค์
โฆ
modeling long range sequences
โช
์คํผ์น : 16kHz
โช
์์
: full frequency spectrum / 44.1kHz or 48kHz
โฆ
์ฌ๋ฌ ์
๊ธฐ ์ฌ์ฉ โ complex structures
โฆ
์ฌ๋๋ค์ disharmony์ ์๋ฏผํจ
โข
์์
์ ์์
โฆ
๊ฑด๋ฐ, ์
๊ธฐ, ๋ฉ๋ก๋, ์ฅ๋ฅด ๋ฑ ๋ค์ํ ๋ฐฉ๋ฒ์ผ๋ก ์์ฑ ๊ณผ์ ์ ์ ์ดํ ์ ์๋ ๊ธฐ๋ฅ ํ์์
โข
๊ธฐ์กด ๋ชจ๋ธ
โฆ
multi-streams : high cost
Proposed Method
โข
MUSICGEN consists in an autoregressive transformer-based decoder
โฆ
The (language) model is over the quantized units from an EnCodec audio tokenizer
โฆ
EnCodec : SoundStream์์ ์ต์ข
Conv1D ์ง์ ์ LSTM ์ถ๊ฐ
SoundStream
EnCodec
1. Audio tokenization
โข
RVQ, EnCodec ์ฌ์ฉ โ RVQ์์ ๊ฐ quantizer๋ ์ด์ quantizer๊ฐ ๋จ๊ธด ์์ํ ์ค์ฐจ๋ฅผ ์ธ์ฝ๋ฉํ๋ฏ๋ก ์๋ก ๋ค๋ฅธ ์ฝ๋๋ถ์ ๋ํ ์์ํ ๊ฐ์ ์ผ๋ฐ์ ์ผ๋ก ๋
๋ฆฝ์ ์ด์ง ์์ผ๋ฉฐ ์ฒซ ๋ฒ์งธ ์ฝ๋๋ถ์ด ๊ฐ์ฅ ์ค์
2. Codebook interleaving patterns
โข
EnCodec ๋ชจ๋ธ์์ ์ป์ ํํย Q์ ์ฃผ์ ๋ฌธ์ ๋ ๊ฐ timestep์ ๋ํดย K๊ฐ์ ์ฝ๋๋ถ์ด ์๋ค(?)
3. Model conditioning
โข
Text conditoning
1.
T5 encoder: ์ฌ์ ํ์ต๋ ํ
์คํธ ์ธ์ฝ๋
2.
FLAN-T5 : instruct-based ์ธ์ด ๋ชจ๋ธ
3.
CLAP : joint text-audio representation, provides better-quality generations
โข
Melody conditioning
โฆ
์์
์ ๋ํด text๋ณด๋ค ์์ฐ์ค๋ฌ์ด ์ ๊ทผ ๋ฐฉ์์ ๋ค๋ฅธ ์ค๋์ค ํธ๋์ ๋ฉ๋ก๋ ๊ตฌ์กฐ, ํํ๋์ด๋ ํฅ์ผ๊ฑฐ๋ฆผ
โฆ
conditioning on the raw chromagram often led to reconstructing the original sample, resulting in overfitting
โฆ
information bottleneck by choosing the dominant time-frequency bin in each time step
4. Model architecture
โข
Experiments
CC3M caption
โข
olympic athlete is seen during the men 's handball preliminary group b match
โข
tiger in front of wild mountain
โข
a_man_walks_alone_on_a_dock_in_a_mountain_lake
โข
3d_vector_deluxe_alphabet_of_randomly_rotated_thin_golden_symbols


