谷歌AI练习生写了首歌,网友听完心率都低了

2023-05-01 13:46
摘要:一段话整出一首歌,甚至是男女唱(跳)rap的那种。

除此之外,MusicLM具备长段音乐创作、故事模式、调节旋律等方面的能力。

在长段音乐方面, 它能完成5分钟即兴创作,即便提示只有一个词。

比如仅在Swing(摇摆)的提示下,听着真就有种想马上下班去跳舞的冲动。(bushi)

而在故事模式中,不同的情标记甚至可以精确到秒的生成,哪怕情境之间完全没有任何联系……

游戏中播放的歌曲(0到15秒)——河边播放的冥想曲(15到20秒)——火(0:30-0:45)——烟花(0:45-0:60)

更让人惊艳到的是,它还有很强的实用性功能。

一方面,它可以将旋律的提示结合进文本提示当中去,这样一来可以更精细地来调整音乐。有点改甲方爸爸需求那味了。

另一方面,它还能根据具体的乐器、地点、流派、年代、甚至是音乐家演奏水平等文本来生成。

背后生成模型MusicLM

但有一说一,AI生成音乐模型不在少数,谷歌自己此前也推出有类似的模型AudioLM。

此番MusicLM究竟有何不同?

据研究团队介绍,贡献主要有三个方面:

生成模型MusicLM。

把方法扩展到其他条件信号,如根据文本提示合成的旋律,并生成5分钟的demo。

发布了首个专门为文本-音乐生成任务评估数据集MusicCaps。

首先,MusicLM正是基于谷歌三个月前提出AudioLM模型的拓展。

AudioLM不需要转录或标记,只需收听音频,AudioLM就能生成和提示风格相符的连贯音乐,包括钢琴音或人声对话等复杂声音。

最新的MusicLM,就是利用了AudioLM的多阶段自回归建模作为生成条件,且以此为基础进行拓展,使其可以通过文本提示来生成和修改音乐。

它是一个分层的序列到序列(Sequence-to-Sequence)模型,可以通过文本描述,以24kHz的频率生成音乐,并在几分钟内保持这个频率。

具体而言,研究团队使用了三个模型来用来预训练,包括自监督音频表征模型SoundStream,它可以以低比特率压缩一般音频,同时保持高重建质量。

还有语义标记模型w2vBERT,促进连贯生成;音频文本嵌入模型Mulan,它可以将音乐及其对应的文本描述投射到嵌入空间(以消除在训练时对文本的不同需求),并允许纯音频语料库上进行训练,以此来应对训练数据有限的难题。

训练过程中,他们从纯音频训练集中提取MuLan音频标记、语义标记和声学标记。

在语义建模阶段,他们用MuLan音频标记作为条件来预测语义标记。随后在声学建模阶段,又基于MuLan音频标记和语义标记来预测声学标记。

每个阶段都被建模为一个序列-序列任务,均使用单独解码器Transformer。

在推理过程中,他们使用从文本提示中计算出的MuLan文本标记作为调节信号,并使用SoundStream解码器将生成的音频标记转换成波形。

在280000个小时的训练后,MusicLM最终学会了保持24kHz的频率生成音乐,哪怕用来生成音乐的文本非常绕口。

类似“迷人的爵士歌曲与令人难忘的萨克斯独奏和独奏歌手”或“柏林90年代低音和强烈的电子乐”之类的。

研究团队还引入了一个高质量音乐数据集MusicCaps来解决任务缺乏评估数据的问题。

MusicCaps由专业人士共建,涵盖5500个音乐-文本对。研究团队公布了这个数据集,方便大伙进一步的研究。

这么一套操作下来,通过定量指标和人工评估,MusicLM在音频质量和文本契合度等方面都优于此前的音乐生成AI。

不过,谷歌研究团队说了:目前没有对外发布MusicLM的计划。

原因很简单,除了训练过程中难免出现的样本质量失真,最最关键的还有2点。

一来,尽管MusicLM在技术上可以生成合唱和声等人声,但是仔细听来,生成音乐的歌词,有的还勉勉强强听得出是音乐,有的根本就是无人能听懂的外星方言。

再者,研究团队发现系统生成的音乐中,约有1%直接从训练集的歌曲中复制——这已经足以阻止对外发布MusicLM了。

此外,还有批评者质疑,在受版权保护的音乐素材上训练AI模型到底合不合理。

不过团队在论文中介绍了下一步动向,主要关注歌词生成改善提示文本准确性以及提高生成质量

复杂音乐结构的建模也将成为团队的重点关注方向之一。

音频生成AI

这个研究的背后团队,是谷歌研究院。

共同一作Timo I. Denk,是谷歌瑞士的软件工程师,每天的工作就是利用ML进行音乐理解。

在这里多说两句,MusicLM的论文中,研究团队提到,MusicLM在质量和提示依从性方面都优于以前的系统。

“以前的系统”包括哪些?

一个是Mubert,已在Github开源API,是一个text-to-music的AI,系列产品有根据既有标签生成音乐的Mubert Render、听歌软件Mubert Play等。

还有Riffusion,它建立在AI绘图的基础上,但将其应用于声音。

换句话说,Riffusion的工作原理是首先构建一个索引的频谱图集合,上面标记代表频谱图中捕获的音乐风格的关键字。

在频谱图主体上训练时,Riffusion就用Stable Diffusion的同一个方法——干预噪音,来获得与文本提示匹配的声波图像。

还有针对音乐制作人和音乐家的 AI 音频生成工具Dance Diffusion,OpenAI推出的可自动生成音乐的ML框架Jukebox……

要咱说,别成天盯着ChatGPT了,AIGC下一个风口万一是音乐生成呢?

参考链接:

[1]https://google-research.github.io/seanet/musiclm/examples/

[2]https://arxiv.org/pdf/2301.11325.pdf

[3]https://techcrunch.com/2023/01/27/google-created-an-ai-that-can-generate-music-from-text-descriptions-but-wont-release-it/

更新于:2023-05-01 13:46