字节跳动将机器学习用于声音合成,发布实时将录音变成乐器的 Mawf 合成器插件
Mawf是来自抖音和TikTok母公司字节跳动的基于人工智能算法的合成器插件。众所周知字节跳动在人工智能和大数据方面有很多经验,而Mawf则是他们将这些经验应用到声音合成技术上之后得到的实验成果。
Mawf可以将实时输入的声音变成真实的乐器让你来演奏,比如你的歌声、合成器的声音甚至是猫叫都可以,Mawf也有MIDI模式就是直接获取其它合成器差的声音来做处理。然后它内部还有一些调制和效果器可以用于对声音做塑形。
Mawf的算法跟传统的采样器不同,它使用机器学习来分析你实时输入的声音并转变成可以演奏出乐音的音色,机器学习会分析并取出声音中不同的音高和音量变化的表情变化,再将这些细节通过演奏重现出来。
观看三段Mawf的演示视频:
Mawf目前还在beta测试,有VST3和AU插件版本,可以免费下载使用,目前只支持macOS系统的Intel芯片电脑使用,Windows版将在稍后推出:https://mawf.io/#signup