Mirelo Audio-to-MIDI

关键功能

可将整首混音歌曲转录为多乐器 MIDI,而不只处理独奏乐器。
能检测并标注人声、鼓、贝斯、键盘和主音合成器等乐器部分。
在钢琴卷帘界面中输出可编辑的独立 MIDI 轨道。
可导出轨道用于 DAW、乐谱工具和音乐学习工作流。
将转录表示为音高、时序和乐器 token 的序列。
使用合成预训练、真实音频微调和后训练来提升准确率。
为研究人员提供开源推理代码和模型权重。
包含一个免费的 Studio 产品入口,可测试改进后的生产模型。

底层的 MuScriptor 模型将多乐器转录表述为钢琴卷帘 token 序列上的语言建模任务。它以梅尔频谱块为条件,自回归地预测音高、时序和乐器 token,并通过大规模合成 MIDI 预训练、真实音频微调以及基于精选高质量转录的强化式后训练来完成训练。


该工具适合音乐人、制作人、作曲家、教育工作者和研究人员,他们需要从密集录音而非单独 stems 中恢复音乐结构。Mirelo 和 Kyutai 开源了研究模型与推理代码,同时也在 Mirelo Studio 中提供了带有改进生产版本的免费产品体验。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!