MuSViT

该模型采用 12 层 Transformer、16x16 图像块、768 维嵌入和 2D 正弦位置编码，以保留五线谱纵向结构。训练遵循两阶段课程：首先用合成排版乐谱热启动编码器，然后用大规模真实乐谱预训练，以学习跨历史、印刷和手写记谱的稳健表示。

MuSViT 适用于光学乐谱识别、谱面搜索、记谱分析、符号检测和难度分类。公开权重、预训练代码和评估脚本让研究人员可以探索嵌入空间、冻结编码器进行线性评估，或针对下游乐谱理解系统进行微调。