AiOS 的架构建立在 DETR（DEtection TRansformer）结构之上，该结构利用了卷积神经网络 (CNN) 和变压器编码器和解码器的组合。该框架允许 AiOS 整体处理图像，捕捉准确估计人体姿势和形状所必需的全局和局部特征。该模型无需额外的人体检测步骤即可运行，这是该领域的一项重大进步。相反，它使用一系列标记来探测人体位置并直接从图像输入中编码相关特征。
AiOS 的主要优势之一是它能够有效地处理拥挤的场景。传统方法通常会遇到多人同时出现遮挡和干扰的问题。AiOS 采用先进的注意力机制来分析人与人之间的关系并改进身体部位的定位。此功能不仅可以提高复杂环境中的性能，还可以增强姿势估计的整体稳健性。
AiOS 的工作流程包括三个主要阶段：身体定位、身体细化和全身细化。在身体定位阶段，该模型预测人体的粗略位置并提取全局特征。后续的细化阶段专注于通过定位手部和面部特征来增强这些特征，同时细化整体身体表征。这种渐进式方法可确保准确捕捉人体的各个方面。
此外，AiOS 采用了独特的“Human-as-Tokens”设计，其中人类被表示为 token 的集合，这些 token 可通过交叉注意机制聚合全局和局部特征。这种设计可以更精确地理解各种场景中的人体环境，从而在主流基准测试中取得最佳性能。
AiOS 的主要功能：
- 单阶段框架：将人体检测和姿势估计结合到一个简化的流程中。
- 基于 DETR 的架构：利用 Transformer 编码器和解码器进行整体图像处理。
- 人群处理能力：采用注意力机制有效地管理遮挡和干扰。
- 三阶段工作流程：包括身体定位、细化和全身细化阶段，以实现准确估计。
- 人类作为标记的设计：将人类表示为特征标记，以增强对情境的理解。
- 最佳性能：在基准数据集上取得优异结果，而无需依赖地面真实边界框。\n
- 渐进式特征提取：逐步细化特征以提高复杂场景中的准确性。\n
总体而言，AiOS 代表了计算机视觉领域的重大进步，特别是在需要详细人体姿势和形状估计的应用中。它结合了效率、准确性和稳健性，使其成为处理以人为中心的视觉数据的研究人员和开发人员的宝贵工具。。