HAIC：提升多模态大模型的人类动作理解能力

📚论文标题：HAIC: Improving Human Action Understanding and Generation with Better Captions for Multi-modal Large Language Models

🎥发表会议：ACL2025

🏗️作者单位：哈尔滨工业大学（深圳）、快手科技

🔬论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10658097&tag=1

🔧数据集地址：https://huggingface.co/datasets/KuaishouHAIC/HAIC

一、任务背景

多模态大语言模型在视频理解任务中展现出卓越能力，但人类动作理解仍然是重要挑战。

问题	具体表现
通用视频描述数据集	动作描述粗糙	仅提供概括性描述，缺乏细节
单一人体动作数据集	场景单一	主要关注单人场景，忽略多人互动
群体活动数据集	描述一致性过强	仅描述”一群人进行某种活动”

核心问题：缺乏能够清晰区分不同个体、按时间顺序详细描述每个人身体动作和互动的标准化标注格式。

二、创新贡献

创新两阶段数据标注流程：结合视频自动积累和标准化标注格式

高质量数据集：提供126K训练样本和综合评估基准

实证有效性：在理解和生成任务上均展示显著性能提升

三、两阶段数据标注方法

阶段一：🔍 动作视频积累

目标：从大规模视频中筛选出包含清晰、有意义的人类动作且细节丰富的视频

关键策略：

元数据过滤：使用 spaCy 工具丢弃低分辨率视频以及其描述中不包含动词的视频，使用SceneDetect将视频分割为独特场景的短片段，只保留5 到 20 秒的片段

人类存在过滤：从每个片段均匀采样16帧，使用RTMPose目标检测器识别人类

人类动作过滤：使用RTMPose检测人类边界框和17个身体关键点，基于帧间最大IoU构建人物轨迹，确保相邻关键点之间的L1距离大于0.085

筛选结果：仅有约1%的视频满足质量要求，体现了高度选择性。

阶段二：📍标注格式设计

标准化标注格式特点：

使用人类属性来区分不同个体

按时间顺序标注每个人的详细身体动作和互动

分别描述每个主体的属性和行为序列

所有标注者接受一周培训

每个视频先由1名标注者标注，然后由另外3名标注者检查并补充遗漏点

标注格式对比示例

标注类型	描述特点	详细程度
MSR-VTT	“两个男人在舞台上拳击”	高度概括
LLaVA-Video	描述场景、服装、整体动作	中等细节
HAIC格式	分别描述每个主体的属性、初始姿态、具体动作序列	细粒度细节

标注的示例

HAIC: The main characters are two people.

The ﬁrst subject is a middle-aged man, wearing purple boxing shorts with black and green patterns and white letters, and black and red boxing gloves. Initially, he faces his opponent in an attacking stance, then bends down and rushes towards Subject 2, throwing a punch. After Subject 2 dodges, he chases Subject 2 and throws ﬁve right hooks.

The second subject is a middle-aged man, wearing black boxing shorts with green patterns and white letters, and black and blue boxing gloves. Initially, he faces Subject 1, then he bends down to dodge Subject 1's attack, stumbles, and is chased and punched by Subject 1. Finally, he straightens up, puts his hands over his head, breaks away from the aack, and the two confront each other.