冯恺琦 设计与研究

人与社交媒体

TennisAtom

一支 AI 剧组,把业余球员的一段素材剪成他们敢发出去的短片。

年份
2026 年 5–6 月
角色
设计主导:项目框架、研究、交互设计、设计系统、原型;视觉管线与一位队友合作搭建
团队
我和两位队友。
机构
信息可视化 2026,同济大学设计创意学院 · 客户:阿里巴巴橙狮体育
状态
Best Creation Award,信息可视化 2026 · 阿里巴巴与同济大学 Qualia Intelligence & Innovation Lab(Q LAB)共同颁发

01门槛

业余球员在记录和分享上,卡在了哪里?

背景

1项目来源

阿里橙狮体育希望利用球馆现有的视觉算法,为业余网球爱好者自动生成赛后集锦。

2最初的想法:一键出社媒大片

我们手上有一条从视频里读取球员身体的管线,还有一个设想:任何片段,一键变成能发社媒的大片。动手之前,我先去问了四位球员:他们拍下的素材,后来都去了哪里。

用户调研

P01–P04 半结构化访谈,6 月 3 日 → 开放编码 → 3 个主题 主题分析(Braun & Clarke, 2006)

P01–P04 → 六个阶段 → 3 个痛点 关键事件法(Flanagan, 1954)

球馆方对话 → 已有记录:球速、界内外、最长回合

四位球员的素材去了哪

访谈者:我,在合作球馆逐一访谈四位,2026 年 6 月 3 日。

P04 · 表达型

Vivian

运动博主 · 化名

“如果打得不好,是真的会被人骂的。”

P01 · 记录型

老陈

以结果论一天的好坏 · 化名

“拍完最多自己看看,很少拿去分享——说实话,我们打球的样子都挺难看的。”

P02 · 复盘型

林夕

进阶学习者,跟教练上课 · 化名

“我觉得自己现在还没那个能力,把网球做成专门的内容方向。”

P03 · 成长型

小杨

在读学生 · 化名

“这次我就没发。我觉得自己还没做出足够满意的视频。”

3 / 4

的球员手里有素材,却选择不发。

敢发门槛

公开平台

发一部分,其余留着自己看

痛点 03 · 社交顾虑 担心动作不够标准,在社交媒体平台得到负面评价

朋友圈

偶尔发给朋友看

小红书

发过,又删了

痛点 02 · 剪辑受阻 不会自己剪,也不满意一键生成的模板(核心设计机会)

相册

留着

痛点 01 · 原片落差 回看监控视角原片,与场上体感差距大

球馆方 · 无照片

鹰眼测球速、判界内外都很准。集锦取最长回合或最快的球。

主题 1

固定机位画面单调,缺乏个人特征

开放编码:素材/内容同质化

  • P01只用手机拍,机位很有限。
  • P03说博主的视频会跟拍,看起来更好;自己当观众时也更愿意看那种

主题 2

自动剪辑总认错,手动精剪又太耗时

开放编码:自动工具剥夺叙事主权

  • P01自动集锦总认错回合,还得手动改;既然都要手动改,不如整段自己剪。
  • P02宁可花时间自己动手剪

主题 3

相比硬核技术指标,更在意打球时的状态与氛围

开放编码:非技术性身份认同诉求

  • P03比起技术,我更想展示一种气质。
  • P02希望别人看到会觉得,我是个很能坚持的人,虽然我打得很菜。
  • P04我发这些,不是为了显得自己打得多厉害;我做的是穿搭和照片。
  • 参见 iBall,CHI 2023:先感受,后阅读
  • 素材的去向
  • 原话支撑的主题
  • 留着素材没发的三个人

洞察

拍得到,发不出

手机上是原样拍下的素材
手里的素材

落差

手机上是做好的成片
能自豪地发出去的成片

3/4 的受访者拍了视频,却没有公开发出去。如何跨过从“保存素材”到“愿意分享”的心理落差,是本项目的核心切入点。

概念

1设计透镜

成绩单

成绩单

我打得多好?

给分析师和观众看

奖杯

奖杯

我看起来多厉害?

给内容消费者看

肖像

肖像

这是谁在打球?

给打球的人自己看

球馆的系统做的是成绩单;我们最初的想法,一键出大片,做的是奖杯。球员想被看见的,是他们自己。

2身体的肖像:保留真实的动作特征和身体数据

剪辑与视觉包装由 AI 完成,但挥拍节奏、跑动习惯全部源自球员真实的动作数据。系统仅在真实球技的基础上强化视觉表现,不篡改、不替换。

肖像由什么构成

  • 每帧身体上 33 个关键点,按 5 帧平滑
  • 14 类事件,如挥拍开始、挥拍结束、击球、起跳,以及击球类型:发球、正手、反手或截击
  • 特效按这些事件,用 ADSR 包络定时
正手收拍时腾空的骨骼
姿态由管线自带的模型从我们的练习素材里读出;骨骼由图像模型画在上面。“让数据不只是身体的成绩单,而成为身体的一幅肖像。”

02旅程

Vivian 的一场球:最低点在决定发不发的那一刻

我们原本要做一键出社媒大片。访谈把目标改成了:做一条你敢发的片子。

用户旅程

AS-IS · Vivian 的一场球,团队根据访谈按 0–10 打分 TO-BE · 同一场球,换用我们的原型;测试者口头给每一步打分落差:设计要补上的部分
  1. 01

    出发打球

    ↑7 期待

    去球场,希望今天能留下点什么。

    打完球

    首页直接回应“不敢发”:“打得再普通,也值得一条好看的视频。不用会剪、不用敢发,先做出来。”

    • S1 不好意思公开发 · P01 P02 P03 → 围绕“敢发”写文案
    首页
    首页
  2. 02

    击球高光

    ↑9 兴奋

    某一拍特别有感觉:这是高光时刻。

    ↑8 发现瞬间

    先选风格(默认“运动气质”),再上传素材,选“这次的成片”或“我的进步混剪”。风格只有到了展台版,才进到成片里。

    • S4 想看到进步,想要报告 · P02 → “这次的成片 / 我的进步混剪”
    • S5 想展示气质,不是炫技 · P03 P02 → 默认“运动气质”风格
    上传
    上传
    风格
    风格
  3. 03

    看素材

    ↓4 落差

    翻了翻自动集锦,感觉都平平无奇。

    痛点 01 · 原片落差

    ↑8 选叙事风格

    六位剧组成员在群聊里按管线顺序看片:先姿态,再球和事件。星探问你要留哪些瞬间。

    • S2 自动集锦又慢又不准 · P01 P02 → 带数据的结论都能一键改
    “数据不对?改一下”
    “数据不对?改一下”
    @你,第 1 次
    @你,第 1 次
  4. 04

    尝试剪辑

    ↓3 困惑

    套了个模板,又删掉,找不到感觉。

    ↑9 特效生成

    然后编剧、特效师、剪辑并行开工。剧组再问一次语气。两个问题都可以跳过。

    • 这一步不来自访谈:剧组是 v2 加的,为了把进度条藏起来的过程摆出来。
    @你,第 2 次
    @你,第 2 次
  5. 05

    放弃 / 将就

    ↓2 挫败

    随便发一条,或者干脆不发。

    痛点 02 · 剪辑受阻 不会自己剪,也不满意一键生成的模板(核心设计机会)

    ↑9 发出去 口头打分;没有人真正发出去

    三个出口,存档在前。公不公开,由你决定。

    • S1 不好意思公开发 · P01 P02 P03 → 三个出口,存档在前
  6. 06

    发出后

    ↓3 失落

    没几个回应,也没什么下文。

    痛点 03 · 社交顾虑

    ↑10 收到共鸣 口头打分;没有人真正发出去

    报告分三部分:高光、要改的、接下来练什么。教练会标明哪些回答“基于你这场”,哪些是“通用建议”。

    • S4 想看到进步,想要报告 · P02 → 三段式报告
    • S5 想展示气质,不是炫技 · P03 P02 → 报告封面写“坚持”
    报告
    报告
    教练
    教练

设计机会

我们如何让不会剪、怕被骂的业余球员,也敢发出一条符合自己预期的打球短片?

  1. 痛点 01 · 原片落差

    1AI 找瞬间,你来挑

    原因 主题 1 · 固定机位画面单调,缺乏个人特征
    P01“只用手机拍,机位很有限。”

    TO-BE ↑8 发现瞬间
    星探系统自动标记高光回合,同时坦承识别可能存在偏差;用户可直接采用星标片段,或手动补标关键回合。

    AI 找瞬间,你来挑
  2. 痛点 02 · 剪辑受阻

    2预设视觉风格,支持随时跳过

    原因 主题 2 · 自动剪辑总认错,手动精剪又太耗时
    P02“自动剪一分钟就出来了,可是不准;我自己剪要三四十分钟。”

    TO-BE ↑8 选叙事风格
    默认匹配“运动气质”风格;生成途中提供两次分镜与文案确认,不愿深究的用户可一键跳过。

    预设视觉风格,支持随时跳过
  3. 痛点 03 · 社交顾虑

    3弱化公开压力,默认私密存档

    原因 担心动作不够标准,在社交媒体平台得到负面评价
    P04“如果打得不好,是真的会被人骂的。”

    TO-BE ↑9 发出去
    将“存档留念”设为主操作,“发给球友”与“公开社媒”作为次级入口,贴合业余球员真实的分享习惯。

    弱化公开压力,默认私密存档

03系统

向用户敞开算法管线

既然视觉识别难以做到 100% 准确,我们将黑箱流程拆解为可干预的节点,让用户在关键步骤随时修正。每位剧组成员对应管线的一个环节,按运行顺序排列。TennisAtom 的名字就来自这里:AI 导演把一个个原子能力组合成一部影片。

系统设计

1角色分工:两组共六个 Agent,配合三类用户介入

读懂身体 输出姿态、球速与事件数据,并附上识别依据供用户核对

  • 骨骼师

    骨骼师 追踪 33 个身体关键点,还原挥拍与步伐姿态

  • 球探

    球探 识别网球轨迹,测算球速与落点

  • 星探

    星探 检测发球、制胜分等关键事件,初筛高光片段

做出片子 多线程处理分镜、特效与渲染,由用户把控整体视觉基调

  • 编剧

    编剧 编排分镜脚本,并生成匹配的字幕与话题标签,如:#网球 #坚持打球

  • 特效师

    特效师 根据选定风格,在关键帧叠加定格、残影等视觉特效

  • 剪辑

    剪辑 合成画面、特效与字幕音轨,导出成片及数据报告

你 三种介入深度

  • 纠偏数据 识别有误的球速与回合数据支持手动修正

  • 把控偏好 挑选高光片段与文案语气,也可直接采用默认配置

  • 选择去向 提供三类保存与分享渠道,默认优先本地存档

2编排逻辑:一次制作怎么跑

  1. 姿态

    MediaPipe Pose:每帧 33 个关键点,5 帧平滑

    骨骼师

    骨骼师已跑通

  2. 球

    TrackNetV2:检测、轨迹与落点

    球速不可用:有一次导出最高到 11,673 km/h;没有任何环节测量旋转

    球探

    球探部分可用

  3. 事件

    14 类事件检测器,从挥拍开始到击球类型

    高光排序还没有打分机制

    星探

    星探部分可用

  4. 特效

    定格、残影等六种;ADSR 定时

    特效师

    特效师已跑通

  5. 渲染

    OpenCV 与 Remotion

    视频合成和发布功能还只是占位

    剪辑

    剪辑部分可用

  6. 适配器

    视频:MiniMax、HappyHorse · 报告:Seede · 文案:MiMo

    编剧

    编剧代码在仓库里

基于自建状态机(State Machine)统一调度:按“视觉解析 → 提示词组装(YAML 模板注入比赛数据)→ 多线程生成 → 合成后处理”顺序执行。群聊中各 Agent 的发言次序,严格映射底层管线的真实数据依赖。

采用适配器模式(Adapter Pattern)解耦外部生成服务:更换底层大模型时仅需替换对应适配器,无需改动主干管线。Python 3.11 · Pydantic · FastAPI · asyncio

群聊是按管线顺序写好的脚本。这里每张界面上的演示数字都已遮住。

事件 → 特效

一次挥拍如何决定特效的节奏,出自管线的特效导演模块。

  • 挥拍峰值 → 漫画速度线
    快起慢落:漫画式爆发
  • 高速 + 位移 → 像素残影
    持续,跟随速度
  • 挥拍开始 → 轮廓粒子
    平时低强度,挥拍开始时迸发

04收尾

经历 10 版原型迭代,我是如何逐步厘清人机协同的介入边界的

迭代

v1:单一进度条,全黑箱自动生成
v1 单一进度条,全黑箱自动生成

转向 1 · 内部评审 全黑箱生成缺乏过程反馈,用户难以建立信任

v2:拆解生成管线,用多 Agent 拟人化群聊来呈现制作过程
v2 拆解生成管线,用多 Agent 拟人化群聊来呈现制作过程

转向 2 · 深度访谈 提炼 4 项核心痛点信号(S1、S2、S4、S5),确立分步介入机制

v3:访谈驱动改版,增设数据纠偏、高光筛选与私密存档等 6 处交互节点
v3 访谈驱动改版:增设数据纠偏、高光筛选与私密存档等 6 处交互节点

转向 3 · 双重评估 24 场认知走查(Cognitive Walkthrough),12 名网球爱好者可用性测试

展台部署版:测试驱动收敛,收敛界面焦点,实现前后端渲染链路
展台部署版 测试驱动收敛:收敛界面焦点,实现前后端渲染链路

转向 3:两项测试,三处改动

  • A · 认知走查

    12 位同伴(同学和队友)分四组,每组代入一个人物画像走完流程。做两轮,共 24 场。

  • B · 可用性测试

    12 位业余球员使用高保真原型,边用边说出想法。

测试计划写明的目的:找出所有交互不顺的地方,而不是证明设计是对的。我们记录了卡点、误触、任务耗时和挫败感。

  • 同等分量的按钮太多:大家会犹豫

    同等分量的按钮太多:大家会犹豫
    → 每屏只留一个主操作,用唯一的橙色按钮

  • 之前每一版原型里,你选的风格在成片里几乎看不出来

    之前每一版原型里,你选的风格在成片里几乎看不出来
    → 重做这一环,让选择进到渲染里;不然工具又把故事拿走了,和主题 2 一样

  • 教练建议很空泛,比如“好球,随挥再顺一点”

    教练建议很空泛,比如“好球,随挥再顺一点”
    → 每条回答标上“基于你这场”或“通用建议”

我们没记录每个问题是哪项测试发现的。两项测试都不是对照实验,也没有测试者用自己的素材,或需要决定发不发。

2026 年 6 月终期评审
2026 年 6 月终期评审:我在讲测试暴露出的三个问题。

成果

1五部成片,都在展台上播放

  • 成片 01,运动气质

    01 运动气质 0:32

  • 成片 02,热血燃向

    02 热血燃向 0:45

  • 成片 03,电影质感

    03 电影质感 1:33

  • 成片 04,首页作品

    04 首页作品 1:00

  • 成片 05,轻松搞笑

    05 轻松搞笑 0:48

成片 01 的球员,和我们的姿态模型读取的同一帧
成片 01 的球员,经我们的姿态模型读取。

4做出一部成片少走的步数,按团队自己的统计

五部成片,大部分直接出自管线;展台播放了全部五部。

2展出 · 一场公开展览

使用中的展桌:三个分区
  • 01 连线区
    四个问题,在每根钉子处向左或向右,把观众带到最像自己的人物画像。
  • 02 数字孪生
    平板上运行的展台版。最后一屏把平板交给下一位。
  • 03 实物层
    球员的原话写在卡片上,插在锯开的木墩里。
零件:木头人偶、木墩、印好的路径
零件:木头人偶、木墩、印好的路径
布置 01 连线区:线和钉子
布置 01 连线区:线和钉子
我在钉四个问题
我在钉四个问题
我在挂卡片吊饰
我在挂卡片吊饰
展台;播放的影片配了三个出口的字幕
展台;播放的影片配了三个出口的字幕
观众在看旅程展板,面部已模糊
观众在看旅程展板,面部已模糊

价值

1阿里巴巴:评奖,并接手继续优化

阿里巴巴与同济大学 Q LAB 共同颁发 Best Creation Award;相关产品交给旗下橙狮体育继续优化。

Best Creation Award
信息可视化 2026 · 阿里巴巴 × 同济大学 Q LAB

2三位受访球员:用后的反馈

  • Vivian P04 · 表达型

    之前 公开平台只发一部分

    之后 用了我们的平台后,发了不少有风格、有特效的视频,社交媒体丰富了。

  • 老陈 P01 · 记录型

    之前 偶尔发朋友圈

    之后 开始愿意把做好的片子发给球友,但还不太愿意发到公开的网上。

  • 林夕 P02 · 复盘型

    之前 小红书发过,又删了

    之后 出简单的脚本和剪辑很方便,省下了不少琢磨怎么发打球视频的时间。

之前见第 01 幕的素材去向;之后为完整产出后的电话回访,由我们转述。

反思

项目初期我们试图做一款“一键生成炫酷集锦”的工具。但实地访谈扭转了方向:业余球员需要的不是替自己炫技的滤镜,而是对成片内容的掌控感。

测试进一步印证了这一点:用户的每次勾选都必须真实改变底层的渲染参数,流于表面的交互反而会削弱信任。

回访中,老陈开始把视频发给球友,但依然不发公开平台。我们也开始意识到,分享意愿存在明显的私密梯度(自己复盘 → 熟人圈层 → 公开社媒),工具的设计应当尊重不同用户的表达边界。

后续延伸 · 2026 年 9 月

项目结束后的重设计,针对“痛点 03 · 社交顾虑”,补充了面向同好圈层的轻量互动与正向反馈机制,并给 TennisAtom 设计了标识,一个原子。三个出口就是它的三种状态。

  • 存档
  • 朋友
  • 公开

参考文献

  • Sporthesia TVCG 2022 · 情绪线索可以像物体一样放进视频
  • iBall CHI 2023 · 业余球员先“感受”自己的素材,再去“读”它
  • SportsBuddy arXiv 2025 · 篮球视频里,多个 AI 角色逐个对象处理;网球领域我们没找到类似的
  • Braun & Clarke 2006 · 主题分析
  • Flanagan 1954 · 关键事件法

这份记录说明不了的

AI 使用情况

部分代码(其中包括视觉管线)是借助 AI 编程助手写的,数据分析也有 AI 协助。五部成片用生成式视频工具渲染,本页的插图由图像模型绘制。

详情

题目
身体的肖像。TennisAtom 是团队做出来的 App。
媒介
一个带 AI 剧组的 App 概念 · 一条计算机视觉管线 · 一场公开展览
技能
用户研究 · 交互设计 · 设计系统 · 原型制作 · 计算机视觉
工具
Figma、Photoshop、Illustrator · HTML 原型 · MediaPipe Pose、TrackNetV2、OpenCV、Remotion、Python

展览照片中的球馆标识和观众面部已模糊处理。原型里写进脚本的数字,在每张界面上都已遮住。插图是用图像模型为作品集绘制的;原子标识及其状态出自项目本身。