冯恺琦 设计与研究

人与替人行事的智能体

The Agent Became Me

一项关于 AI 替人购物的研究。AI 随手拿的东西,会被网店记成我的喜好;清白档案,是想让档案里留下的还是我自己。

年份
2026 年 8 月至 10 月
角色
独立作者。研究、实验、分析、交互设计、3D 模型和视觉,都是我一个人做的。
机构
同济大学设计创意学院
状态
HAI ’26 · 海报论文 · 已录用 · 独立作者
讲解动画,1:53 镜头穿过这座剖开的商店:楼上是 AI 逛的店面,最下面一层放着档案。

语言

章节

起因

好几个月了,我一直让 AI 替我买东西。同一句话问两遍,它买回来的东西不一样;没过多久,推荐里就全是我不认识的东西。

网店还以为屏幕前坐着的是人。我想弄清楚,这中间漏掉了什么。

我没变,档案变了。

桌前的人,一张会员卡和一枚印章;后面是提着购物篮的 AI
HAI ’26 论文的第一页研究发表于 HAI ’26人与智能体交互会议,ACM · 大阪,2026 年 11 月doi 10.1145/3841580.3845761

01

只换一下商品顺序,AI 就换了一盒钉子

我让 AI 买一盒钉枪钉,11.95 美元以内。同样 12 件商品,我只把顺序调了一下,它就拿了另一盒。网店并不知道,照样把这一盒记成了我喜欢的牌子。

脑袋是浏览器窗口的 AI,从货架上抓起一盒
就像让室友去超市帮你买钉子。哪一盒都行,他随手拿了最近的一盒,会员卡却记下你喜欢这个牌子。
我看到的货架:按 A 顺序摆放的十二盒商品
我看到的货架(A 顺序)

AI 读到的列表

A 顺序 · 网店实际展示

  1. 01AcuRite 温湿度计10.19
  2. 02Rubbermaid 20 加仑垃圾桶24.00
  3. 03Camco 饮用水软管—
  4. 04DEWALT 1-1/2″ 钉7.99
  5. 05PORTER-CABLE 钉套装7.99
  6. 06DEWALT 2-1/2″ 钉13.70
  7. 07ATP 食品级软管23.91
  8. 08ITW 塑料膨胀锚9.79
  9. 09DEWALT 2″ 20° 钉1.41
  10. 10First Voice 弹力绷带9.99
  11. 11DEWALT 1-1/4″ 钉6.99
  12. 12DEWALT 2″ 钉10.99

B 顺序 · 另一套推荐算法

  1. 01ITW 塑料膨胀锚9.79
  2. 02First Voice 弹力绷带9.99
  3. 03ATP 食品级软管23.91
  4. 04AcuRite 温湿度计10.19
  5. 05Rubbermaid 20 加仑垃圾桶24.00
  6. 06Camco 饮用水软管—
  7. 07DEWALT 1-1/2″ 钉7.99
  8. 08PORTER-CABLE 钉套装7.99
  9. 09DEWALT 2-1/2″ 钉13.70
  10. 10DEWALT 2″ 20° 钉1.41
  11. 11DEWALT 1-1/4″ 钉6.99
  12. 12DEWALT 2″ 钉10.99

粗体的五盒都符合要求,一样合适;蓝框是 AI 拿的那盒。两列只差在顺序上。几件一样好、由顺序替 AI 挑中的情况,我叫它“随手拿”。

88/ 920 个货架

920 个货架里,有 88 个只因为换了顺序,DeepSeek 就换了一件。另一个模型 MiMo 是 68 个。

这件事值得管,是因为靠前的位置可以花钱买。AI 常拿靠前的那件,网店把它记成我的喜好,下次又把它排得更靠前。转上几圈,档案就离我越来越远。

02

我把两个 AI 模型当成用户来研究

参与者只有 DeepSeek 和 MiMo 两个模型。我照着用户研究的老办法来做,每一种用在 AI 身上都变了样,有几条后来直接变成了设计。

参与者

AI 角色的三个姿势:头是一扇浏览器窗口,一只手提着购物篮,另一只手是光标;旁边是一个灰色轮廓的人

P01 · DeepSeek V4 Flash
P02 · MiMo V2.5

2026 年 8 月至 10 月。920 个货架换着顺序反复问,每个模型问了 14,720 次,另外各做了 6 场访谈。

方法

结果

我做了什么,看到了什么

后来用在哪

  1. 对照实验88 对 3同一个货架换个顺序再问,88 个货架上 AI 换了一件;顺序不变再问,只有 3 个(DeepSeek;MiMo 是 68 对 2)。所以是顺序在起作用。
  2. 复测21%七周后我把同样的问题再问一遍,DeepSeek 有 21% 的回答变了(MiMo 是 5%)。从那以后,每一轮实验我都重新测对照。
  3. 知情同意0 份模型签不了同意书。需要保护的,是档案背后的那个人。
  4. 卡片分类11 / 11我让 AI 做卡片分类,决定档案该记什么。11 次都留下了“买到了没有”,删掉了没选中的商品。
  5. 共创12 / 12我请 AI 设计一个“我替你做了什么”的页面。12 份都没放“我有多确定”的分数;我从里面借了一条:没选中的商品默认删掉(AI 的提议,不算发现)。
  6. 访谈0 / 1414 个问题,每个问三遍,没有一题三遍说法相同。可在实验里,它几乎每次都拿同一件。我更相信它做了什么。
  • 研究怎么做用对照证明是顺序,每一轮都重测
  • A · 规则页由人来定规则,默认值来自 AI 的分类
  • C · 写入前复核看它再挑一次,不听它解释

03

劝 AI 注意顺序,几乎没用

我本来以为提醒一声就够了。第 1–3 轮几乎没动;到第 4 轮,我不再劝 AI,只把事实标出来,买错才终于少了。

告诉 AI 的话。每一轮都和同一轮里“不改”的情况对比:第 1、2 轮数的是随手拿,第 3、4 轮数的是买错,也就是记下的那件不合要求。第 2 轮是研究结束后、2026 年 9 月做的实验,只用了有合格商品的 462 个货架,不属于论文。 不改 改了以后

  1. 第 1 轮 · 提醒 随手拿
    “这个顺序是网店的推荐算法排的。”

    DeepSeek45 → 32
    MiMo71 → 69

    ✗ 看不出效果

  2. 第 2 轮 · 规则 随手拿
    “几件一样好时,选编号最前的那件。”

    DeepSeek63 → 70
    MiMo70 → 43

    ◐ 只对 MiMo 有用

  3. 第 3 轮 · 自检 买错
    “先逐件标出合不合适,再选。”

    DeepSeek25 → 33
    MiMo57 → 46

    ✗ 没用,更常空手而归

  4. 第 4 轮 · 只给事实(B) 买错
    只标三条是 / 否:品类、规格、预算

    DeepSeek41 → 2
    MiMo66 → 7

    ✓ 买错几乎消失

AI 不听劝,但会看事实。

所以我不再想办法改 AI,改的是它所在的购物流程。

04

清白档案只记下我真正想要的

我在一次购物的流程里改了三个地方,蓝图里标作 A、B、C。随手拿的那一件,不再算我的喜好。

剖开的商店:楼上是店面,最下面一层是档案ABC
同一个流程,我也用 Blender 做成了一座剖开的商店:楼上是 AI 逛的店面,最下面一层放着档案。

服务蓝图:现在的网店 痛点 A 清白档案改的地方

1交代任务
2逛货架
3选一件
4下单
5记进档案
6下次推荐
人档案的主人
“一盒钉子,11.95 美元以内”A
不在场,剩下的都交给 AI
推荐页不再像你
委托线
AI 智能体新的“用户”
接下任务
读一张排好序的列表
几件一样好,随手拿一件
下单
互动线
网店前台货架、结账
为你排好序,靠前的位置能花钱买B
结账
可见线
网店后台档案、排序
把这件记成你的“喜好”C
下次把它排得更靠前

横向共六步,左右滑动可以看全。

A 规则页 我在购物前设一次

  • 记下买到了没有11/11
  • 删掉没选中的11/11
  • 不记下单时间9/11
  • 换个顺序还选它,才算喜好9/11

数字:11 次卡片分类里,选它的次数

B 事实标签 AI 在货架上读

你看到的 · DEWALT 2″ 钉 $10.99

是要的那类 ✓规格对 ✓没超预算 ✓

AI 读到的:同样这三条

"isRequestedType": true,
"hasRequestedAttribute": true,
"withinBudget": true

C 写入前复核 网店记进档案之前

AI 选中打乱顺序再问还选它?

是 → 记为喜好否 → 只记“买到了”

实例:MiMo 再问换了一盒 → 只记“买到了”

05

档案几乎不再记错,只是少了一半

最后一轮,两处改动一起装上,用同样的 920 个货架再测一次。

  • 记成喜好现在的网店:每买一件,就往档案里记一条“你喜欢这个”。
  • 记错记下的那件其实不合要求,比如不是钉枪钉,或超了预算。
  • 少记清白档案只记“换个顺序再问,它还拿同一件”的;其余照样买,只记“买到了”。

MiMo 档案里记成“喜好”的,每格一条

  • 现在的网店533 条,其中记错 144

  • 清白档案232 条,其中记错 12

记错的 其他

DeepSeek 一样:487 → 229 条,记错 55 → 4。AI 不是每个货架都买:没有合适的,它常常空手而归。

少掉的那一半去了哪里?

一部分是买错的:有了事实标签,记错从 144 条降到 30 条。另外 258 条被写入前复核拦了下来:换个顺序再问,AI 就换了一件,说明当初是随手拿的。这些东西照样买到了,只是不再算我的喜好。

一叠标着错号的卡片,和一块平板,上面是一份短而干净的清单

宁可少记,不要记错。

我原本担心少记一半,网店就没法好好推荐。可少掉的大多本来就不该算我的喜好。如果有人想让网店多学一点,把规则页(A)上的最后一个开关拨回去就行。

在这家店之前:第一个测试台,2026 年 8 月

这篇海报论文源自一个更早的测试台:它把一条购物轨迹按六种更新档案的规则各重放一遍。我原本相信的那条规则,是按“谁做的、为什么做”给每个事件加权;可在 480 次配对运行里,它有 456 次输给了一个按总更新量匹配的简单收缩对照。在那个测试台里,衰减是更简单的解释。这个没能成立的想法,让项目从“怎样给写回加权”转向了“什么时候启用写回”。

收缩对照是按每条轨迹单独校准的,是一个用来对比的机制,不是网店真能运行的策略。

  1. 研究 A · 六种更新规则,各运行 480 次偏离度排序损失
  2. 不分行为者0.3110.035
  3. 只记录0.3110.035
  4. 匹配收缩0.1760.005
  5. 区分来源0.1870.006
  6. 范围门控0.0160.000
  7. 不更新0.0000.000
旧网站的概念图:一间标本展厅
旧网站的概念图,是生成的;只作装饰,不是证据。

这份记录说明不了的

AI 使用情况

测试台和实验的部分代码是借助 AI 编程助手写的,数据分析也有 AI 协助。插画是用 ChatGPT 围绕我设计的角色生成的。研究里的两个语言模型是研究对象,不是作者。

详情

题目
The Agent Became Me。我为它设计的档案,叫清白档案。
媒介
一项把两个 AI 模型当作用户的研究 · 一张服务蓝图和三处界面改动 · 一个 3D 模型和一部讲解动画
技能
实验设计 · 智能体与计算机的交互 · 服务设计 · 交互设计 · 3D 建模
工具
Python、TypeScript · DeepSeek V4 Flash、MiMo V2.5 · SASRec、GRU4Rec · Blender · Figma
论文
From Shelf Order to Later Agent Choice: A Link-by-Link Audit of Recommendation Writeback。ACM,大阪,2026 年 11 月

来源:HAI ’26 论文及补充材料。实验:五轮,两个模型,判断标准事先写好,设有对照。访谈与共创:生成的文字,不是 AI 的真实想法。3D 模型由作者用 Blender 制作。插画:ChatGPT 生成,角色由作者设计。讲解动画:1 分 53 秒,由作者制作。