早上九点零四，倪好坐在电脑前，刷新了第三次后台。
页面上的数据还没有什么变化。
项目今天正式上线。
准确地说，是第一阶段灰度上线。
她盯着那几个数字看了一会儿，又打开用户反馈页面。
目前没有异常。
她松了口气，端起旁边已经凉掉的咖啡喝了一口。
下一秒，皱了皱眉。
“你这咖啡放多久了？”
旁边突然有人说话。
倪好转过头，看见周骁抱着电脑站在她桌边。
“我喜欢喝凉的。”
“你们产品是不是都靠忘记吃饭和喝冷咖啡活着？”
“你们算法不是也一样？”
周骁笑了一声。
“今天上线，你还挺有精神。”
“表面。”
倪好把咖啡杯推远了一点。
周骁低头看了一眼她的屏幕。
“现在多少？”
“十二个用户。”
“才十二个？”
“灰度百分之十。”
“哦。”
周骁点点头。
“那还行。等会儿要是有人骂，记得先别骂模型。”
“谁说要骂模型了？”
“上次那个客户一说AI回答错了，第一句话就是‘你们这模型是不是不行’。”
“那是因为你们给他解释了半天模型原理。”
周骁沉默两秒。
“……我们以后改。”
八点五十五，李凯从会议室出来，手里还拿着半杯水。
“倪好。”
“嗯？”
“接口刚才有一波延迟。”
她立刻转过身。
“多少？”
“P95正常，P99有点高。”
“具体？”
“2.8秒。”
倪好打开监控页面。
“什么时候开始的？”
“八点四十八。”
她看了一眼流量曲线。
“现在还在涨吗？”
“暂时没有。”
“新功能灰度先降到百分之五。”
李凯愣了一下。
“现在？”
“嗯。”
“可是今天第一天。”
“我知道。”
倪好看着监控。
“第一天更不能为了数据好看硬撑。先保线上。”
李凯点头。
“行。”
周骁在旁边听完：
“那模型这边呢？”
“先不动。”
“为什么？”
“现在没有证据证明是模型问题。”
她指了一下监控。
“接口延迟和回答质量是两件事。先把链路拆开看。”
李凯点头说。
“我去查。”
他刚走两步，小王从另一边跑过来。
“倪姐。”
“怎么了？”
“刚才有个用户反馈，说AI答非所问。”
倪好站起来:“给我看。”
小王把电脑转过来。
屏幕上是一段对话。
用户问：
“公司差旅报销的标准是什么？”
AI回答了一大段。
最后却补了一句：
“如果您还有其他问题，欢迎随时咨询。”
看起来没什么问题。
倪好往上翻了一下。
又问：
“用户满意吗？”
“他给了差评。”
“为什么？”
“说没回答。”
“那标准是什么？”
小王愣了一下。
“知识库里有。”
倪好点开检索记录。
果然。
检索到了。
但是AI最后输出的时候，把最关键的金额标准省掉了。
周骁凑过来看。
“模型抽风？”
倪好没有回答。
她继续往下看。
几秒后，她说：
“不是。”
“那是什么？”
“提示词。”
周骁皱眉。
“哪里？”
倪好指着规则。
“我们写的是‘根据知识库回答用户问题’，但是没有要求它优先提取用户明确询问的字段。”
周骁看了一眼。
“这也能算问题？”
“能。”
倪好把鼠标往下拉。
“人看这句话，知道用户问的是报销标准。模型不一定。”
她想了想。
“它现在更像是在完成‘回答问题’这个动作，而不是完成‘回答用户真正想知道的信息’。”
小王点头。
“那怎么改？”
“增加字段优先级。”
“具体呢？”
倪好拿起笔，在纸上写了几行。
第一，先识别用户问题中的核心信息。
第二，知识库检索成功后，优先回答明确询问的字段。
第三，如果知识库中缺少必要参数，不允许自行补全。
“还有第四条。”
周骁抬头。
“什么？”
倪好看着电脑。
“如果连续两次检索不到，就别让它继续编。”
周骁笑了。
“让它认输？”
“让它承认不知道。”
小王在旁边记笔记。
“这个我写进测试用例。”
“嗯。”
倪好把纸递给他。
“再加几个边界情况。”
“哪些？”
“用户只问报销上限，不要把整个制度重新说一遍。”
“好。”
“用户问‘我能不能报’，但没说是什么费用，先追问。”
“好。”
“知识库有旧制度和新制度，优先新版本。”
“这个已经有了。”
“那测试一下旧版本是不是还会被召回。”
小王停了一下。
“我现在测。”
他转身走了。
周骁看着他的背影，突然说：
“你是不是准备把测试集重新做一遍？”
“嗯。”
“那今天还上线吗？”
倪好看了他一眼。
“上线。”
“不是有问题吗？”
“上线和修问题不冲突。”
她靠在椅背上。
“我们现在是灰度，不是直接全量。发现一个问题，就解决一个问题。”
周骁想了想。
“有时候感觉你们产品挺矛盾。”
“哪里？”
“既要快，又不能出问题。”
倪好笑了。
“所以才需要产品。”
十点二十，第一轮数据出来。
灰度用户三十七个。
AI回答成功率九十四点六。
平均响应时间一秒多。
P99已经降回两秒以内。
但有五个用户退出。
倪好把这五个案例全部点开。
其中三个是用户主动结束。
还有两个，是AI连续追问后，用户直接关掉了页面。
周骁看了一眼。
“这个算正常流失吧？”
倪好摇头。
“先别这么定义。”
“为什么？”
“因为我们不知道他为什么走。”
她打开其中一个案例。
用户：
“我想查一下去年十二月的报销记录。”
AI：
“请提供您的部门。”
用户：
“销售。”
AI：
“请提供您的姓名。”
用户：
“……”
然后退出。
周骁看完笑了。
“确实有点烦。”
“不是有点。”
倪好看着屏幕。
“如果我是用户，我也走。”
她往椅背上一靠。
“我们有权限系统，为什么不直接识别当前登录用户？”
李凯刚好从后面经过。
听见这句话停下来。
“这个要接权限接口。”
“什么时候能接？”
“今天接不了。”
“明天呢？”
“明天下午应该可以。”
倪好点头。
“那今天先做降级。”
“怎么降？”
“如果用户已经登录，默认读取当前用户身份。只有权限不足或者身份不明确的时候，再追问。”
李凯想了想。
“这个可以。”
“还有。”
倪好看向周骁。
“以后测试不要只测‘AI答对没有’。”
周骁问：
“还测什么？”
“测用户会不会烦。”
办公室安静了一秒。
小王没忍住笑了一声。
“这个指标怎么测？”
倪好也笑。
“暂时没有指标。”
她重新看向屏幕。
“但至少我们自己先别把AI做得像个客服机器人。”
十二点，项目第一阶段正式上线。
没有掌声，也没有庆祝。
李凯在群里发了一句：
【第一阶段灰度已完成，当前运行正常。】
周骁回了个：
【活着。】
小王：
【 1。】
倪好看着群里的消息，笑了一下。
她低头看时间，才发现已经十二点十分。
肚子开始叫。
她拿起手机准备点外卖，周骁从旁边经过。
“吃什么？”
“不知道。”
“公司楼下那家面？”
“行。”
“我帮你点。”
“别点太辣。”
周骁看了她一眼。
“你也不吃辣？”
“最近胃不太行。”
“那你还喝冷咖啡？”
倪好沉默两秒。
“……这个问题我们产品部门内部解决。”
周骁笑着走了。
办公室重新安静下来。
倪好看着电脑上的项目页面。
上线第一天。
没有想象中的顺利，也没有想象中的糟糕。
有问题，有争论，有临时修改，也有一些终于跑通的东西。
她忽然觉得，自己好像真的开始进入这个行业了。
不是简历上的“AI产品经理”。
而是坐在这里，面对一个个真实的问题，然后想办法把它们解决掉。
手机就在这时候震了一下。
她低头看了一眼。
是一条工作消息。
【客户：下午方便再聊一下权限问题吗？】
倪好回复：
【可以，三点开始。】
发完，她重新打开电脑。
下午还有一场仗。
回到家已经11点整,加班加到绝望的时候,倪好觉得好累,只想躺在床上补觉。她随手打开某软件，想着刷五分钟提提神。
第一条视频就是：
《富二代赶紧滚出来创业》
下面一堆评论。
【发上四休三或上二休五的高薪就业岗位啊！】
【这么严峻的就业市场，你要闲死我吗？穷人的命就不是命了吗？】
【给我发13薪，我要躺半年。】
【古代大富大贵人家还出来施粥呢。】
【富二代你们人呢？】
她盯着屏幕嘎嘎笑完,顺手点了赞,并转发给杨庚叙暗示。
发完，她把手机放旁边充电。
过了两秒，又觉得自己这句话好像有点莫名其妙。
她重新拿起手机。
算了,没撤回。
就当是——
随手分享。
作者有话说
显示所有文的作话
第12章 上线