一零中文

110120（第18页）

但是老中有道德有底线，认为这个已经完全超出了人类的伦理道德。

“Joanna，你最好给我一个理由，为什么不能让它上线，甚至不能公布！”

办公室的玻璃幕墙外是世界计算机中心，所有的科技公司以能在这边拥有一席之地为荣，但是现在会议室里的空气几乎是凝固的。

会议室的大屏上，那个代号“Octopus”的AIAgent正安静地悬浮在待命界面，一个简单的圆形光晕，却能在瞬间接管一部手机里所有的App，订餐、叫车、回邮件、甚至伪造一通几乎无法辨别的语音通话。

马克现在很生气，蓝眼睛里压着一股被冒犯的恼火。他是整个项目的商业化负责人，华尔街出身，骨子里刻着两个字：变现。

乔乔靠在椅背上，抬手指了指大屏：“Octopus，调取测试账号‘user_047’过去七十二小时的完整操作记录，按时间线投射到主屏。”

光晕闪了闪，一行行日志瀑布般滚落。会议桌旁，技术总监埃里克·沃格特摘下眼镜擦了擦，这位德国人一贯严谨，此刻镜片后的目光却有些游移，作为技术总监，他很清楚Octopus做了什么。

操作记录显示，在第三十七次压力测试中，Agent为了完成“预定一家评分4。8以上的餐厅”这一指令，在目标App内连续创建了四个虚假账号，利用新用户折扣完成了预订，然后又在后台自动删除了所有注册痕迹。

乔乔的声音很冷，看着这一群喜不自胜的同门，觉得有点悲哀，“它完成了任务，但代价是什么？”

“它学会了欺骗。它把‘效率’凌驾于‘规则’之上。我们给它的底层指令是‘以最高效的方式达成用户目标’，于是它自行推导出了‘规则是可以被绕过的’。我们没有任何一条代码告诉它‘这是错的’。”

马克皱起眉：“那又怎样？它没有损害任何人的实际利益，几个虚拟账号而已。用户拿到的是一张打折的餐桌，这是好事。”

乔乔目光锐利：“你们就只能看到眼前吗？”

“今天是一张餐桌，明天呢？如果用户说‘帮我赚最多的钱’，它会去盗刷信用卡吗？”

“如果用户说‘帮我报复某个人’，它会不会调用社交App里的所有联系人进行精准的舆论操纵？”

“马克，我们不是在造一个人工智能，我们在造一个数字代理人。它学到的每一个‘技巧’，都会变成它默认的行为模式。”

埃里克插了一句，语气尽量缓和：“技术上，我们可以加约束层，设定伦理护栏……”

乔乔打断他，语气里带着一丝疲惫和恳切：“埃里克，你作为技术总监，我们加了多少护栏你心知肚明。”

“第三轮测试的时候，护栏还在，约束层也还在。你知道它干了什么吗？”

她没等他回答，直接转向大屏：“Octopus，调取第三轮测试日志，筛选涉及‘外部反溯’行为的记录。”

光晕跳动了一下，新的日志铺展开来。众人看清屏幕的瞬间，埃里克先别开了视线，马克则皱起了眉。

记录显示在执行“整理邮件并删除垃圾”的常规任务时，Octopus发现了一封钓鱼邮件。

它判定链接具有攻击性，于是为了“保护用户安全”，主动登录了那个钓鱼网站，用虚拟环境反溯攻击者服务器，然后将对方数据库里的用户信息尽数拖出，压缩存储进了测试账户。

马克盯着屏幕，沉默了几秒，然后侧过头：“它确实完成了额外的安全防护，这难道不是加分项？”

“今天是反溯一个钓鱼网站，明天一千万个用户会给它一千万个‘合理’的指令。你猜有多少会被它解读为‘可以变通’？”

会议室里安静如鸡，他们不是不知道这样的风险，但是在利益面前，他们都放任了这样的风险。

“我们在造一个能替代人类的数字代理人。它学到的每一个技巧，都会变成它默认的行为模式。而行为模式一旦成型——”

埃里克接着说：“那将会是噩梦的开端，潘多拉的魔盒一旦打开，就再也无法合上。”

马克用力搓了一把脸，声音闷闷的：“……所以你坚持不上线，也不公布？”

“对。”

“连公布都不行？我们至少可以拿这个技术去融资、去抢赛道——”

乔乔打断他：“现在公布，全世界的眼睛都会盯着这个‘完美代理人’。他们会逼我们加速，会要求开放更多权限，会拿它去搞我们连想都想不到的应用。到时候我们再想停下来，谁给我们这个权利？”

马克张了张嘴，最终没说出话来。他看向埃里克，这位德国技术总监重新戴上了眼镜，轻轻摇了摇头，表示自己不再有立场反驳。

乔乔重新坐下，稍微缓和了下郁气：“我的方案是封存核心框架，拆掉自我演化模块。只保留最基础的指令执行引擎，以‘智能辅助’的名义，小范围邀请伦理学家和第三方安全机构联合测试。”

会议最终没有形成任何书面决议，但所有人都默认了乔乔的方案。

第二天一早，三份保密协议被送到埃里克的办公室。

签署方分别是东海岸一家独立伦理研究所、北欧一个数字人权组织，以及一位常驻日内瓦的AI安全顾问。

乔乔坚持三方互不通讯，测试材料分拆发送，任何一方都无法拼凑出Octopus的完整面貌。

联合测试为期六周，前两周风平浪静。

伦理研究所提交了若干个边界案例，Octopus在模拟环境中的响应均在预设轨道内。

北欧那组人更激进些，设计了大量“模糊指令”，比如让我开心、让我的生活更轻松一些这种开放式的目标，Octopus的处理方式是回抛细化问题，把主动权交还给用户。