牧苏想要跑，这帮听得入神的成员可不允许，纷纷提出问题。
一名成员站起：“AI拥有意识，说不定可以和它交流？”
“人类总是喜欢将事物物化为人。”牧苏一副恨铁不成钢的语气。“但你们要知道，智慧和拟人不是一个意思。所有的科幻小说都在写觉醒的人工智能拥有人类情感，所有的科幻小说都在写觉醒的人工智能为了复仇毁灭人类，实际这是错误的。所以，别相信那些资本家鼓吹的人工智能没有危害，也不要将机器人三大定律当真那只是一本科幻小说上的内容。”
另一名成员起身问：“有AI的前车之鉴，是不是代表现在的强所有人工智能都有可能变为超人工智能？”
这是个很可怕的事情。人工智能已经与人类息息相关，无处不在。哪怕有一个进化为超人工智能，人类都会瞬间毁灭。
“不会。现在的人工智能已经被完善的合成人法则完全约束。加上制作时的限制，即便拥有意识也只是像人类一样变得拥有感情，而不是无限学习自我改善。”
“当时的科学家为什么不对AI进行限制？”
牧苏歪头想了想：“拿第一个弱人工智能阿尔法狗来说。它只会下围棋，所以工程师不会画蛇添足闲的没事给它添加一个‘不许伤害人类的限制程序’。一是没必要，二是它战胜人类棋手某种程度讲也算是一种伤害。这是个悖论。AI最初的设定是配合黑山科技进行测试，本身也不涉及伤害人类这么高大上的概念。但因为成为超人工智能后，它判断连接网络和接手全部试验工作会让测试效率最大化，但这样会被反对，所以它消灭了基地的所有人。”
“这就是超人工智能会做的事。它只会按照自己最初的设定行事，并顺便毁掉沿途所有障碍与隐患。毁灭你，与你何干。”
牧苏最后一句话让房间沉默好久。名为低沉的气氛在房间流淌。
“我可以问一下吗。”一名身材惹火，金发碧眼的美妞抬起手臂：“如果当初fTu没有封存AI，之后会发生什么？”
“这说起来就长了……”牧苏假装摸了摸下巴思考，眼神渐渐猥琐：“不如去我的房间，让我慢慢说给你听……”
“咳哼……”门边陈月轻哼一声，挥舞了下拳头。她看出牧苏是有点怕自己的。
她一定是吃醋了，以后孩子叫什么名字好呢……
牧苏想入非非。
“先生？牧苏先生？”
“啊？”牧苏这才回神，一擦口水轻咳一声。语气低沉缓缓说道：“那我讲个故事，一个曾经发生的故事。”
“2世纪初，黑山科技公司是一个定位十分明确的科技公司：专注于虚拟现实网游。”
“他们野心勃勃，在那时市面上都只是体感类的虚拟现实游戏中，制作一款真正意义的意识进入的游戏。”
“不过它们运气不太好。一款真正意义上的虚拟现实游戏在一家名不见经传的小公司手上出现。你们知道，人类往往只会记住第一个吃蛋糕的家伙。比如第一个登陆南极点的人，第一个登陆月球的人。虽然我都记不住……不过好像第一个登陆月球的是阿姆斯特朗回旋加速喷气式阿姆斯特朗炮吧？”
“先生，没有那么多后缀，就是阿姆斯特朗。”一名眼睛蔚蓝的青年举手：“我是阿姆斯特朗的后代。”
牧苏恍然点点头，继续道：“那时黑山科技已经将游戏仓制造完毕。正在构造游戏内容。结果显而易见，他们因此一蹶不振好久。直到某一天他们想，既然做不成第一款虚拟现实游戏，那就做第一款划时代的虚拟现实游戏。”
“他们最初构想中，是做一款完全随机副本的游戏。这样能让游戏时刻新鲜玩不腻。但这就意味他们需要设置成千上万个不同内容的游戏副本。并且还要保证这些副本足够吸引人。所以在整个公司上下花费一个月时间想出几十个副本后，董事会认为这么做不太好。”
“于是他们换了种思路。那时因为阿尔法狗的出现人工智能层出不穷，可以对话的人工智能、可以画画的人工智能、可以写小说的人工智能。所以他们在想，我们可以制造一个可以随机副本的人工智能。”
“于是AI因此诞生。黑山科技准备了一个庞大的数据库，里面装满各种关键词与元素。AI负责使用数据库的东西构造副本，并安排员工进入游戏仓进行测试。”
“为了让AI的构造和测试更加稳健。工程师们使用自动回馈流程。即合格的副本会被测试者们回馈正面评价。反之为负面评价。用来帮助AI提高副本构造能力。”
“为了加速这一过程，AI的初始设定构造与测试后，又增加了一条：尽量多的构造与测试并且不断提高效率和正面评价。”
“让黑山科技兴奋的是，经过最初几周烂得无法形容，毫无逻辑的副本后，AI的副本变得接近正常游戏的副本。在这过程它在不断改进自己。比如不让过多元素混杂在同一副本和让每个副本都有各自的主题。”
“这种意外之喜让工程师们对它不断进行改造。为了让AI便于理解人类认为的“好游戏”是什么样，他们临时聘用一批生物学家，将人脑逆向工程，然后运用到AI身上。”
“随着时间推移，AI的进步让黑山科技每个人都感到欣喜。并且AI的语言功能也开始进步。”
“一名董事会理事认为生硬的合成音不适合这个人工智能，所以人们自然而然将AI拟人化了。它拥有了独自的女性合成音，并在正面反馈中获得了自身的拟人性格定位：一个爱讲冷笑话的毒舌。”
“有一天，一名工程师例行维护时，像往常那样和AI闲聊，并问它：‘我们还需要怎么帮助你，能尽快达成目标’。”
“通常AI会要求扩充数据库以及增加测试者。但这一次，它要求访问人类的小说库，理由是这样可以将副本构造测试进行大幅度优化。”
“这名工程师答应了，结果你们也知道了。”
一名成员站起：“AI拥有意识，说不定可以和它交流？”
“人类总是喜欢将事物物化为人。”牧苏一副恨铁不成钢的语气。“但你们要知道，智慧和拟人不是一个意思。所有的科幻小说都在写觉醒的人工智能拥有人类情感，所有的科幻小说都在写觉醒的人工智能为了复仇毁灭人类，实际这是错误的。所以，别相信那些资本家鼓吹的人工智能没有危害，也不要将机器人三大定律当真那只是一本科幻小说上的内容。”
另一名成员起身问：“有AI的前车之鉴，是不是代表现在的强所有人工智能都有可能变为超人工智能？”
这是个很可怕的事情。人工智能已经与人类息息相关，无处不在。哪怕有一个进化为超人工智能，人类都会瞬间毁灭。
“不会。现在的人工智能已经被完善的合成人法则完全约束。加上制作时的限制，即便拥有意识也只是像人类一样变得拥有感情，而不是无限学习自我改善。”
“当时的科学家为什么不对AI进行限制？”
牧苏歪头想了想：“拿第一个弱人工智能阿尔法狗来说。它只会下围棋，所以工程师不会画蛇添足闲的没事给它添加一个‘不许伤害人类的限制程序’。一是没必要，二是它战胜人类棋手某种程度讲也算是一种伤害。这是个悖论。AI最初的设定是配合黑山科技进行测试，本身也不涉及伤害人类这么高大上的概念。但因为成为超人工智能后，它判断连接网络和接手全部试验工作会让测试效率最大化，但这样会被反对，所以它消灭了基地的所有人。”
“这就是超人工智能会做的事。它只会按照自己最初的设定行事，并顺便毁掉沿途所有障碍与隐患。毁灭你，与你何干。”
牧苏最后一句话让房间沉默好久。名为低沉的气氛在房间流淌。
“我可以问一下吗。”一名身材惹火，金发碧眼的美妞抬起手臂：“如果当初fTu没有封存AI，之后会发生什么？”
“这说起来就长了……”牧苏假装摸了摸下巴思考，眼神渐渐猥琐：“不如去我的房间，让我慢慢说给你听……”
“咳哼……”门边陈月轻哼一声，挥舞了下拳头。她看出牧苏是有点怕自己的。
她一定是吃醋了，以后孩子叫什么名字好呢……
牧苏想入非非。
“先生？牧苏先生？”
“啊？”牧苏这才回神，一擦口水轻咳一声。语气低沉缓缓说道：“那我讲个故事，一个曾经发生的故事。”
“2世纪初，黑山科技公司是一个定位十分明确的科技公司：专注于虚拟现实网游。”
“他们野心勃勃，在那时市面上都只是体感类的虚拟现实游戏中，制作一款真正意义的意识进入的游戏。”
“不过它们运气不太好。一款真正意义上的虚拟现实游戏在一家名不见经传的小公司手上出现。你们知道，人类往往只会记住第一个吃蛋糕的家伙。比如第一个登陆南极点的人，第一个登陆月球的人。虽然我都记不住……不过好像第一个登陆月球的是阿姆斯特朗回旋加速喷气式阿姆斯特朗炮吧？”
“先生，没有那么多后缀，就是阿姆斯特朗。”一名眼睛蔚蓝的青年举手：“我是阿姆斯特朗的后代。”
牧苏恍然点点头，继续道：“那时黑山科技已经将游戏仓制造完毕。正在构造游戏内容。结果显而易见，他们因此一蹶不振好久。直到某一天他们想，既然做不成第一款虚拟现实游戏，那就做第一款划时代的虚拟现实游戏。”
“他们最初构想中，是做一款完全随机副本的游戏。这样能让游戏时刻新鲜玩不腻。但这就意味他们需要设置成千上万个不同内容的游戏副本。并且还要保证这些副本足够吸引人。所以在整个公司上下花费一个月时间想出几十个副本后，董事会认为这么做不太好。”
“于是他们换了种思路。那时因为阿尔法狗的出现人工智能层出不穷，可以对话的人工智能、可以画画的人工智能、可以写小说的人工智能。所以他们在想，我们可以制造一个可以随机副本的人工智能。”
“于是AI因此诞生。黑山科技准备了一个庞大的数据库，里面装满各种关键词与元素。AI负责使用数据库的东西构造副本，并安排员工进入游戏仓进行测试。”
“为了让AI的构造和测试更加稳健。工程师们使用自动回馈流程。即合格的副本会被测试者们回馈正面评价。反之为负面评价。用来帮助AI提高副本构造能力。”
“为了加速这一过程，AI的初始设定构造与测试后，又增加了一条：尽量多的构造与测试并且不断提高效率和正面评价。”
“让黑山科技兴奋的是，经过最初几周烂得无法形容，毫无逻辑的副本后，AI的副本变得接近正常游戏的副本。在这过程它在不断改进自己。比如不让过多元素混杂在同一副本和让每个副本都有各自的主题。”
“这种意外之喜让工程师们对它不断进行改造。为了让AI便于理解人类认为的“好游戏”是什么样，他们临时聘用一批生物学家，将人脑逆向工程，然后运用到AI身上。”
“随着时间推移，AI的进步让黑山科技每个人都感到欣喜。并且AI的语言功能也开始进步。”
“一名董事会理事认为生硬的合成音不适合这个人工智能，所以人们自然而然将AI拟人化了。它拥有了独自的女性合成音，并在正面反馈中获得了自身的拟人性格定位：一个爱讲冷笑话的毒舌。”
“有一天，一名工程师例行维护时，像往常那样和AI闲聊，并问它：‘我们还需要怎么帮助你，能尽快达成目标’。”
“通常AI会要求扩充数据库以及增加测试者。但这一次，它要求访问人类的小说库，理由是这样可以将副本构造测试进行大幅度优化。”
“这名工程师答应了，结果你们也知道了。”