“快速行动，打破常规”曾经是关于创新的流行口号，但过去十年来却不再受到青睐。科技公司转而更喜欢“持续实验”。无论我们如何描述这个概念，目标却都是一样的：实现由数据驱动的快速迭代。无论是测试按钮的颜色还是算法的性能，只要公司进行的实验越成功，它创造的新增长和效率的机会就越多。

然而，成功的实验并不都是相同的。一些实验在短期内似乎导致积极的变化（例如，带来更多利润、保留客户等），但在实际上却使公司的运作更为复杂。这会增加进一步改进系统和开展未来实验的难度，减缓了创新的动力。

“根本问题是‘行之有效’意味着什么？”凯洛格学院的运筹学助理教授塞巴斯蒂安·马丁问道。“现在，它对我和我的客户可能是一件好事情，但从长远来看，它会影响我的创新能力吗？”

为了探究实验驱动型公司的隐性成本，马丁与同样来自凯洛格学院的黄宇迪（音译）以及Lyft公司的前首席科学家秦志伟合作，创建了一个数学模型，以探讨在公司内部进行变革的复杂性。他们发现，随着时间的推移，这种复杂性造成的摩擦会累积，就像债务的利息一样。换句话说，将会越来越难发现每个成功的变革，需要更复杂、更耗时的实验，并且这些放缓常常无法察觉。

然而，研究人员也发现，当公司的复杂性达到一定程度之后，就不再值得抵制了。因此，尽管实验的速度更慢、频率更低，但实际上，即便实验的回报减少，积累更多的“复杂性债务”也是值得的。黄宇迪解释道：“在这种情况下，唯一的解决方案通常是从头开始重建，而不是试图避免额外的复杂性。”

马丁承认：“这种模型看似违反直觉，它凸显了一个几乎无人谈论的影响。”

对于那些在实验上投入大量资源的科技公司来说，了解这种经常被隐藏的实验效果特别有价值。马丁指出：“科技公司拥有专注于实验的庞大团队；成功的实验往往使员工获得晋升。但判断某件事情是否长期‘有效’，却是非常棘手的任务。”

成功的隐性成本

马丁对这种困难有亲身体会。2020年，他在Lyft担任研究员期间，帮助测试了一种新型强化学习算法，用于匹配司机和乘客。

“进行这些实验的成本非常高，但是绝对值得。”他回忆道。“它增加了司机的收入，也让乘客更满意。我们实验仪表板上的所有指标几乎都是绿色的。”2021年，Lyft在全球部署了新算法。一切都行之有效，但是果真如此吗？

马丁说：“我意识到，做出如此复杂的改变时，会使公司其他团队的创新变得更难，也会增加实验过程本身的难度和成本。”

首先，拥有一个会随着时间推移而自行调整的复杂机器学习算法，意味着找到下一个实验想法会变得更难，也更难实施。马丁解释道：“我必须预测这个超级聪明的算法会对我想要测试的东西做何反应，因此凭直觉判断的想法是否明智会变得更难。”

此外，复杂的系统性实验不像A/B测试按钮颜色那么简单。就像一块大石头掉进湍急的溪流中一样，Lyft的新算法可能会以出乎预料的方式改变整个系统的流程。因此，唯一的测试方法就是将其开启，让每个人观察会发生什么，然后再将其关闭并比较结果。这些所谓的“折返实验”必须在更长的时间内重复多次，才能产生可靠的结果。

马丁意识到这些实验带来的复杂性债务可能会阻碍未来的创新努力，但是他不能确定。“在实验过程中几乎无法衡量。我开始怀疑自己。这引发了一项有趣的数学练习。”

建模权衡

与技术债务一样，公司内部的“复杂性”难以衡量，因为它很难定义。

“它的涵盖范围很广，包括官僚主义、软件、深度。”马丁说。“对我们而言，复杂性只有一个含义：复杂性越高，公司进行成功实验的概率就越低。”

利用这个复杂性的定义，马丁和他的共同作者对一家公司如何随着不断的实验而变化进行了模拟。他们根据两个关键量来评估这家理想化的公司。第一个称为利用率，代表公司试图通过实验最大化的主要指标，比如利润或用户参与度。第二个代表复杂性：复杂性越高，实验的速度就越慢。

如此一来，权衡就相对简单了。随着时间的推移，成功的实验会提高公司的利用率——就像Lyft的新算法提高了收入、参与度和效率。与此同时，成功实验所带来的任何变化要么增加其复杂性，要么保持不变。

设置陷阱

在分析了模型的行为之后，研究人员发现复杂性确实是一个真正的问题，会以三种独特的模式或“陷阱”来表现。

第一个陷阱是，复杂性债务的负面影响没有上限；它只会不断增长，永远不会停滞。马丁说：“如果你只是不断地实施改变，一味地盲从成功的实验结果，那么情况就会变得多糟也没有止境。”

当公司的复杂性债务开始自我强化时，则会发生第二个陷阱。在该模型中，公司可以做出选择，以防止复杂性进一步恶化。然而，在复杂性达到一定程度之后，即使这种方法也变得毫无意义：对于高度复杂的公司来说，最佳选择是继续实验，并积累更多债务。

为什么？因为短期内管理复杂性的成本高昂，但从长远来看却有益。

“上市公司的投资者最多只关心未来五年到十年的情况。”马丁解释道。“当你的公司规模很大，复杂性很高时，改进就很少发生。因此，你会有更大的动力争取任何改进”，而不考虑长期的复杂性成本。

但是复杂性较低的公司（例如新创企业）应该特别小心陷入这种情况。与成熟公司相比，这些公司往往更关注短期收入和增长，因此特别容易陷入第三个陷阱，即它们觉得需要加快实验。这是科技新创企业经常面临的困境：因为它们必须向投资者展示相对快速的增长，从而获得下一轮融资，所以它们倾向于进行“贪婪”的实验，将复杂性提高到阈值，或者甚至超过阈值。等到它们真正开始增长时，其复杂性债务已经达到了临界点。

马丁指出：“新创企业与上市后的公司截然不同。任何似乎有助于增长的改变都应该付诸实施，否则你就会灭亡。”

没有免费的午餐

那么，复杂性及其对实验和创新的潜在影响，是否就像死亡和税收一样不可避免？

或许如此，但马丁警告我们不要过度解读单一数学模型的行为。“我们的论文旨在强调实验背景下的某种效应，让人们开始更清楚地思考。当你试图解决一个问题时，意识到这个效应就是成功的一半。”

马丁补充道，与许多公司的看法相反，持续实验并不能保证持续改进。“根据我在科技界的经验，我认为这个想法会引起很大的争议。”

但其实不必如此。所谓的“退化实验”就像是反向的折返实验，测量一个看似积极的变化暂时逆转时会发生什么。马丁表示，如果没有有害影响，也许就可以永久逆转这种变化及其导致的复杂性，因为“系统已经进化”，不再需要这种变化。至于在其他由实验驱动的行业，比如制药业，往往是讲求研究长期结果，而不仅是短期影响。

马丁说：“科技界需要更多这样的思维。它让人们意识到，改变可能是暂时的，因为它们可能需要代价，而逆转或者至少重新评估，也是可取的行为。”（财富中文网）