连续的产品测试如何使Microsoft Bing在美国的市场份额(VB Live)增至三倍

 
Optimizely产品管理总监Jon Noronha说，在产品开发过程中，团队常常感到自己在黑暗中四处徘徊，试图弄清用户的真正需求以及他们的产品是否会为他们交付。
“许多产品团队通常会感到这种真正的信心不足，因为直到这个过程的最后，我们才知道用户将如何对我们构建的产品做出反应，” Noronha说。 “我们可能陷入可能产生负面影响的月甚至数年。”
例如，在灾难性的Windows Vista瀑布发布之后，他作为Microsoft产品经理的第一手经验。微软花了很多年的时间进行开发-大部分是秘密进行的，大部分是内部进行的，没有很多外部反馈。一旦进入用户手中并出现问题，便引发了一场公关噩梦，该公司的股票大幅下跌。
这是该公司的警钟。他们意识到，这种瀑布式的开发方法是将所有事情都按顺序进行，反馈只能在最后进行，这在现代软件开发时代是行不通的。尤其是因为硅谷的其他公司都在开创一种新的工作方式，这种方式更加敏捷，更加渐进和迭代。谷歌最能说明这一点，它每天都在部署代码，并对所有内容进行A / B测试。
这就是为什么许多产品开发团队已开始改变其操作方式的原因，从线性的设计，构建，发布和祈祷过程转变为更为渐进的迭代过程，在这些过程中，他们不断地尝试小块创意，根据收到的反馈对它们进行调整。
对于您在产品开发中所做的每一件事，您如何真正量化其产生的影响?您如何验证某个功能是否符合您的预期?您如何看待采用这种方式?它会为您改变一些核心业务指标，例如保留和吸引观众吗?然后使用这些信息反馈到周期的开始，并提出新的想法或完善旧的想法。
“当您开始采用这种产品开发方式时，它就会改变您的思维方式，” Noronha说。 “我们不仅有产品路线图和一些实验想法。很快我们就开始考虑到我们改善产品的每一个想法，无论我们是设计师，工程师还是产品经理。这只是另一个假设。他们处于平等的地位，准备接受测试。”
现在，这描述了一种理想的实验文化的最终状态。但事实是，对于大多数公司而言，这是一个漫长的旅程，要到达那里，攀登这种实验文化山峰，并从启动祈祷的思维方式逐步过渡到更具周期性的实验思维方式。诺罗尼亚警告说，这不是一件容易的事。在许多公司中，这需要您改变工作方式的真正文化。
他说，没有任何灵丹妙药指向他在微软的必应产品上的工作。 2011年，必应(Bing)每小时损失近50万美元，这反映出构建像搜索引擎这样复杂而又庞大的东西是多么困难。成千上万的人，成千上万的机器和服务器都在朝着这个目标努力，但是直到该搜索引擎真正优秀，高质量并为用户服务时，它才受益匪浅。
但是，到2015年，必应实际上已经悄悄地实现了相当可观的盈利，每季度超过10亿美元，这是一个相当大的转变。
他解释说：“在此过程中没有万灵药，或者我们改变的某件事突然使公司盈利或扩大了我们的市场份额。” “相反，这是一个不断试验的渐进过程，我们在不断尝试新想法，并尝试建立一种文化，使数百支团队能够全部进行这些增量改进并衡量他们所做的每项变更的影响。”
A / B测试和这些技术的使用直接导致了Bing在美国和世界其他地区的市场份额翻了三倍。从每周运行的少量实验到每周在服务的所有不同部分运行的数百个实验，实验稳步增长。用户体验，搜索算法，广告，移动应用程序以及所有这些都是不断进行实验的基础。这意味着每个产品团队在任何给定时间都在进行多个实验。
他说：“它确实向我展示了A / B测试所具有的强大功能，但同时也向我展示了一些挑战。” “在接受这种实验思维方式方面，我们取得了长足进步，但同时也遇到了重大挫折和挑战，特别是在一家公司并不总是拥有适合那种持续实验的思维方式的情况下。”