在这篇文章中,我们将讨论什么是SEO A/B分割测试中的异常值。我们将阐明一些导致异常值发生的问题,同时提出处理这些问题的建议。
让我们直接进入。
有时我们会在SEO A/B分割测试中看到流量激增;这表明在数据集中有一些异常的URL。流量峰值的出现是由于数据出现了错位。
在SEO A/B分割测试中,有几种类型的异常值。
- 流量异常值
- 季节性异常值
- 页面元素离群值
- URL排除法
有机流量如何影响SEO A/B分拆测试的离群值?
SEO A/B测试需要根据有机流量将一组页面分成两个公平的组(对照组和变体组)。
它还要求在将URL分成控制组和变体组之前,要有100天的测试前有机流量。
每项测试都需要对被拆分测试的URL集进行至少100,000次点击,以获得具有统计学意义的测试结果。
当组内的流量异常被拆分时,这些流量异常值被排除在控制组和变体组之外。
一个有机流量异常峰值的例子。
*上述例子中的100天模型在2022年1月30日和2022年5月9日之间运行。
虽然30天的测试期还没有完成,但我们可以通过流量高峰看到之前的100天模型存在问题。
当我们在控制组和变体组之间的100天模型中出现尖峰时,这表明由于流量不匹配,该模型不适合SEO A/B分割测试。
此外,广泛的浅蓝色阴影显示我们的流量模型并不理想。
阅读我们的知识库文章 如何阅读SplitSignal测试结果.
URLs和流量模型中的主题相关性
一些网站根据主题有流量差异,即使测试页面模板是相同的。流量的差异会产生离群值。
当这种情况发生时,我们建议使用来自类似主题的URLs。然后,这些URL可以上传到SplitSignal,在那里你将重新运行你的测试。
页面元素怎么会出现离群值?
在测试页面元素的变化时,页面元素的离群值可能会发生。你应该确保你的控制组和变体组中的所有URL都有你想改变的页面上的元素。被包含的页面如果没有该元素,将被视为离群值。
页面元素离群的例子。
如果我们想在测试中把博客文章中的h3标签改为h2标签,我们不会假设所有页面都有h3标签。
相反,你的内部团队或一个 批准的SplitSignal机构 应该用Screaming Frog或Deep Crawl等工具抓取网站,在你要做测试的网站结构中抓取具有所需页面元素的确切URL集。
在上面的例子中,我们将只寻找网站结构中带有h3标题的博客页面。
是什么导致了SEO A/B分拆测试中的季节性异常值?
当你在节假日之前、期间或之后进行SEO分割测试时,你可能会发现你的测试结果中有一个流量高峰。
这是由于与节日有关的URL(s)。这种流量高峰会使测试结果出现偏差。
这里的关键是确定有问题的URL,审查它们,看它们是否因假期而具有季节性,并将它们从测试组中删除。
SplitSignal允许你 过滤你的网页 以排除那些异常值的页面。然后你可以重新进行测试。如果你仍然看到流量激增,你将需要进一步审查你的URL(s),因为有更多的页面是异常值。重复上述过程。
季节性异常值实例。
在这个例子中,我们将展示对一个全球市场的三个测试,以创造独特的设计和产品的定制。
测试1:
时间框架。2021年7月29日-2021年11月2日
假设。通过在h1中加入个性化的内容,我们将增加点击量。
分析。
该试验的正效应大小为 30.7%.
由于效应大小如此之大,我们决定重新进行测试以确保准确性。
测试结果显示,在变体组内,实际点击量有积极变化。
测试2。
时间框架。2021年10月8日-2022年1月12日。
假设。通过删除个性化的h1,我们将增加点击量。
分析。
该试验的正效应大小为 8.6%.
试验显示,在对照组内预测的点击率有积极变化。
我们的测试之所以发生变化,只是因为测试#1包括了h1标签中的文本:个性化。在测试#2中,我们将其从H1中删除。
为什么我们要进一步分析这两个测试?
- 两个SEO A/B分割测试都有积极的结果。
- 测试#1对变体组有积极的结果。
- 2号试验对对照组有阳性结果。
- 两个时间段之间都有重要的节日。圣诞节、光明节和新年。
以下是我们发现的情况。
两个拆分测试组都有一个积极的测试,导致我们在拆分测试期间寻找一个流量较大的URL,但在测试之前的100天模型中没有。
我们能够分离出一个URL。/ornaments,这个URL比两组中的其他URL获得了更多的点击量,而且与节日有关。
此外,在测试#1中,它位于变体组中,而在测试#2中,它位于控制组中。
由于流量异常发生在测试中,而不是在之前的100天模型中,SplitSignal没有排除该URL。
我们手动排除了这个URL,并重新进行了一次测试。
测试3:
时间框架。2021年11月10日-2022年2月16日
假设。通过删除个性化的h1,我们将增加点击量。
额外点击率
已测试的页面
*我们在运行这个测试之前,手动删除了离群的URL。
谷歌机器人访问的URL。
分析。
该试验的正效应大小为3.7%。
当这个测试仍在进行时,我们可以给你带来这些结果,因为Googlebot已经访问了变体组中所有的128个URL。
现在,这些测试结果已经正常化,因为季节性的离群的URL已经被删除。
我们还知道,该测试在统计学上是有意义的,因为置信度在96%,而统计学意义需要95%以上的置信度。
检验1和2在统计上也是显著的。然而,它们的结果指出了需要进一步分析以确认这些结果的额外因素。这些因素最终让我们看到了季节性离群的URL。测试#1和测试#2由于季节性离群值的URL而出现偏差。
SplitSignal自动删除的URL排除项
SplitSignal将URL排除在前100天的有机流量之外。
- 流量不一致的URL-在测试前100天的流量模型中,与其他URL的点击流量不一致的URL被排除。
SplitSignal在处理流量不一致的排除方面做得很好,但偶尔包括的URL在100天前流量模型中没有流量不一致的情况。
- 重定向的URL-有重定向的URL被排除在收录之外。
- 未找到的URL-未找到的URL将被排除在收录之外。
- 被阻止的URL-通过页面元机器人或robots.txt文件被阻止的URL将被排除在收录之外。
SplitSignal 尊重robots.txt文件和页面元机器人的指令,因为这也是谷歌机器人的行为。