只挂在 sitemap 上的新文章,为什么迟迟进不了索引

只挂在 sitemap 上的新文章迟迟进不了索引,卡住的地方通常不是提交动作,而是链接图:它是一条没有任何站内入链的孤岛页。sitemap 只解决“这个 URL 存在”这件事,本身不携带相关性信号;真正决定它会不会被抓、按什么顺序被抓、抓完能不能站住的,是从首页到它需要点几次,以及有几个主题相关的已有页面在指向它。

我打开全站爬取报告,第一件事是筛 Inlinks 等于 0。列表拉出来四十多条,排在最前面的是前段时间写的一篇对比文。发完就更新过 sitemap,也去 Search Console 里点了请求编入索引,当时觉得该做的都做了。打开网址检查,状态写着“已发现,当前未编入索引”,最后抓取时间那一栏是空的。

再往下翻,这些页面的形状几乎一模一样。有的发现来源那一栏只有 sitemap 一项,有的只有一条入链,而那条入链来自另一个同样没被索引的页面。抓取深度那一栏,从首页过去要五六跳。外部链接当然也能把它带进来,但那是另一条账,跟站内路径没关系。

那天晚上我改的不是 sitemap,是四条内链。

sitemap 说的是“我知道有这么个地址”

我把 sitemap 理解成一张门牌号清单。它告诉搜索引擎这一片有这些地址,但没有说哪扇门重要、哪扇门通向哪里、谁在往哪扇门走。抓取队列的长度是有限的,排队的顺序要靠别的线索决定,而最稳定的线索就是链接:站内有多少条指向它、这些链接出现在什么位置、来源页面本身是不是经常被访问。

所以一个只挂在 sitemap 上的页面,处境很尴尬。它不算不存在,但也谈不上值得优先处理。它没有从任何地方得到过一点“被推荐”的意思,只能等抓取机器哪天顺手扫到。有时候它真的被扫到了,也被收录了,但没有一条内链给它任何上下文,排名上基本等于没有。这两种结果对我来说区别不大,都是白写。

这也解释了为什么“再提交一次 sitemap”这类动作,做完当时看着像推进了一步,过两天又回到原样。它解决的是发现,而发现本来就不是瓶颈。

先数一下从首页要走几步

点击深度这个指标,我现在看得比收录状态还勤。首页被抓得最频繁,链接每往下走一层,被重新访问的机会就衰减一次。我的习惯是让所有想认真做的新文章都落在三跳以内,多数情况下一跳或两跳就够:从首页到分类页,从分类页到文章。

这里有个容易忽略的细节。分类列表的分页也算一层。如果一篇文章只出现在列表的第三页,那它的实际深度比你以为的再加两跳。标签页、归档页如果本身被设置成不索引,那它们提供的路径也就打了折扣。

爬虫工具里的抓取深度报告能直接看到这个数,不用自己猜。凡是深度超过四跳的 URL,我会先问一句:它是不是本来就不需要被很多人看到。如果答案是“需要”,那就得给它换一条路。

上线那一刻,它至少要有一条入链

这是我现在给自己定的硬条件:任何一篇新文章上线时,至少要有一条来自已有页面的、主题相关的内链。不是“打算后面加”,是发布当下就有。

找谁来做这条链,通常有三类候选。一是它所属的分类页或主题聚合页,这是最自然的家。二是它扩展或者替代的那篇旧文,新文如果是在旧文基础上写得更细的,旧文里本来就有一个段落该指向它。三是同一个主题簇里已经在跑的、有一定流量的文章,从它的正文里分一条链出来。

链接写在哪里也有讲究。正文段落里的上下文内链,比侧边栏的“最新文章”或者页脚的“相关阅读”更可信,位置越靠近正文主体越好。锚文本我会写成能描述目标页主题的短语,而不是“点击这里”“阅读更多”。那几秒钟的措辞,实际上是给目标页贴的第一张标签。

还有两件事我踩过。一个是“相关阅读”模块如果靠 JavaScript 在浏览器里渲染,浏览器里看着有链接,原始 HTML 里没有,这条链就不一定按你预期的方式起作用。另一个是有些主题模板会把某些位置的链接默认加上 nofollow,看着是内链,其实不算。发布之后我会用查看源代码的方式确认一遍:链接在不在初始 HTML 里,有没有 nofollow 属性。这一步很土,但它比任何猜测都可靠。

老文章才是新文章最好的入口

新文发出去之后,我固定会做一件事:回头改两到三篇已经在相关关键词上有稳定流量的旧文,把它们指向新文的锚文本换成更具体的描述。有时候只是把“这篇文章”改成新文的主题词,有时候是在一个相关段落末尾补一句。

这么做有个附带的好处。源页面因为正文变动会被重新抓一次,而指向新文的那条链接就落在这个刚被访问过的页面上,新文因此拿到一条来自活跃页面的路径,比一条挂在半年没动过的页面上的链接有用得多。改锚文本本身也是成本最低的一种内容更新,不用重写正文,但确实让老页面多了一次被重新评估的机会。

回到我那天筛出来的一堆孤岛页。处理办法其实很朴素:找上级页面,写一条描述性锚文本进正文,确认它在 HTML 里、没有 nofollow,再确认来源页面本身是活的。剩下的交给时间。

要说清楚的是,内链解决的是路径这一段。它救不了一篇本身没有价值的内容,也换不来一个确定的天数。抓取还受整站质量、更新节奏、页面自身完成度的影响,这些变量不是我改几条链接就能控住的。但至少,“明明写好了却像没发过”这种情况,绝大多数时候是因为没人给它指过路。

本文仅为教育性信息,不构成专业意见;在依据文中内容采取任何行动前,请先咨询相关领域的专业人士。