站点地图提交后页面还是不收录,先按这个顺序排查:第一步,分清「已发现—目前尚未编入索引」和「已抓取—目前尚未编入索引」,这两个状态的原因几乎不重叠;第二步,用网址检查工具看服务器返回的状态码和渲染后的 HTML;第三步,确认这个 URL 有没有真实的站内链接把它接进来;第四步,把已提交数和已收录数拉成几周的线,判断是站点层面的问题还是个别页面的问题;第五步才是怀疑内容质量。顺序颠倒最常见的代价,是把一篇搜索引擎根本没爬过的文章重写一遍——时钟归零,问题原封不动。站点地图只负责让搜索引擎「知道」这个 URL 存在,它不负责让对方「去」。
那天晚上十一点多,我还坐在餐桌边上,笔记本底下垫着一个倒扣的汤碗散热。屏幕上停在 Search Console 的「网页编入索引」报告,最上面那条灰色的横条写着「已发现—目前尚未编入索引」,我把鼠标移上去,数字弹出来:一千二百多。底下绿色的「已编入索引」是八百出头。
我做的第一件事是打开站点地图报告,把 sitemap 又提交了一遍。第二天看,没动。第三天,又交了一遍。那种感觉像在按一个已经按过的电梯按钮。
后来我才把这件事想明白:对搜索引擎已经知道的 URL,重新提交站点地图不改变任何抓取决定。它在名单上了。问题从来不是「没登记」,是「没人来」。
两个状态混着看,后面的判断全是错的
「已发现—目前尚未编入索引」的意思是:我知道有这个地址,但我还没去抓。这一条几乎只跟两件事有关——有没有链接指向它,以及站点整体值不值得我排期来抓。
「已抓取—目前尚未编入索引」完全相反:来过了,读完了,然后决定不放进去。这一条才是内容层面的事,近重复、太薄、批量生成、渲染后正文为空、软 404,都落在这一格里。
我把这两条当成一个「不收录」的问题看了快两个月,所以前面所有动作都是无效的。你打开报告的第一眼,先看自己卡在哪一条上。
先看服务器给了什么,比读文章重要得多
在网址检查里输入那个 URL,切到「查看已抓取的页面」。我看的是四样东西:HTTP 状态码、robots.txt 那一行的判定、渲染后的 HTML、以及 Googlebot 抓下来的截图。
状态码这一步救过我两次。一次是 403:源站在国内,Cloudflare 的防火墙规则把一批海外请求拦在了门外,而我本地浏览器带着 cookie,怎么点都是 200,看着一切正常。另一次是 robots.txt 里那句 Disallow: /——测试站和正式站共用一份配置,上线时一起推了上去。这两种情况下,页面在后台看是好的,在抓取端看根本不存在。
渲染后的 HTML 也要看。有一次正文区是空的,因为列表内容靠接口拉,而那个接口路径被 robots 挡了。抓取时页面骨架在,内容不在,这种页面被抓了也只能被判成薄页。
做多语言站的还得专门看一眼 canonical。德语、法语页面自己 canonical 到英文版,是我见过最隐蔽的一类:链接正常、状态码正常、内容也是好的,抓取端读完一比对,判定为重复,直接不放。我第一次遇到时,改了三天正文,最后发现问题在一个 <link rel="canonical"> 上。
必应的站长工具里也有类似的实际网址检查,界面不一样,逻辑是一样的。
站点地图替不了内链
这是我最想让人早点知道的一条:把 URL 从「已发现」推到「已抓取」的主要机制是链接,不是 sitemap。
孤岛页面会永远停在「已发现」。它躺在 sitemap 里,安安静静,看起来被提交了,实际上没有任何一条路径通向它。
我现在的检查很土:从首页开始点,三次点击之内能不能点到这篇文章。点不到,就先解决这个,不去动 sitemap 那一页。再看链接的形态——是真的 <a href>,还是 onclick、还是前端路由生成的。不执行 JavaScript 的情况下,导航里还有没有它。有的站点导航整个是 JS 渲染的,人看得见,抓取端看不见。
顺手提一句「请求编入索引」那个按钮。它只是插个队,一次一个 URL,反复点同一个地址不会有额外效果。它可以用来验证一个修好的页面,不能当成一个可以放大的手段。
把数字拉成几周的线
单看一天的数字没有意义。我把「已提交」和「已编入索引」两个数按周记在表格里,记四到六周。
如果差值稳定在某个比例上、缓慢地扩大,那是站点层面的抓取排期问题,处理它要靠站点结构、链接分布和整体质量,不是某一个页面。如果差值是平的,只是零星几个 URL 卡住,那就是页面问题,一个一个查。这两种情况的动作完全不一样,混着做就是白忙。
到这一步才轮到内容质量
只有「已抓取—目前尚未编入索引」才该往这个方向想。我见过的几类:同一批产品描述换个型号名铺出去几十页;两百字加一张图的极薄页;一次生成几百篇、模板句占八成的批量内容;以及内容为空或者写着「暂无结果」的软 404。这些页面都被爬过,是被读完之后拒掉的。
重写对它们有用,但前提是你确实走到了这一步。
新站还有个等待窗口
年轻的站点上,新发页面三到八周才进索引是常态,不算异常。在这个窗口里改标题、改正文、改结构,等于把时钟拨回去重新排一次队。除非网址检查里查出了上面那些硬错误,否则这段时间最该做的事是别动它,去写下一篇。
顺序本身就是成本
我现在遇到不收录,先花二十分钟做前两步:看服务器返回了什么,看有没有链接通向它。这两步能处理掉相当一部分情况,而且都不需要我重写一个字。
真正需要动笔的时候,我会知道自己为什么动笔。