最近群里又有几个刚入局外贸独立站的新手找我吐槽,说新站上线快两个月了,Google Search Console(GSC)里全是“已发现 - 尚未编入索引”,首页连搜 site 命令都看不见影。建站服务商跟他说“慢慢等,这是谷歌沙盒期”,纯属扯淡。做独立站谷歌不收录原因排查,千万别迷信什么佛系等待,十有八九是技术底子或基础配置里埋了雷。
Array今天不扯什么“高质量原创内容”这种片汤话,我从一个干了6年Linux运维和SEO的老鸟视角,带你顺着数据流走一遍,把那些卡住谷歌蜘蛛的暗坑全挖出来。
很多搞SEO的人只看WordPress后台,连Linux终端都没摸过。但据我经手排查过的案子,至少三成的不收录是服务器自己把Googlebot给拒了。
别自己在浏览器里输入网址能打开就觉得没事。浏览器走的是你本地的网络环境,而Googlebot访问时可能会触发你服务器的安全规则。
直接在本地终端或者别的境外VPS上跑这行命令:
curl -I -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://yourdomain.com
重点看返回的头信息:
外贸站标配Cloudflare,但很多人开了“Bot Fight Mode”(Bot战斗模式)或把安全级别拉到高。这个模式经常发疯,连带把Googlebot给卡在“请点击验证码”的页面。
Google 来源请求。如果有,老老实实写一条防火墙规则(WAF),把已知的搜索引擎蜘蛛全部“Bypass(跳过)”。这属于低级失误,但发生频率高得吓人。
| 检查项 | 常见重灾区 | 怎么自查 |
|---|---|---|
| Robots.txt | 误写 Disallow: / | 浏览器直接打开 yourdomain.com/robots.txt,看看有没有把全站给禁了。 |
| Meta noindex | WP后台忘了取消勾选 | 检查网页源代码,搜 noindex。WordPress的【设置】->【阅读】里,“建议搜索引擎不索引本站点”那个勾千万别打。 |
| Canonical标签 | 插件自动生成错误URL | 检查页面的 ,是不是所有页面都指向了首页,或者全带了http而不是https。 |
| X-Robots-Tag | Nginx/Apache全局配置 | 上面用 curl -I 查出的响应头里,有没有 X-Robots-Tag: noindex。有的运维测试完环境忘了删这行。 |
进了 Google Search Console,点开【网页】收录报告,谷歌其实把不收录的原因写得明明白白,只是它说的是“机器黑话”。
有的站长为了图方便或者捡便宜,买了个所谓的“老域名”。上线后死活不收录,怎么查配置都没问题。
去 archive.org(时光机)翻一翻这个域名的前世今生。我之前帮人排查过一个站,配置完美,内容原创,两个月连首页都搜不到。最后查历史发现,这域名三年前被搞博彩、灰产的人拿去泛解析做了几万个垃圾单页,早进了谷歌黑名单(Manual Actions)。
如果你把上面的防火墙、Robots、noindex、内容薄弱点全修好了,不要干等谷歌慢吞吞地再回来。
独立站收录真没什么玄学。从Linux底层网络、Web服务器配置、HTML代码层,再到GSC的数据反馈,按我上面列的顺序一步步往下排,该放行的放行,该改代码的改代码,最多两周,抓取频次曲线绝对往上抬头。