如果搜索引擎不能正确访问你的内容，那么你为建立网站所做的一切努力将毫无意义。确保这种情况不会发生的一个重要方法是有一个适合搜索的网站架构。
要理解这个问题，你需要知道搜索引擎如何建立一个索引，从这个索引中导出显示在其结果页面上的网站列表。谷歌和其他搜索引擎没有一个团队来归档网站上的每一页。它依赖于一个名为“蜘蛛”的程序——一个在链接之间移动并将信息存储在数据库站点代码中的自动机器人。
确保这些蜘蛛可以访问您网站上的所有内容对于SEO非常重要。不幸的是，许多网站架构错误可能会使搜索引擎的蜘蛛程序无法访问您的大部分网站。
这里有一些网站中最常见的错误以及如何避免它们的技巧。
1.过度使用图像或脚本文件的内容。
因为他们不是活着和呼吸的人类读者，搜索引擎蜘蛛只能阅读呈现给他们的基于文本的内容。如果您将信息存储在图像文件、Flash动画或Javascript代码中，如网站的标题图片或介绍性视频，蜘蛛可能无法正确处理内容。

解决方案是使用文本版本来复制以这些替代格式存储的信息。尝试使用Webconf的搜索引擎SpiderSimulator等工具，观察蜘蛛到达你的网站时看到了什么。如果您发现有大量内容缺失，请在页面的其他地方以文本形式提供排除的信息，或者使用您网站的robot.txt文件——提供给您网站的搜索引擎的描述——将蜘蛛重定向到您创建的专门设计的基于文本的页面，并向他们提供相同的信息。
2.深航浅航。
当网站的导航变得太深，很多初级站长都会陷入困境。因为搜索引擎蜘蛛通过你创建的链接在你网站的页面之间移动，所以尽可能简化这种移动是很重要的。如果您的导航结构很深，这意味着某些页面只能在长时间连续单击后才能访问，您将面临蜘蛛无法深入您的网站以正确索引所有页面的风险。
解决办法是实现一个“浅”的导航结构，访问者和搜索引擎蜘蛛只需点击两到三次就可以访问你网站的每一页。您可以通过将导航结构分解为子类别或合并其他内部链接来完成此任务。
3.不一致的链接做法。
在构建这些链接时，需要注意如何命名。第三，因为搜索引擎不能利用人类的判断来看出你的意图，他们的蜘蛛程序可能会将网址“www.yoursite.com/page1.html”和“yoursite.com/page1.html”索引成两个单独的页面——即使两个链接都将访问者引向同一个地方。
为防止这些索引错误，请确保链接的构建和命名方式一致。如果你过去犯了这个错误，请使用301重定向让搜索引擎蜘蛛知道你网站的“www”和“非www”版本是一样的。
4.重定向不正确。
说到301重定向，每当你在一个网站上移动页面时——不管你是简单地重命名它们，还是把整个网站转移到一个新的主机帐户或网址——你都希望正确地重定向它们。如果不这样做，将来可能会导致索引错误，并消除您花时间获得的反向链接的好处，因为这些链接不再指向有效的页面。这两个问题都会降低你努力开发的搜索引擎结果的排名。我也想多了解一下网站，也可以看看《哪些工具有助于提高百度排名》。
由于这个主题可能是技术性的，不能用几句话完全涵盖，您可能需要找到在线资源进行参考，例如SEOmoz的网站重定向指南。
5.最后包括站点地图。
当您提高网站架构的可访问性时，请确保您已经准备好了站点地图。该文件为蜘蛛提供了对站点上所有页面的可访问引用，从而允许索引正确进行。例如，这是omooo.com的站点地图。
如果你的网站运行在WordPress、Joomla、Drupal、Magento或者任何其他已经建立的平台上，你应该可以安装一个插件，可以自动为你生成站点地图页面。如果没有，创建一个站点地图就像创建一个单独的HTML页面一样简单，它包含所有其他页面的链接，并将它们提交给搜索引擎进行考虑。