如何优化单页网站的搜索引擎

使用我们的单页网站的关键是要认识到，我们的服务器可以判断一个请求是由爬虫跟踪的，还是由使用web浏览器的人跟踪的，并做出相应的响应。当我们的浏览器是一个人使用的网络浏览器时，它应该是普通的、爬虫类型的，并返回到页面优化。这是我们想要显示的爬虫，以及爬虫可以轻松读取的格式。

我们网站的主页会是什么样子？这也可能是我们的徽标或其他主要图像。我们希望出现在搜索结果中。一些SEO优化文本描述了它是什么样的网站，或者只描述了我们希望谷歌索引的页面的HTML链接列表。该页面没有任何CSS样式应用于其复杂的HTML结构。它也没有任何JavaScript或链接的网站，我们不希望谷歌索引（如法律公告页面或其他页面，我们不希望人们通过谷歌搜索进入）。显示页面可能会提交到浏览器（左）和（右）。

通常，一个单页网站会使用散列爆炸（！）链接到不同的内容。

这提供了一个调整他们网站的机会，谷歌专门为单页网站用户开发。它不是通过写清晰而有吸引力的单词来吸引他人，而是被爬虫理解，每个页面都可以优化，而不用担心其他人。跟踪的路径可以通过我们的网站进行控制，使我们能够直接从谷歌搜索结果到一组特定的输入页面。这将需要更多的工程师来开发部分工作，但在搜索结果的位置和留住客户方面，这可能会付出很多代价。

这个设备似乎将是一个复杂的测试，因为我们没有自己的谷歌机器人。然而，谷歌提供的服务可以在公开的生产站点上实现这一点，但一种更简单的测试方法是欺骗我们的用户代理字符串。这需要一些命令行双轮牛车，但chrome开发者工具使这变得容易。只需单击一个按钮即可选中该框：

打开chrome开发者工具，点击按钮和谷歌工具栏右侧的三条水平线，然后从菜单中选择工具，点击开发工具。

屏幕右下角有一个gear图标：单击并查看一些***开发人员选项，例如XMLHttpRequest以禁用缓存和打开记录。

在第二个选项卡中，标记overlay，单击用户代理选项卡旁边的复选框，然后从下拉列表中选择chrome、Firefox、IE浏览器、宠物、牲畜等任意数量的用户代理。谷歌机器人代理不是默认选项。要使用它，请选择另一个要复制并粘贴到输入中的用户代理字符串。

现在，该标签本身被欺骗为谷歌机器人。当我们在网站上打开任何URI时，我们应该会看到爬虫页面。

显然，不同的应用程序会有不同的需求。至于如何使用网络爬虫，总是向谷歌机器人返回一个页面可能还不够。我们还需要决定要公开哪些页面，并为我们的应用程序映射提供方法。我们希望用key=value向它们显示URI的内容。

你可能想要一个花哨的前端框架来匹配服务器的响应，但我通常在这里采用一种简单的方法，创建一个定制页面的爬虫风格，并在一个单独的路由器中抓取它们。

还有很多合法的爬虫程序，所以一旦我们调整了我们的谷歌爬虫服务器，我们可以扩展到包括他们。