项目的主要目标是创建一个可行的 竞争对手。我们使用世界各地的志愿者来帮助我们抓取和索引网络数据。该项目于 年底开始，大约 年后，很明显我们需要与 一样相关，为了做到这一点，我们必须掌握反向链接和锚文本的力量。随着时间的推移，数百 的数据被抓取，很明显我们也需要赚钱来维持我们的项目。花了一年多的时间才真正达到我们有信心在 年初公开发布它的水平。 启动和运行它最困难的部分是什么？ 最困难的部分是避免简化问题并专注于比 索引的数据小得多的一小部分数据的诱惑。人们认为这将是一个错误。

到竞争对手的反向链接构建活动我们的测试

因为除非您接近 的规模，否则您无法真正确定您拥有相同的网络视图。 一旦决定走艰难的道路，许多技术可扩展性问题也必须解决，然后处理使用合理数量的硬件存储疯狂数量的数据的财务方面。 您使用分布式爬网，就像 所做的 韩国电话号码数据 那样。让人们想要为项目做出贡献的关键点是什么？您正在运行多少台服务器？ 加入我们项目的人之所以这样做，是因为他们觉得 正在迅速成为垄断者（这是在 年），并且需要一个可行的替代方案。我们的项目中有超过 名常客，他们在 多个分布式客户端上运行分布式爬虫和分析器：所有这些使我们能。

版每日更新功能显示前天为注册或购买的域找

够以大约 的持续速率进行爬虫 由于我们最近通过 更接近商业世界，因此决定我们的项目参与者将凭借股份所有权从我们的成功中受益 基本上项目成员是合作伙伴。这里需要强调的是，我们的成员并不是因为经济原因才加入这个项 EK线索 目的。 你多久爬一次？您多久抓取一次最近未更新的页面？ 我们每天抓取大约 亿个 。目前我们的主要重点是扩大我们的数据库以赶上谷歌（参见此处的分析），但是我们已经将我们的一些能力用于重新抓取，事实上在二月份我们应该有重要页面的自动重新抓取的新版本（高 ）发布，这将允许很快看。