旧的网络去哪儿了？我们跟踪了 657,607 个链接来找出答案

旧的 0.mk 数据库备份保存了 2009 年至 2014 年间创建的 657,958 个链接及其点击计数。我们将其中 657,607 条记录恢复为 2015 年之前的链接，并跟踪了 2026 年 8 月的每个目的地。在 655,178 条安全、可爬行的链接记录中，76.7% 不再返回加载页面。大多数 0.mk 用户位于马其顿，因此这不是整个网络的人口普查。这是一份现存的大量记录，记录了那个时期的一个在线社区所分享的内容，包括当地新闻、个人博客、照片主持人、论坛和当时的主要平台。当 0.mk 于 2009 年启动时，这是一个由三人团队创建的充满激情的项目。我们尽可能地工作，通常每周在我们的日常工作中花几个小时。十七年后，我们中的一个人在磁盘上发现了一个旧的数据库备份，并决定将其带回来。以下是这六年的链接创建情况，之后是漫长的沉默： 2009：3,668 个链接 2009 4k 2010：20,283 个链接 2010 20k 2011：103,053 个链接 2011 103k 2012：23,148 个链接 2012 23k 2013： 224,931 个链接 2013 225k 2014：282,524 个链接 2014 283k 2026：404 个链接 2026 404 原始链接记录，而非用户。 2011 年的峰值包括一批 83,398 个链接； 2013 年 97.8% 的记录和 2014 年 99.9% 的记录未附加到已恢复的帐户。绿色条子是 2026 年重新推出的。生存测试爬网覆盖了截至 2014 年 12 月的所有 657,607 个恢复的链接记录。我们排除了 2,429 个目标为格式错误、内部、凭据或策略阻止的记录，留下 655,178 个可爬网历史链接： 无法连接：51.24% HTTP 错误：25.44% 已加载：23.32% 51.24% 无法连接（DNS、超时，TLS） 25.44% http 错误（4xx / 5xx） 23.32% 加载（2xx / 3xx 响应） 即使这 23.3% 也夸大了幸存的数量。登录墙、充满广告的停放域或“此内容不再可用”通知都算作加载。工作页面并不意味着原始内容仍然存在。为什么有 657,607 个链接，但 URL 却有 494,781 个？有时多个短链接指向完全相同的目的地。这样的重复记录有162,826条。对每个目的地进行计数后，会留下 494,781 个不同的 URL，其中 492,620 个可爬行。仅有 21.3% 的负载。当重复的目的地被删除时，百分比几乎没有变化：78.7% 仍然没有加载。在唯一 URL 级别，55.0% 的受访者在重试第二个网络的不确定结果后在网络层失败，23.7% 的受访者返回 HTTP 错误。最常见的 HTTP 结果是 404，涉及 76,403 个不同的 URL。另有 29,663 人返回 403 或 429；这些页面没有为爬网程序加载，但可能会阻止自动请求而不是丢失。 403 或 429 可能意味着该网站阻止了我们的爬虫，因此“未加载”比说这些页面中的每一页都消失了更诚实。相同的模式也出现在域级别。在 133,605 个可爬网主机名中，只有 34,827 个主机名加载了一个 URL。其他 98,778 人则没有。在完整爬行中共享无加载页面。 URL 级结果对每个不同的路径进行计数；主机级结果对每个主机名计数一次。 2011 年的分裂解释了奇怪的年度总数。一个帐户创建了 83,398 个指向 pelaphptutorials.com 的不同链接。在 URL 级别，2011 年 92.5% 的目的地未加载。算一下该主机一次，这个数字是61.7%，与2010年和2012年几乎相同。年度总数并没有显示出2012年普通使用量的崩溃。去掉这一批，2011年从103,053条记录下降到19,655条； 2012 年有 23,148 人。在恢复的数据中，2013 年和 2014 年的几乎所有记录都是匿名的，四分之三的主机名没有加载 URL。原始链接量不是用户增长曲线。许多知名的幸存者都是巨头：YouTube、维基百科和谷歌资产。个人博客、论坛、本地新闻网站和照片主机出现在不可用的集合中。集中式网络通常比小型网络表现得更好。穿过墓地 该数据库读起来就像 2010 年代互联网的博物馆。一些居民，指向他们的链接数量： Facebook 照片 CDN (fbcdn.net)，未加载 835 个链接 Google Code，现在将许多 URL 重定向到其存档 803 个链接 PureVolume，旧服务已消失，但其域响应 796 个链接 Rapidshare，未加载 URL 139 个链接 Megaupload，未加载 URL 71 个链接 Picasa 网络相册，未加载 URL 69 个链接 人们将 Facebook 照片作为直接 CDN 链接共享；这 835 条记录背后的 789 个不同的 fbcdn.net URL 均未加载。然而，PureVolume 现在返回 653 个不同 URL 中的 633 个页面，Google 代码加载或重定向 754 个 URL 中的 628 个。原始服务消失了，但它们的域响应。 HTTP 响应与保留的内容不同。马其顿层 0.mk 是第一个马其顿 URL 缩短器，因此该数据也是部分已不存在的国家网络的记录。这些链接指向 A1 电视台（2011 年关闭）以及 Utrinski Vesnik、Dnevnik 和 Vest 报纸，所有这些报纸均于 20 年停止出版