#MIQPS

Pinterest 利用内容指纹技术，在数百万个域名中实现 URL 去重

Pinterest 工程师开发了 一套名为“最小重要查询参数集”（MIQPS）的 URL 标准化系统 "，旨在优化其大规模数据采集管道中的内容去重处理。该系统用于判断哪些 URL 查询参数会影响页面标识并且应该予以保留，哪些可以视为非必要参