这是 Flock 为警察提供的人工智能搜索工具

弗洛克告诉《连线》杂志，官员不能使用宗教和国籍等违禁属性进行搜索，并且搜索违禁术语的尝试“将被阻止”。当被问及什么情况会产生这两类警告时，该公司没有透露。当一件 T 恤或保险杠贴纸因文字包含“宪法保护”言论而发出警告时，官员们会被告知搜索将被记录下来，并通知管理员。然后，警官必须勾选确认框并发表评论，然后才能单击“继续搜索”。弗洛克说，这一警告为合法工作留下了空间，并举了一个受害者的例子，他描述了一名身穿骑自行车帮派夹克的嫌疑人，上面印有“某个帮派标志或包含旗帜或其他徽章的徽章”。继续进行的官员将报告给自己部门的管理员进行审查。凯特·鲁恩 (Kate Ruane) 是民主与技术中心自由表达项目的负责人，多年来一直在研究自动审核系统的工作原理。她说，政治、社会和文化表达是“一个令人难以置信的无定形类别”，官员的搜索可能包含其中的语言的原因之一是看看谁参加了抗议活动。那已经发生了。她指出，这个类别让 Flock 非常担心，以至于系统会返回警告，“但只要点击，你仍然可以获得结果。” “大规模的内容审核不一定是准确的，”她说。她说，对移动视频的分析更加困难，而且更容易出错。鲁安说，那些确实被屏蔽的类别是可以解决的。该系统根据宗教而非服装来阻止搜查，这意味着在实践中，警官可以通过搜索特定信仰的某些成员所穿的独特服装来绕过封锁。 “很多人都会因为此类询问而返回自己的图像，如果他们知道这一点，他们可能会感到不安。”在去年的一次搜索中，加利福尼亚州的一名警官输入了“美国国旗”。当针对一个人时，搜索会划出一个街区，当针对车辆时，搜索会遇到 11,000 个摄像头。加州大学圣地亚哥分校计算机科学与工程系助理教授迪帕克·库马尔表示，警告只会阻止那些尚未下定决心进行搜索的官员。研究信任和安全系统的库马尔指出，为解决在线骚扰而构建的界面（其中积极的用户有时在收到警告后会造成更大的伤害），以及旨在引导人们远离恶意网站的浏览器警报，其效果取决于警告的呈现方式。 “这种日志记录在管理上很有用，可以查看哪些官员或最终用户经常绕过警告，但其价值完全取决于是否有人对其进行管理，”库马尔说。 “它的作用与其说是一种威慑，不如说是一种记录。”在查询运行之前检查搜索词将不可避免地发现许多误用的尝试，但孤立地看，如果不对模型返回的内容进行同等的审查，这种保护措施就会失败。 “最佳实践会检查输入和输出，”库马尔说，“这就是为什么现在有如此多的人工智能安全工作检查两者，以防止模型产生有害输出。”