L1ght聚焦手动和自动内容审核的不足

 
最近的一篇文章列出了世界上最“邪恶”的公司，似乎大多数公司有一个共同点：它们被有毒成分所困扰，有些不是自己制造的。
有毒内容有多种形式，一个人认为“在线”的另一个人可能认为可以接受。但是在技术平台解决棘手的《第一修正案》问题之前，他们需要解决一个更实际的问题：首先找到一种经济有效的方式来识别该内容。
为此，科技公司采取了以下两种方法之一：让人们陷入困境，希望他们能够雇用足够的主持人来跟上每天数以百万计的新职位;或转向算法，这些算法远非普遍适用或上下文智能。
到目前为止，这两种模型都没有对大量的毒性物质产生明显的影响。据反毒初创公司L1ght称，他们需要的是一种可以处理环境的技术，该公司与社交网络，游戏和托管服务提供商合作，以防止毒害影响年轻用户。
人为调节有什么问题?
人类主持人曾经是金本位制，但像真金一样，它们的价格也很高。
L1ght首席执行官佐哈尔·列夫科维茨(Zohar Levkovitz)解释说：“人为节制有真正的人为代价。 “不仅是人工费用。”
例如，在Facebook，有15,000名签约主持人手动检查标记的帖子中是否存在暴力，仇恨言论和色情内容。 Facebook对于其审核计划的财务成本一直守口如瓶。
The Verge的一份报告指出了Facebook员工手动检查大量图形内容所引发的问题。回顾边界内容时，微管理，低薪和工作安全都是关注的问题。
尽管算法调节具有更高的可扩展性，但大多数应用程序已被证明无效。列夫科维茨指出：“面向消费者的父母控制应用程序和简单的AI解决方案在寻找不良单词时无法在现实世界中使用，” “我们知道我们需要一种不同的方法来拯救大规模的孩子们。”
科技犯错误
由于传统的审核算法难以解决内容上下文的问题，因此容易出现两种统计错误。
I型错误(称为“误报”)是在审核算法标记并删除其不应该发布的帖子时发生的。因为建立审核工具的公司不希望有问题的内容从裂缝中溜走，所以他们通常会建立自己的模型以免过度审核。
不幸的是，实际上，这些错误往往会限制合法的政治言论。 The Verge的第二篇文章发现，“假新闻”与Google的“透视工具”标记为“有毒”的评论相似，为47%; “坏混血”是55%相似。透视可能会使第一个短语滑动，但会检查第二个短语。
II型错误包括应从算法上删除但未被删除的帖子。微软Artemis背后的团队为防止虐待儿童向正确的方向迈出了一步，对此类型的错误感到担忧。阿耳emi弥斯承诺会识别“掠夺”行为，儿童掠夺者会使用这些行为来获得目标的信任。
但是阿耳emi弥斯只能用英语工作。其次，Artemis只能扫描基于文本的内容，而不能扫描照片，音频或视频。微软承认，该计划“绝不是万能药”。
可以肯定的是，在内容审核方面，Artemis和Perspective是改进。但是它们的局限性是真实的。对抗有毒物质采取“以上所有措施”。技术如何做到这一点?
实现对话环境
人工主持人的可扩展性不够，许多主持人算法也不够准确。中间地带在哪里?
列夫科维茨指出，L1ght的技术可以分析对话背后的人文素质和背景。它是由内部行为科学家，数据科学家，人类学家等提供的信息而构建的。
列夫科维茨说：“ L1ght的算法经过训练，可以像孩子一样对待他们及其潜在的攻击者。” “通过将深度学习方法与人类知识相结合，我们可以发现细微差别，语和其他工具无法理解的秘密含义。我们甚至可以预测对话何时发生错误的转折。”
在快速公司中，列夫科维茨的共同创始人罗恩·波拉特(Ron Porat)提供了一个例子：有人写道：“天哪，我要自杀了。 “不能再这样做了”，应该认真对待在线。但是，请说作者遵循了这样的说法：“明天我要参加考试，但我仍在拖延。我就要死了。”
在上下文中，很明显，这个人只是在做出戏剧性的陈述。人类主持人可以做出这种推断，但是许多算法上却不能。
剩下的挑战是主动性。平台必须首先防止人们发布有问题的内容，这需要上下文智能算法。
列夫科维茨说：“出于规模原因，技术将需要成为第一道防线。” 他预测，由于不可避免的边缘情况，人们将继续管理审核操作，但是新技术可能会大大减少所需的体力劳动。
L1ght可能接近解决上下文问题。 但是平台本身必须做剩下的事情：记着多样性考虑，在情感上支持人类版主，并制定严格的审核流程。
可以肯定的是，开发智能的审核工具会很困难。 但是事后看来，我们很可能将上下文视为更难破解的案例。