GPT-4让AI更加有像人一样的能力，AI生成的文本的流畅度也令人震惊，愈来愈无法识别。在这一环境下，AI检测文本专用工具能通过对生成文本开展跟踪和检测，来确认文本是不是由AI生成，这也成为避免大中型AI语言模型用以舞弊等行为神器。
日前，上海复旦大学自然语言理解试验室推出了一款用以AI生成文本检测的测试工具“聆听”（英语：Sniffer），根据黑盒子假定，不用规模性监督训练，就可检测AI生成的文本。据该软件的英文版本号详细介绍，针对ChatGPT生成文本的检测率达80%上下。
试验室责任人邱锡鹏专家教授3月16日夜间微信朋友圈上表示：“后面将在MOSS语言模型开源系统后，将Sniffer与MOSS开展连动，组成一对矛与盾，彼此提高，再次探寻大模型的技术。”
上月，邱锡鹏告知第一财经记者，假如提升成功，MOSS将在3月底开源系统。精英团队表明，将来“聆听”专业软件也将适用GPT-4等众多大模型等检测，并且在检测性能增加后整理公布实体模型。
但是精英团队直言，因为“聆听”模型都是基于“黑盒子假定”下，所以对于键入文本的源头实体模型并不知晓，并且与监督训练的分类算法对比 ，将仅应用一小部分数据信息进行练习。
值得关注的是，验证集的检测数据显示，该方法汉语检测的准确度小于英语，因而汉语检测结论还要进一步提升。
依据“聆听”的英语版详细介绍，在保存的验证集上检测数据显示，鉴别ChatGPT生成文本成功概率在80%上下，鉴别人们撰写文本或GPT-2生成文本成功概率高过90%；相对较短的文本（50个词或越来越少）难以被检测到。除此之外，英语人力整理的实例文本来源于wiki百科。
“聆听”英语检测结论分成四类：来源于人们； 来源于人们、但是可能有很大实体模型如GPT-3协助；来源于GPT-3实体模型；来源于GPT-2实体模型。
“聆听”中文版检测结论分为三类：一是“文本是人类所写的”、二是“文本是人类所写的，但是也很很有可能包括AI参加”、三是“文本是源自AI模型”。
3月17日，邱锡鹏对第一财经记者表明：“对ChatGPT级别汉语检测准确度现在只有约40%，但是对于小模型（3B左右开源系统GPT-2实体模型）生成的准确度能够达到90%上下。”
他解释说，汉语检测的准确度小于英语几个缘故。“关键在于英语所采用的wikipedia数据开展svm算法，因而涉及面范围更广，汉语所选择的基础数据差一些，也是我们公布beta测试而且已经解决的问题；第二个是中文大模型的tokenizer（分词器）差别会大一些。”邱锡鹏讲到。
他还表示，有关生成文本检测，海外有一些已经发布的商品，比照出来，对于GPT-2等级模型，准确度非常高，对于GPT-3等级模型，检测结果还很差。
“一方面是这种模式是黑盒子，我们自己的把握信息内容比较有限，另一方面是这种实体模型生成品质非常高，多元性也挺好，特别是GPT-4发生之后，相较于GPT-3.5，检测难度系数进一步增加了。”邱锡鹏对第一财经记者表明，“总得来说，在实体模型时期，文本检测的设备实测准确度依然比较低，还要进一步的科学研究。”
现阶段的AI文本检测方法大致可以分为两大类：黑盒子假定和黑盒假定。所谓“黑盒子假定”对大中型语言模型一般只有API级别访问限制。因而，这种方法借助于搜集人类和设备的文本数据样本来训练分类算法；“黑盒假定”有着对大中型语言模型中的所有访问限制，并可以根据控制模型的生成个人行为或在生成文本里加入图片水印（watermark）来对生成文本开展跟踪和检测。
结合实际，黑盒子检测器一般由第三方搭建，比如比较有名的GPTZero，而黑盒检测器一般由大中型语言模型开发者搭建。不过因为“黑盒子假定”在数据采集的过程当中非常容易引进成见（biases），这种成见经常会被黑盒子分类算法做为归类的主要特征。不过随着大中型语言模型能力的提高，大中型语言模型生成的文本与人类的差距愈来愈小，这将导致黑盒子模型检测精确性急剧下降
除此之外，针对黑盒子检测，用户可调整他的实体模型，更改实体模型输出设计风格或是文件格式，可能会导致黑盒子检测未找到通用检测特点。
上海复旦大学的语言模型MOSS自上月推出以来深受社会各界关心。邱锡鹏觉得，海外开发人员不大可能以汉语为主导来发展他的实体模型，我国若想开发一个大中型语言模型的底座，用以国内信息资源管理，就必须要建设一个汉语能力比较强的大中型语言模型。
除开上海复旦大学以外，包含百度搜索、阿里等在内的我国互联网大佬及其新成立公司都在开发设计根据AI大实体模型技术性。
