深圳市尊龙凯时中国官网,尊龙平台·官网,尊龙凯时注册入口半导体科技有限公司专业半导体测试分选设备研发、设计、制造、销售与服务!

服务咨询热线:

0752-5880-900(8280)
4新闻中心
您的位置: 首页 > 新闻资讯 > 公司动态

尊龙app手机版中文分词最佳记录刷新了两大模型分别解决中文分词及词性标注问题丨已开源

文章出处:网络 责任编辑:深圳市尊龙凯时中国官网,尊龙平台·官网,尊龙凯时注册入口半导体科技有限公司 发表时间:2024-11-28
 

  

尊龙app手机版中文分词最佳记录刷新了两大模型分别解决中文分词及词性标注问题丨已开源

  同时,AI内参群为大家提供了交流和分享的平台★■,更好地满足大家获取AI资讯、学习AI技术的需求。扫码即可订阅:

  该模型利用n元组(即一个由连续n个字组成的序列,比如“居民”是一个2元组,■★◆■◆“生活水平★■”是一个4元组)提供的每个字的构词能力,通过加(降)权重实现特定语境下的歧义消解◆★◆。并通过非监督方法构建词表★■■◆◆◆,实现对特定领域的未标注文本的利用,进而提升对未登录词的识别。

  句法标注本身需要大量的时间和人力成本。在以往的标注工作中,使用外部自动工具获取句法知识是主流方法◆■。在这种情况下,如果模型不能识别并正确处理带有杂音的句法知识尊龙app手机版,很可能会被不准确的句法知识误导,做出错误的预测■★★■◆★。

  中文分词目的是在中文的字序列中插入分隔符,将其切分为词■◆■★★。例如,“我喜欢音乐”将被切分为“我/喜欢/音乐”(◆★★◆“/★■◆◆”表示分隔符)★★◆。

  在词性标注中,歧义仍然是个老大难的问题。例如★★,对于“他要向全班同学报告书上的内容■■★”中■■★◆★◆,“报告书”的正确的切分和标注应为“报告_VV/书_N”。但由于◆■■★★“报告书”本身也是一个常见词,一般的工具可能会将其标注为“报告书_NN”。

  中文分词和词性标注是两个不同的任务■★■。词性标注是在已经切分好的文本中★■★★◆◆,给每一个词标注其所属的词类,例如动词、名词、代词■★■★、形容词◆■◆■。词性标注对后续的句子理解有重要的作用。

  在■◆★■★“他从小学电脑技术■■◆◆■★” 这句话中,对于有歧义的部分★◆■★■“从小学★★★★★■”(有“从/小学■★◆■◆■”和“从小/学”两种分法)■◆★,该模型能够对“从小”和“学”分配更高的权重,而对错误的n元组——“小学★■”分配较低的权重◆★■◆。

  本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权◆■★,禁止随意转载◆■。

  中文语言因其特殊性,在分词时面临着两个主要难点。一是歧义问题◆■◆★★■,由于中文存在大量歧义,一般的分词工具在切分句子时可能会出错。例如,◆◆■★“部分居民生活水平”◆★◆★,其正确的切分应为“部分/居民/生活/水平”◆■◆★■,但存在“分居”■◆◆、“民生”等歧义词。■◆★■“他从小学电脑技术■◆★■◆”,正确的分词是:他/从小/学/电脑技术,但也存在■■★◆◆“小学”这种歧义词◆★。

  这样一来★◆■◆■★,那些不准确的,对模型预测贡献小的上下文特征和句法知识就能被识别出来,并被分配小的权重■◆,从而避免模型被这些有噪音的信息误导。

  例如,在句子★◆■◆“他马上功夫很好”中,★■“马”和■■★“上”应该分开(正确的标注应为“马_NN/上_NN”)★◆◆。但按照一般的句法知识,却可能得到不准确的切分及句法关系,如★★■★“马上★◆◆◆”◆◆■◆★。

  二是未登录词问题。未登录词指的是不在词表,或者是模型在训练的过程中没有遇见过的词。例如经济、医疗、科技等科学领域的专业术语或者社交媒体上的新词,或者是人名★★■★。这类问题在跨领域分词任务中尤其明显。

  在今年的ACL 2020上,来自创新工场大湾区人工智能研究院的两篇论文中的模型,刷新了这一领域的成绩。

  原标题:《中文分词最佳记录刷新了★■★★◆,两大模型分别解决中文分词及词性标注问题丨已开源》

  把这些可能成词的组合全部找到以后■★◆■,加入到该分词模型中。通过神经网络,学习哪些词对于最后完整表达句意的帮助更大,进而分配不同的权重■◆。像“部分◆★★■◆■”、★◆★◆“居民”、◆◆“生活”、“水平◆■★”这些词都会被突出出来◆◆◆,但“分居”、■★“民生”这些词就会被降权处理,从而预测出正确的结果★★◆■。

  实验结果显示■■★★◆★,该模型在5个数据集(MSR、PKU★◆、AS、CityU、CTB6)上的表现,均达了最好的成绩◆◆■■。

  例如,在“部分居民生活水平”这句话中,到底有多少可能成为词的组块◆★?单字可成词,如■◆◆★“民”;每两个字的组合可能成词,如■◆“居民”◆★★■■;甚至四个字的组合也可能成词,例如★★◆■★★“居民生活”。

  即使是在与CTB词性标注规范不同的UD数据集中,该模型依然能吸收不同标注带来的知识◆■★◆,并使用这种知识,得到更好的效果。

  即便在自动获取的句法知识不准确的时候,该模型仍能有效识别并利用这种知识。例如★★■◆■,将前文有歧义、句法知识不准确的句子(“他马上功夫很好”),输入该双通道注意力模型后■◆,便得到了正确的分词和词性标注结果。

  而在跨领域的实验中,和斯坦福大学的 CoreNLP 工具相比,该模型也有近10个百分点的提升■★。

  针对这一问题,该论文提出了一个基于双通道注意力机制的分词及词性标注模型。该模型将中文分词和词性标注视作联合任务,可一体化完成。模型分别对自动获取的上下文特征和句法知识加权,预测每个字的分词和词性标签◆■◆,不同的上下文特征和句法知识在各自所属的注意力通道内进行比较◆★■、加权,从而识别特定语境下不同上下文特征和句法知识的贡献。

  一般领域实验结果显示,该模型在5个数据集(CTB5,CTB6★■◆,CTB7,CTB9★◆★■■,Universal Dependencies)的表现(F值)均超过前人的工作,也大幅度超过了斯坦福大学的 CoreNLP 工具★◆■■■◆,和伯克利大学的句法分析器◆★◆■。

  本文为澎湃号作者或机构在澎湃新闻上传并发布■◆★◆■★,仅代表该作者或机构观点■◆★■★◆,不代表澎湃新闻的观点或立场◆◆◆■◆,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。

  在跨领域实验中,论文使用网络博客数据集(CTB7)测试■★■★■◆。实验结果显示★■■,在整体F值以及未登陆词的召回率上都有比较大提升。

  每个工作日■★,量子位AI内参精选全球科技和研究最新动态,汇总新技术★★、新产品和新应用★■■◆◆◆,梳理当日最热行业趋势和政策,搜索有价值的论文、教程尊龙app手机版、研究等。

深圳市尊龙凯时中国官网,尊龙平台·官网,尊龙凯时注册入口半导体科技有限公司 Copyright 2021
咨询