从分词、词性等基础模块,到机器翻译、知识问答等领域,本文列举并分析一些深度学习在 NLP 领域的具体运用,希望对大家研究深度学习和 NLP 有所帮助。
2017-08-18 17:06
「隐马尔可夫模型(Hidden Markov Model, HMM)」 是做NLP的同学绕不过去的一个基础模型, 是一个生成式模型, 通过训练数据学习隐变量 和观测变量 的联合概率分布 。
2022-11-17 11:40
('com.hankcs.hanlp.HanLP') return HanLP.convertToSimplifiedChinese(sentence_str)#切词&命名实体识别与词性标注(可以粗略识别)def
2018-11-08 15:52
词性标注旨在基于词语的定义和上下文意义,为给定文本中的每个单词(如名词、动词、形容词和其他单词) 分配词性。当前有许多包含 POS 标记器的工具,包括 NLTK,spaCy,TextBlob
2019-01-28 09:26
层次是NLP逻辑层次模型的最底层,主要关注单个词汇的意义和用法。在这个层次上,模型需要识别和理解词汇的基本属性,如词性、词义、词形变化等。词汇层次的特点包括: a. 词性标注:识别文本中每个词汇的词性,如名词、动词、
2024-07-09 10:39
同步的序列到序列,其实就是序列标注问题,应该说是自然语言处理中最常见的问题。序列标注的应用包括中文分词、命名实体识别和词性标注等。序列标注问题的输入是一个观测序列,输出的是一个标记序列或状态序列。
2018-07-25 18:03
词性标注:Part-of-speech(POS),将词在句子中扮演的角色进行标注,如动词、名词等。因为一词多义的存在,这个过程也存在歧义性。具体的tag可以参考:Universal POS tags,更细粒度的tag(Spacy)
2022-10-06 07:09
)、词干提取(stemming)、词性标记(tagging)、语义分析(parsing)和语义推理(semantic reasoning)准备的文本处理库。
2017-12-29 14:21
亦凡又出新瓜,大家都吃了咩?(反正小编吃的很饱哈)那么就以我 吃 瓜为例,三个单词标注词性为 我/nn 吃/v 瓜/nn。 那么这个任务的输入就是: 我 吃 瓜 (已经分词好的句子) 这个任务的输出是: 我/nn 吃/v 瓜/nn(词性标注好的句子) 很明显
2021-09-27 18:03
对于诸如词性标记(POS)和命名实体识别(NER)之类的任务,查看词汇的词法信息是有用的,尤其是像葡萄牙语、西班牙语和中文这些构词方法十分丰富的语言。我们是在字符级别分析文本,因此对于某些未知词汇,利用这种嵌入方法有助于我们在不引入大型词典的情况下,帮助模型解决问题。
2018-10-04 10:15