NLP之CRF應用篇（序列標注任務）
和Bigram模板分別生成CRF的狀態特征函數和轉移特征函數。其中是標簽，x是觀測序列，i是當前節點位置。每個函 ...
相關推薦
文本生成任務的評價方法
文本生成任務的評價方法 目錄 文本生成任務的評價方法 1.BLEU 2. ROUGE 2.1 ROUGE-N （將BLEU的精確率優化為召回率） 2.2 ROUGE-L （將BLEU的n-gram優化為公共子序列 ...
NLP | 序列標注 總結
簡介 序列標注（Sequence Tagging）是一個比較簡單的NLP任務，但也可以稱作是最基礎的任務。序列標注的涵蓋范圍是非常廣泛的，可用於解決一系列對字符進行分類的問題，如分詞、詞性標注、命名實體識別、關系抽取等等。 有很多開源的中文分詞工具，jieba、pkuseg ...
LSTM文本生成(二)
一、概述 1.主題：整個文本將基於《安娜卡列妮娜》這本書的英文文本作為LSTM模型的訓練數據，輸入為單個字符，通過學習整個英文文檔的字符（包括字母和標點符號等）來進行文本生成。 2.單詞層級和字符層級的區別： 1、基於字符的語言模型的好處在於處理任何單詞，標點和其他文檔結構時僅需要很小 ...
實現nlp文本生成中的beam search解碼器
自然語言處理任務，比如caption generation（圖片描述文本生成）、機器翻譯中，都需要進行詞或者字符序列的生成。常見於seq2seq模型或者RNNLM模型中。 這篇博文主要介紹文本生成解碼過程中用的greedy search 和beam search算法實現。其中，greedy ...
NLP的四大類任務
NLP的四大類任務 序列標注：分詞，詞性標注，命名實體識別 分類任務：文本分類，情感計算 句子關系判斷：entailment（分類為蘊含或矛盾），相似度計算 生成式任務：機器翻譯，問答系統，文本摘要 ...
自己動手實現深度學習框架-8 RNN文本分類和文本生成模型
代碼倉庫: https://github.com/brandonlyg/cute-dl 目標 上階段cute-dl已經可以構建基礎的RNN模型。但對文本相模型的支持不夠友好, 這個階段的目標是, 讓框架能夠友好地支持文本分類和本文生成任務。具體包括: 添加嵌入層 ...
NLP文本分類
引言 其實最近挺糾結的，有一點點焦慮，因為自己一直都期望往自然語言處理的方向發展，夢想成為一名NLP算法工程師，也正是我喜歡的事，而不是為了生存而工作。我覺得這也是我這輩子為數不多的剩下的可以自己去追求自己喜歡的東西的機會了。然而現實很殘酷，大部分的公司算法工程師一般都是名牌大學，碩士起招，如同 ...