無監督構建詞庫：更快更好的新詞發現算法 原創： 蘇劍林 PaperWeekly 4天前 作者丨蘇劍林 單位丨追一科技 研究方向丨NLP，神經網絡 個人主頁丨kexue.fm 新詞發現是 NLP 的基礎任務之一，主要是希望通過無監督發掘一些語言特征 ...

最近做了一些和gnn相關的工作，經常聽到GCN 和 embedding 相關技術，感覺很是困惑，所以寫下此博客，對相關知識進行索引和記錄： 參考鏈接： https://www.toutiao.com/a6690680620642730510/ graph embedding 技術學習 ...

1. 什么是新詞 現在大部分的分詞工具已經做到了准確率高、粒度細，但是對於一些新詞（new word）卻不能做到很好地識別，比如： 快的打車優惠券 英雄聯盟怎么不可以打排位 “快的”、“英雄聯盟”應該被作為一個詞，卻被切成了兩個詞，失去了原有的語義。未登錄詞 ...

互聯網時代，信息產生的數量和傳遞的速度非常快，語言文字也不斷變化更新，新詞層出不窮。一個好的新詞發現程序對做NLP（自然預言處理）來說是非常重要的。 N-Gram加詞頻 最原始的新詞算法莫過於n-gram加詞頻了。簡單來說就是，從大量語料中抽取連續的字的組合片段，這些字組合片段最多包含n個字 ...

互聯網時代的社會語言學：基於SNS的文本數據挖掘 python實現 https://github.com/jtyoui/Jtyoui/tree/master/jtyoui/word 這是一個無監督 ...

字典樹 原來講明白了剩下的就是具體實現了，最適合存儲和計算詞頻的數據結構就是字典樹，這里給一個講解的很清楚的鏈接 具體代碼 代碼已開源，需要的點擊這個Github ...

webpack內存讀取技術調研 最近參與到一個項目，需要在線上快速打包和快速讀取，為了提高速率，當時我們想到了webpack dev模式下打包文件是臨時貯存在內存中的，想學習一下webpack的這種技術是怎么實現的，好應用到項目中。 1.webpack原理 https://juejin.im ...

社區（community）定義：同一社區內的節點與節點之間關系緊密，而社區與社區之間的關系稀疏。 設圖G=G(V,E),所謂社區發現是指在圖G中確定nc(>=1)個社區C={C1,C2,...,Cnv},使得各社區的頂點集合構成V的一個覆蓋。 若任意兩個社區的頂點集合的交際均為空，則稱C ...