原文:IKAnalyzer 源碼走讀

首先摘抄一段關於IK的特性介紹: 采用了特有的 正向迭代最細粒度切分算法 ,具有 萬字 秒的高速處理能力。 采用了多子處理器分析模式,支持:英文字母 IP地址 Email URL 數字 日期,常用中文數量詞,羅馬數字,科學計數法 ,中文詞匯 姓名 地名處理 等分詞處理。 優化的詞典存儲,更小的內存占用。支持用戶詞典擴展定義。 針對Lucene全文檢索優化的查詢分析器IKQueryParser,采用 ...

2013-08-26 10:13 1 3399 推薦指數:

查看詳情

pytest源碼走讀-開始

1、走讀目的 主要目的是學習源碼走讀的過程,之后可以走讀自己喜歡的任意代碼。 稍次要的目的是學習pytest框架。畢竟,在上一份工作中,一直用這個框架,也嘗試走讀了,希望以后面試會更加明白這個框架。 2、走讀時間20210226 3、走讀模式。隨意點開看看,找個入口 ...

Sat Feb 27 02:35:00 CST 2021 0 291
kcp源碼走讀

kcp協議與tcp協議類似,是一種ARQ協議。他的優點在於比tcp的延遲更小30%-40%,但相應的會犧牲一部分的帶寬,大該比tcp多浪費10%~20%。tcp的設計目標是增大網絡利用率,而kcp的設 ...

Thu May 11 02:21:00 CST 2017 0 4962
Canal 源碼走讀

前言 canal 是什么? 引用一下官方回答: 阿里巴巴mysql數據庫binlog的增量訂閱&消費組件 canal 能做什么? 基於日志增量訂閱&消費支持的業務: ...

Wed Feb 27 01:26:00 CST 2019 1 571
Apache Spark源碼走讀之9 -- Spark源碼編譯

歡迎轉載,轉載請注明出處,徽滬一郎。 概要 本來源碼編譯沒有什么可說的,對於java項目來說,只要會點maven或ant的簡單命令,依葫蘆畫瓢,一下子就ok了。但到了Spark上面,事情似乎不這么簡單,按照spark officical document上的來做,總會出現這樣或那樣的編譯 ...

Sat May 17 00:44:00 CST 2014 4 5352
Apache Spark源碼走讀之8 -- Spark on Yarn

歡迎轉載,轉載請注明出處,徽滬一郎。 概要 Hadoop2中的Yarn是一個分布式計算資源的管理平台,由於其有極好的模型抽象,非常有可能成為分布式計算資源管理的事實標准。其主要職責將是分布式計算集 ...

Thu May 15 18:48:00 CST 2014 1 6092
【Atheros】minstrel速率調整算法源碼走讀

先說幾個輔助的宏,因為內核不支持浮點運算,當然還有實現需要,minstrel對很多浮點值做了縮放: MINSTREL_SCALE是一個放大的倍數,minstrel設定的是16,縮放16 ...

Thu Nov 13 05:01:00 CST 2014 12 3066
【Atheros】Ath9k速率調整算法源碼走讀

上一篇文章介紹了驅動中minstrel_ht速率調整算法,atheros中提供了可選的的兩種速率調整算法,分別是ath9k和minstrel,這兩個算法分別位於: 無論從理論分析還是實 ...

Thu Nov 13 05:02:00 CST 2014 25 3327
Apache Spark源碼走讀之4 -- DStream實時流數據處理

歡迎轉載,轉載請注明出處,徽滬一郎。 Spark Streaming能夠對流數據進行近乎實時的速度進行數據處理。采用了不同於一般的流式數據處理模型,該模型使得Spark Streaming有非常高的 ...

Sat Apr 26 05:22:00 CST 2014 0 7214
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM