elasticsearch 源碼概述


從功能上說,可以分為兩部分,分布式功能和數據功能。分布式功能主要是節點集群及集群附屬功能如restful借口、集群性能檢測功能等,數據功能主要是索引和搜索。代碼上這些功能並不是完全獨立,而是由相互交叉部分。當然分布式功能是為數據功能服務,數據功能肯定也難以完全獨立於分布式功能。

它的源碼有以下幾個特點:

模塊化:每個功能都以模塊化的方式實現,最后以一個借口向外暴露,最終通過guice(google輕量級DI框架)進行管理。整個系統有30多個模塊(version1.5)。

接口解耦:es代碼中使用了大量的接口進行代碼解耦,剛開始看的感覺是非常難以找到相關功能的實現,但是也正是這些接口使得代碼實現的非常優雅。

異步通信:作為一個高效的分布式系統,es中異步通信實現非常之多,從集群通信到搜索功能,使用了異步通信框架netty作為節點間的通信框架。

以上的這些特點在后面的代碼分析中會一一體現。概述的結尾以es的啟動過程來結束,es的啟動類是Bootstrap,啟動腳本調研這個類的main方法開始啟動node。它的類圖如下所示:

上圖僅僅顯示了它的field,其中node是要啟動的節點。keepAliveThread線程保證節點運行期間Bootstrap會一直存在,可以接收關機命令進行從而優雅關閉。下面是啟動前的屬性設置,代碼如下:

private void setup(boolean addShutdownHook, Tuple<Settings, Environment> tuple) throws Exception {
     if (tuple.v1().getAsBoolean("bootstrap.mlockall", false)) {//嘗試鎖定內存
            Natives.tryMlockall();
        }
        tuple = setupJmx(tuple);

        NodeBuilder nodeBuilder = NodeBuilder.nodeBuilder().settings(tuple.v1()).loadConfigSettings(false);
        node = nodeBuilder.build();//初始化node
        if (addShutdownHook) {//添加關閉node的hook
            Runtime.getRuntime().addShutdownHook(new Thread() {
                @Override
                public void run() {
                    node.close();
                }
            });
        }
    }

嘗試鎖定內存左右是保證節點運行期間的內存不變動,以防因為內存變得帶來性能上的波動,這里調用的是c方法。最后來看一下main方法:

public static void main(String[] args) {
.... 
String stage = "Initialization";//標明啟動階段用於構造錯誤信息。
        try {
            if (!foreground) {
                Loggers.disableConsoleLogging();
                System.out.close();
            }
            bootstrap.setup(true, tuple);

            stage = "Startup";
            bootstrap.start();//bootstrap的啟動過程也就是node的啟動過程

            if (!foreground) {
                System.err.close();
            }
//構造一個線程,保證bootstrap不退出,仍然可以接收命令。
            keepAliveLatch = new CountDownLatch(1); 
            // keep this thread alive (non daemon thread) until we shutdown/
            Runtime.getRuntime().addShutdownHook(new Thread() {
                @Override
                public void run() {
                    keepAliveLatch.countDown();
                }
            });

            keepAliveThread = new Thread(new Runnable() {
                @Override
                public void run() {
                    try {
                        keepAliveLatch.await();
                    } catch (InterruptedException e) {
                        // bail out
                    }
                }
            }, "elasticsearch[keepAlive/" + Version.CURRENT + "]");
            keepAliveThread.setDaemon(false);
            keepAliveThread.start();
        } catch (Throwable e) {
            ESLogger logger = Loggers.getLogger(Bootstrap.class);
            if (bootstrap.node != null) {
                logger = Loggers.getLogger(Bootstrap.class, bootstrap.node.settings().get("name"));
            }
            String errorMessage = buildErrorMessage(stage, e);
            if (foreground) {
                System.err.println(errorMessage);
                System.err.flush();
            } else {
                logger.error(errorMessage);
            }
            Loggers.disableConsoleLogging();
            if (logger.isDebugEnabled()) {
                logger.debug("Exception", e);
            }
            System.exit(3);
        }

main函數有省略,這里start函數調用node的start函數,node的start函數中將各個模塊加載啟動,從而啟動整個系統。這一過程將在接下來進行分析。node啟動后會注入hook,同時啟動keepAliveThread,至此整個node就啟動起來。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM