janusgraph批量導入數據-IBM( janusgraph-utils)的使用


 janusgraph-utils的簡介

  

可與JanusGraph一起使用的實用工具,包括:

參考:https://github.com/IBM/janusgraph-utils/blob/master/doc/users_guide.md  

IBM導入工具使用手冊

源數據准備(四個文件):

頂點文件,邊文件,數據結構文件,數據關系映射文件

要求:

         頂點文件和邊文件必須是csv文件

         數據結構文件和數據關系映射文件是json文件

數據結構文件:描述該圖中的數據結構

包括:

    propertyKeys包含屬性定義的數組。每個屬性都在一個對象中定義

 vertexLabels包含頂點定義的數組。每個頂點都在一個對象中定義
 edgeLabels包含邊的定義的數組。每個邊都在一個對象中定義
 vertexIndexes頂點的索引定義的數組
 edgeIndexes邊的索引定義的數組
 vertexCentricIndexes包含以頂點為中心的索引定義的數組。每個以頂點為中心的索引都在一個對象中定義

數據關系映射文件:指定數據文件中的字段和數據結構中的關系

  vertexMap頂點文件的關系映射,
  edgeMap邊文件的關系映射

 注:在使用前,需要理解再程序中的datamapping文件和schema文件,編寫自己的文件

  

使用步驟:

         注:該工具需要maven編譯,所以在外部進行編譯,公司內網無法進行編譯

         1.在有網的環境下

                   1.1 下載編譯

git clone https://github.com/IBM/janusgraph-utils.git

cd janusgraph-utils

mvn package

 

        1.2 編譯完成以后使用

    2. 使用

            這是用的是自帶的腳本run.sh進行導入

        2.1 創建文件夾

            mkdir law

        2.2 上傳源數據文件到law文件

        2.3 修改run.sh的腳本權限

            chmod 777 run.sh

        2.4 編輯janusgraph的環境變量

            vi /etc/profile

export JANUSGRAPH_HOME=/opt/app/janusgraph-0.3.1-hadoop2
export PATH=$PATH:$JANUSGRAPH_HOME/bin

        2.5 編寫運行命令

            示例:run.sh import <janusgraph-config-file> <data-files-directory> <schema.json> <data-mapping.json>

./run.sh import $JANUSGRAPH_HOME/conf/gremlin-server/janusgraph-hbase-es.properties \

/opt/app/janusgraph-utils/law \

/opt/app/janusgraph-utils/law/law_item_schema.json \

 


/opt/app/janusgraph-utils/law/law_item_datamapper.json


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM