janusgraph-utils的簡介
可與JanusGraph一起使用的實用工具,包括:
- JanusGraphSchemaImporter:一個groovy腳本,它將圖形模式定義(JanusGraph模式的JSON表示)導入JanusGraph
- 合成數據生成器:用於將合成數據生成為CSV文件的工具
- 數據導入程序:從CSV文件將數據導入JanusGraph的工具
參考:https://github.com/IBM/janusgraph-utils/blob/master/doc/users_guide.md
IBM導入工具使用手冊
源數據准備(四個文件):
頂點文件,邊文件,數據結構文件,數據關系映射文件
要求:
頂點文件和邊文件必須是csv文件
數據結構文件和數據關系映射文件是json文件
數據結構文件:描述該圖中的數據結構
包括:
propertyKeys:包含屬性定義的數組。每個屬性都在一個對象中定義
vertexLabels:包含頂點定義的數組。每個頂點都在一個對象中定義
edgeLabels:包含邊的定義的數組。每個邊都在一個對象中定義
vertexIndexes:頂點的索引定義的數組
edgeIndexes:邊的索引定義的數組
vertexCentricIndexes:包含以頂點為中心的索引定義的數組。每個以頂點為中心的索引都在一個對象中定義
數據關系映射文件:指定數據文件中的字段和數據結構中的關系
vertexMap:頂點文件的關系映射,
edgeMap:邊文件的關系映射
注:在使用前,需要理解再程序中的datamapping文件和schema文件,編寫自己的文件
使用步驟:
注:該工具需要maven編譯,所以在外部進行編譯,公司內網無法進行編譯
1.在有網的環境下
1.1 下載編譯
git clone https://github.com/IBM/janusgraph-utils.git cd janusgraph-utils mvn package
1.2 編譯完成以后使用
2. 使用
這是用的是自帶的腳本run.sh進行導入
2.1 創建文件夾
mkdir law
2.2 上傳源數據文件到law文件
2.3 修改run.sh的腳本權限
chmod 777 run.sh
2.4 編輯janusgraph的環境變量
vi /etc/profile
export JANUSGRAPH_HOME=/opt/app/janusgraph-0.3.1-hadoop2 export PATH=$PATH:$JANUSGRAPH_HOME/bin
2.5 編寫運行命令
示例:run.sh import <janusgraph-config-file> <data-files-directory> <schema.json> <data-mapping.json>
./run.sh import $JANUSGRAPH_HOME/conf/gremlin-server/janusgraph-hbase-es.properties \ /opt/app/janusgraph-utils/law \ /opt/app/janusgraph-utils/law/law_item_schema.json \
/opt/app/janusgraph-utils/law/law_item_datamapper.json