您的位置:首页 > 其它

neo4j使用指南

gtuu0123 2011-05-02 13:23 86 查看
目前neo4j文档只限于官方文档,本文将neo4j官方主要的文档整理了一下,供需要的人参考,内容也会不断更新!

开始

特点
ACID事务

高可用

可伸缩到亿级结点、关系

高速遍历

部署模式
Single InstanceMultiple Instances
EmbeddedEmbeddedGraphDatabaseHighlyAvailableGraphDatabase
StandaloneNeo4j Servernot yet available
Maven配置

$HOME/.m2/setting.xml增加如下配置:
<profiles><profile><repositories><repository><id>neo4j-public-repository</id><name>Publically available Maven 2 repository for Neo4j</name><url>http://m2.neo4j.org</url><snapshots><enabled>true</enabled></snapshots></repository></repositories></profile></profiles>

项目的pom.xml中增加如下配置:
<dependencies><dependency><groupId>org.neo4j</groupId><artifactId>neo4j</artifactId><version>{neo4j.version}</version></dependency></dependencies>


安装

windows

从http://neo4j.org/下载

解压安装文件

配置环境变量:%NEO4J_HOME%和%PATH%

安装系统服务:%NEO4J_HOME%/bin/InstallNeo4j.bat

启动:%NEO4J_HOME%/bin/Neo4j.bat

Linux基本同windows

关键词

node:结点

relationship:关系

property:属性

indexer:索引器

traverser:遍历器

Get Started

一分钟向导

开始向导

基本使用样例

neo4j建模

Design Guide

Domain Modeling

一个具体的例子:从建模到类设计到编码全过程

code tips

wrap nodes:将node包装

Subreferences:设置一个root的子引用结点(相当于namespace),再在此结点下建立你应用域的结点

工具neoclipse

REST API

使用curl进行测试:curl -H http_header -X [GET,POST,PUT,DELETE] -d post_data your_url
-H http的header
-X http的类型
-d post的数据
Accept:application/json -- 可以接受的回复编码格式
Content-type:application/json -- 内容类型格式
例如:
curl -H Accept:application/json -H Content-type:application/json -X GET http://localhost:7474/db/data/ curl -H Accept:application/json -H Content-Type:application/json -X post -d '{"key1":"value1"}' http://localhost:7474/db/data/node[/code] 
更多REST API信息

索引

分类

内部的自然索引:因为其本身就相当于tree结构(一般数据库也用tree做索引,如B树),被traverser使用作遍历

使用集成索引:如Lucene

可以对结点、关系进行索引

为了更新一个索引,必须先移除,再添加

某一索引按key缓存,可设置缓存大小:setCacheCapacity

旧索引机制

IndexService

不要实例化多个LuceneIndexService,因为内部其指向同一个index数据源

LuceneFulltextIndexService 和LuceneIndexService两者指向不同的index数据源

IndexService文档

新索引机制

索引文档

事务

事务Overview

嵌套事务:只有一个高层事务,所有嵌套事务均在高层事务内

事务必须在try finally块中,事务必须显示success()

死锁

不要让事务太小(耗I/O),也不要太大(耗内存)

批量插入

特点:

用于数据初始化,批量写入

非事务

非线程安全

性能稍好

可能corrupt数据集

非批量插入时,内存被分配在堆外;在批量插入时,内存被分配在堆内;因此,需要保证足够的堆大小

Spring事务配置:具体见IMDB Example Transaction

<tx:annotation-driven /><bean id="transactionManager"class="org.springframework.transaction.jta.JtaTransactionManager"><property name="transactionManager" ref="neo4jTransactionManagerService" /><property name="userTransaction" ref="neo4jUserTransactionService" /></bean><bean id="neo4jTransactionManagerService" class="org.neo4j.kernel.impl.transaction.SpringTransactionManager" /><bean id="neo4jUserTransactionService" class="org.neo4j.kernel.impl.transaction.UserTransactionImpl"><constructor-arg index="0" ref="graphDbService" /></bean>
[/code]
@Transactional
public void newActors( final List<ActorData> actorList ){// code that operates on the graph}
[/code]

性能

性能关注

CPU:32位、64位

Memory:至少1G,推荐4~8G

Disk:至少SCSI、EIDE,推荐SSD、SATA

FileSystem :支持fsync,fdatasync,至少ext3,推荐ext4、zfs

Software:Java 1.6+,OS:Windows,Linux等

性能调整(OS保留内存+File Mapping内存+JVM内存)

两个方面:caches和jvm

caches

File buffer cache(File Mapping)

低层次缓存,操作系统内存映射,尽可能使用操作系统特性

事务提交时,logic log被立即fdatasync to disk,但是数据文件不是被立即存flush到磁盘上,直到logic log进行了rotate,增长logic log大小可以减少flush到磁盘的次数(可以在conf/neo4j-wrapper.conf中的wrapper.logfile.maxsize参数配置)

防止不必要的page flush,配置OS当dirty page达到一定大小时才flush到磁盘(Linux OS参数配置)

延迟写,直到逻辑日志轮转(sync、fsync、fdatasync)

逻辑日志可用于崩溃恢复

定长记录

nodestore 9bytes

relationshipstore 33bytes

propertystore 25bytes(primitive属性)

stringstore 133bytes(指针存在propertystore中,具体数据存在此处,120bytes有效)

arraystore 133bytes(指针存在propertystore中,具体数据存在此处,120bytes有效)

可以配置缓存在JVM内存中,也可以不在JVM内存中

相关配置参数

use_memory_mapped_buffers:true使用操作系统内存mapping,false使用堆内存作映射

neostore.nodestore.db.mapped_memory:结点file memory mapping

neostore.relationshipstore.db.mapped_memory:关系file memory mapping

neostore.propertystore.db.mapped_memory:属性file memory mapping

neostore.propertystore.db.strings.mapped_memory:字符串属性file memory mapping

neostore.propertystore.db.arrays.mapped_memory:数组属性file memory mapping

string_block_size:property中类型string块大小,默认为120bytes(块大小在创建后不能改变,如果一个字符串大小大于块大小,字符串会分布在多个块中,有性能影响)

array_block_size:property中类型array块大小,默认为120bytes(块大小在创建后不能改变,同上)

dump_configuration:是否启动时dump配置

batch_inserter模式时,只需考虑node和relationship,因为在此模式下一般property在写入后不会读取,node和relationship因为会在其中保存属性等会被读取

Object cache

高层次缓存

以优化形式存储,利于快速遍历

缓存在JVM堆中

延迟加载策略

LRU策略

相关配置参数:cache_type:值为soft(default)(SoftReference)、weak(WeakReference)、none(始终保持在jvm中,容易OOM)

jvm

参数:-d32或-d64(32位或64位),-server,内存相关参数(内存大小、分代比例、线程堆栈大小-Xss(所有线程共享?))、垃圾收集器(推荐使用CMS收集器),OOM时自动产生内存dump

大量使用NIO包,很多堆外内存分配

要防止page in or out(观察swap交换情况,不要给OS保留太小内存)

要考虑jvm的pause time(暂停时间) / throughput(吞吐量)

NUMA structure:version 1.6.0 update 18实现,-XX:+UseNUMA

在堆中每个对象大小

Node:688bytes

Relationship:392bytes

Property:232bytes

Primitive:24bytes

String:(64 + 2 * len(string))bytes

Relationships:???

写性能:事务大小(事务小,I/O多;事务大,内存多);避免dirty page flushed to disk unexpectedly(不需要flush时flush)

更多配置,见Configuration Settings

更多性能,见Performance Guide

配置

neo4j-wrapper.conf:logfile相关配置,jvm相关参数配置

conf/neo4j-server.properties:neo4j参数配置文件

org.neo4j.server.database.location:db位置,相对于NEO4J_HOME

org.neo4j.server.webserver.port:端口号,默认7474

org.neo4j.server.webadmin.rrdb.location:运行数据metrics信息文件,默认data/graph.db/../rrd

org.neo4j.server.webadmin.data.url:REST API endpoint url,默认/db/data/

org.neo4j.server.webadmin.management.uri:管理界面url,默认/db/manage/

org.neo4j.server.db.tuning.properties:指定性能参数配置文件,默认conf/neo4j.properties

conf/neo4j.properties:neo4j低层参数配置文件

conf/log4j.properties:log4j配置文件

conf/coord-wrapper.conf:ha结点启动相关配置

conf/coord.cfg:ha结点的zookeeper相关配置

neo4j高可用部署

neo4j-ha架构图



功能

fault-tolerant

horizontally scaling

slave可写,同时同步到master,异步同步到其他他slave;对于master的写,会异步同步到slave

使用Apache Zookeeper保持各节点间的状态信息

HA配置参数

ha. machine_id:server id

ha. server:master的host和port

ha. zoo_keeper_servers:zookeeper连接,以逗号分隔

ha. pull_interval:slave从master拉数据的间隔

更多信息,见neo4j_ha_cluster

例子:examples

neo4j shell

配置文件加入:enable_remote_shell = true(默认端口为1337)或enable_remote_shell = port = 1331(指定端口)

neo4j-shell -host -port

man可以查找命令,具体命令参数用man

neo4j备份

参数:keep_logical_logs:true

neo4j监控

监控,见Monitor

neo4j安全

Trouble Shooting

neo4j中的所有api都是线程安全的,因此不需要额外的同步;串行,性能是否可以?

相关文档

neo4j-manual-stable.pdf

相关wiki文档

stackoverflow中问题讨论






标签: