BeansDB - 分布式key/value存储系统


BSD
Linux
Python

软件简介

BeansDB
是一个主要针对大数据量、高可用性的分布式KeyValue存储系统,采用HashTree和简化的版本号来快速同步保证最终一致性(弱),一个简化版的
Dynamo

它采用类似memcached的去中心化结构,在客户端实现数据路由。目前只提供了
Python版本的客户端,其它语言的客户端可以由memcached的客户端稍加改造得到。

主要特性包括:

  • 高可用:通过多个可读写的用于备份实现高可用;

  • 最终一致性:通过哈希树实现快速完整数据同步(短时间内数据可能不一致);

  • 容易扩展:可以在不中断服务的情况下进行容量扩展;

  • 高性能:异步IO和高性能的Key Value数据Tokyo Cabinet

  • 可配置的可用性和一致性:通过N,W,R进行配置;

  • 简单协议:Memcached兼容协议,大量可用客户端。

Python 操作示例:

from dbclient import Beansdb

# three beansdb nodes on localhost
BEANSDBCFG = {
    "localhost:7901": range(16),
    "localhost:7902": range(16),
    "localhost:7903": range(16),
}

db = Beansdb(BEANSDBCFG, 16)

db.set('hello', 'world')
db.get('hello')
db.delete('hello')

性能测试:

 $ beansdb -d 
 $ memstorm -s localhost:7900 -n 1000000 -k 10 -l 100 
   
  ---- 
  Num of Records : 1000000 
  Non-Blocking IO : 0 
  TCP No-Delay : 0 
   
  Successful [SET] : 1000000 
  Failed [SET] : 0 
  Total Time [SET] : 51.77594s 
  Average Time [SET] : 0.00005s 
   
  Successful [GET] : 1000000 
  Failed [GET] : 0 
  Total Time [GET] : 40.93667s 
  Average Time [GET] : 0.00004s