Linkedin发布分布式数据库SenseiDB

上一篇 / 下一篇 2012-04-02 12:11:57 / 个人分类：其它

文章来源

文章来源:【转载】

U ^F/utZ.SL~0　　知名社交网站Linkedin在今年的一月份发布了分布式半结构化(semi-structured)数据库SenseiDB 1.0.0，并提交到开源社区。Sensei是日语“老师”的发音，不知道Linkedin这样命名的含义在哪，不过作为SNS的领军人物之一，Linkedin的技术能力在业内也是数一数二的。所以废话不多说，在这里分享一下SenseiDB作者Linkedin搜索架构师John Wang(王鉴)对于SenseiDB的介绍。

+I~!^D/X0Z'z0e5p+F0　　SenseiDB是一个分布式数据系统，设计用来支持Linkedin网站的一系列搜索功能，包括Signal的实时分面搜索、news feed等。我们可以把SenseiDB看作是一个数据库或者是一个搜索引擎，可以查询和导航由非结构化和结构化数据构成的文档。

2Ww.~&gf9e$V:u0　　SenseiDB的一些功能特色包括：

"S(V&C0QK tNS0　　保证高性能查询的同时能够支持大量的insert/updates操作

,A^3l7ARQ \0　　通过BQL查询语言和REST/JSON api来支持复杂查询

　　通过不同的Gateways ，如JDBC、JMS和Kafka来串流更新

9J9J)?;K{0m0　　从Hadoop中引导指令，比如用Map-Reduce来批量构建索引并推送到SenseiDB集群

　　能够添加自定义插件以及复杂的逻辑，如社交图表等

g;g&yx!Dd UKn~i0　　架构

51Testing软件测试网Y+Zn&W5K$iI

　　插入51Testing软件测试网"gq o_Owm

　　与其他一些数据库不同，SenseiDB获取数据的方法是通过所谓的gateway。在Linkedin网站中，SenseiDB是通过Kafka和Databus等获取数据流的。SenseiDB依靠外部数据流保障原子性和隔离性，在某种程度上，提交日志是在外部进行。这种设计能够让我们对更新率进行优化，同时最终能够通过复制来提供一致性，而不需要quorum。

e8dB\4S-qV0　　查询

:p%v0o`*i`([/W0　　SenseiDB的执行引擎针对大型数据集进行了性能优化，并支持一个非常丰富的查询功能集：

　　· get/getAll，比如一个Key-value检索51Testing软件测试网Eo%e0{%d

Js]]JU0　　· 全文搜索

　　· 类似于SQL的结构化的selects51Testing软件测试网7r&W&}PS

　　· 聚合，如facet counting和group-by

:Z%dN!T_!J4`1q;rX]0　　除一个REST/JSON API之外，SenseiDB还支持一个类似于SQL的查询语言——BQL(Browse Query Language)。下面就是BQL查询的使用：

y ZgmEo0

SELECT _uid,_score,color
FROM members
WHERE color="red" AND
      category IN ("van","exotic") AND
      MATCH(contents)
      AGAINST("cool leather seats")
GROUP BY color TOP 3
BROWSE BY color,category
ORDER BY RELEVANCE
LIMIT 0,10

　　SenseiDB与关系型数据库的对比

RUB6]C0E1V#h0　　关系型51Testing软件测试网HbZrn`.P

%sM/NQ;cE$i0　　· 纵向扩展

　　· 高度的ACID51Testing软件测试网if2Z"s%N-Ln

Ym;a#t.Iv2t7aXb0　　· 支持关系型

　　· 全文整合造成性能损耗51Testing软件测试网i;qE&I;eU

~Ha |ic0　　· 大数据集有较高的查询延迟

;?+\Oa$Z4e+U5Kg0　　· 需要对所有sort possibilities构建索引

j5U/X3Ro6{0　　SenseiDB

　　· 水平扩展

x-M!j!q O.m6l(]a0　　· 高持久性低一致性

R-h;nN/U,j ~0　　· 数据流形式，原子性和隔离性是由数据产生方控制