twitter 架构 解读

1.      关于twitter的架构方案的分析。51Testing软件测试网5b:e1OK1Z/n

Twitter背景

作为世界上最大的微博客的网站

 日访问量2亿         独立ip 1.39亿51Testing软件测试网U~L2BUknBz

 作为这么大的流量，能支撑的服务器的架构会是怎么样的呢。

 51Testing软件测试网|#P1v)w5S'?0d

对他的整体架构进行了分析。51Testing软件测试网'?I k~"r

主要关注点：tweets，timeline，social，graphs，实时索引

下面是twitter架构关于cache方面

51Testing软件测试网W9qj E+x)D&g

Twitter的MQ很简单：基于Memcached的协议，job之间是无序的，服务器之间没有共享的状态，所有的东西都保存在RAM里，并且是事务性的。51Testing软件测试网^7Nj)@1wo#Dk"Q

消息消息队列的控制51Testing软件测试网u{z7x0mf H,y

 51Testing软件测试网Y6JA.sSAS

Tweet

查询分区（id，author）

行存储

主从复制，memcache的读缓存

51Testing软件测试网%~2QX4[_`

单表，垂直切分，关系型51Testing软件测试网9w5G.U7lN1Hd&h

按用户id进行分区

根据时间对用户id进行分区

 51Testing软件测试网
xK$lM,`5c

从上可以看出，twitter用了目前最流行也是最土鳖的办法。51Testing软件测试网6gY+f+N I

他未来的方向

@ Nosql（cassandra）

Ps：与mongodb的区别

@主键分区51Testing软件测试网X/[~UmPF

@二次索引在userid     51Testing软件测试网/uG-wf5l:{V

Ps：此方面需要突破，若能利用起来，效率会提高许多。       51Testing软件测试网s!w0`yItH}(v/m:u

@Memcache缓存达到90%       

Ps：目前我们对于memcache的命中缺少评估和存在滥用memcache命中低的问题 51Testing软件测试网u#t h7W5z/\q H.[

Timelines51Testing软件测试网0J8aVW7]Yzn

顺序行id51Testing软件测试网%[swOn8^5y7pS(rW

查询分区get by user_id51Testing软件测试网So_ Y*~

增加，合并，截断

高缓存载体51Testing软件测试网T0KUq-Z

基于空间变化？？51Testing软件测试网#R/N d0E$a(U

Select * from tweets where use_id in (select source_id from followers where destination_id=?)51Testing软件测试网[wl7H*^1]XQ

Order by created_at asc limit 2051Testing软件测试网D:Q:w9W&DN

Ps：这句如果存在大量的source将会导致速度很慢

因此提出了，用memcache的顺序存储51Testing软件测试网mWeI[V

Low latency sla

Truncate51Testing软件测试网.`\#F4L\U-zB4~)qR

合并timeline51Testing软件测试网!Wo0m'DUGt+QF

Ps：此方式不是很明白。51Testing软件测试网b)|M;^(~u5g,G

 51Testing软件测试网^Pw-uoe-c3poP cI,q/s

文档分区51Testing软件测试网M2WT"u8^)FKi

时间分区

合并层

用lucence 代替mysql51Testing软件测试网_N9W,Sp%D5[L-?{K

 51Testing软件测试网F
T*`$Q/N.j A

 51Testing软件测试网H,G!Z1Y/y?O oZ

用Twitter的cursor方式进行Web数据分页

翻页到100000

select * from msgs limit 100000, 10051Testing软件测试网{zU0WQJOb

使用cursor分页方式对应的SQL可以优化为

select * from msgs where id > cursor_id limit 100000;51Testing软件测试网D&~#K v5kv Z0G

按照这种效率效率提高很多

 51Testing软件测试网?|bg4h"mf

 51Testing软件测试网j Gv1I)_1|2u

high-velocity bounded vector 高缓存51Testing软件测试网VTSFE!mu!C

low latency低延迟

principles 原则

 51Testing软件测试网Qj.K m z6z1c3O