Google每天要处理多少数据?答案:20PB_Google / 谷歌

Google每天要处理多少数据?答案:20PB

ugmbbc发布于 2008-01-09 21:09:26| 次阅读字体：大小打印预览

大家知道Google是世界上访问最大的网站之一,但有谁知道它每天处理多少数据呢?
这里可以告诉你一个大致的数据,约20PB(20000TB,1TB=1024GB).的确是非常惊人的一个数字.这些数据每天通过巨大的群集来处理,截至2007年9月,Google的集群数量已经达到11000台.
这些服务器的配置大多采用两颗英特尔至强(HT)处理器和4GB内存,两个160GB的硬盘,并采用以太网连接,每台大约在2400美元左右,以下是详细的统计表格.

**MapReduce statistics for different months**

Number of jobs (1000s)	29	171	2,217
completion time () completion time ()	634	874	395
Machine years used	217	2,002	11,081
`map` input data ())	3,288	52,254	403,152
`map` output data ())	758	6,743	34,774
`reduce` output data ())	193	2,970	14,018
machines per job machines per job	157	268	394
Unique implementations
`map`	395	1,958	4,083
`reduce`	269	1,208	2,418