博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
图片存储系统TFS
阅读量:6495 次
发布时间:2019-06-24

本文共 549 字,大约阅读时间需要 1 分钟。

1 TFS和GFS比较

1.1 GFS的应用场景

第一,百万级别的文件,并且是大文件,文件都是100MB以上,1G级别的文件很常见。

第二,集群是建立在商业计算机之上,并不可靠,监控各个节点的状态,当一个节点坏掉了,可以里面恢复。因此需要一个master来管理着多个slave。

1.2 TFS的应用场景

第一,百亿级别的小文件,特别是图片文件,大小为18KB左右。

第二,集群同样建立在商业计算机之上。

 

2 数据的完整性

第一,备份;

第二,将数据划分为chunk和block,计算每个block的checksum;

第三,checksum放在log中,log和数据分开存放;

第四,传输数据前检查checksum,发现错误,删除错误数据,拷贝备份数据。

 

3 TFS的扁平设计

TFS丢掉目录结构,直接用文件名来解析出block id和file id,直接得到文件的物理地址,可以大大提高访问的速度。

 

4 TFS践行了对象存储的思想

5 微信朋友圈的存储系统也是这个思想,纯粹是key-value的形式

因为微信朋友圈里面也有海量的图片和海量的文字,这些都是采取key-value的形式来存放的。

 

转载于:https://www.cnblogs.com/hustdc/p/8047565.html

你可能感兴趣的文章
开发中新游戏《庞加莱》
查看>>
MATLAB 向量
查看>>
MVC3+EF4.1学习系列(一)-------创建EF4.1 code first的第一个实例(强转)
查看>>
JavaMail 邮件发送
查看>>
centos下安装apache + subversion(转)
查看>>
tomcat报 Context [] startup failed due toprevious errors
查看>>
人际心理学
查看>>
系统设计与架构笔记:ETL工具开发和设计的建议
查看>>
Android UI Button 和GridView 的设计--优化(2)
查看>>
Android之解析Android Map地图返回的Json数据
查看>>
超大磁盘分区工具parted使用介绍(一)
查看>>
数据还原到指定时间点的处理示例
查看>>
/usr/local/lib/libz.a: could not read symbols: Bad value(64 位 Linux)
查看>>
convertView&setTag方法的一点理解
查看>>
SSAS使用时间智能解决本年累计、同比、环比【转载】
查看>>
SQL Server-流程控制 5,Goto 语句
查看>>
使用Qt编写模块化插件式应用程序
查看>>
[转]大三下,我们该做什么?一篇被转万次的日志,你值得一看
查看>>
print_r() 'ThinkPHP\Common\common.php 601
查看>>
关于empty函数的判断
查看>>