vivo HDFS EC大规模落地实践

贡醮 · 2025-10-16 11:50:11

作者：Gu Ruinan - 互联网大数据团队- Zhao Yongxiang
Erasure Coding(简称EC)，是一种纠删码。EC编码能够对部分缺失的数据进行数据恢复，广泛应用于存储与通信领域。在Hadoop3.0版本中，作为一种新的冗余存储的方式引入进来。使用EC编码的方式替代原来的三副本存储，保证数据可靠性的同时可以节约存储。相应地，付出的代价是读取性能的下降，对于访问频率不高的数据，使用EC编码很合适。
vivo目前HDFS集群节点达万台级别，数据规模接近EB级别，并且业务数据规模还在以较高速度持续增长中。在推进压缩算法缓解存储压力的同时，EC编码的推进也是存储降本的一大有力手段。

1分钟看图掌握核心观点
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

窝酴 · 2025-11-30 07:41:00

感谢分享，下载保存了，貌似很强大

边书仪 · 2025-12-4 06:05:51

热心回复！

米榜饴 · 2025-12-5 03:43:49

感谢分享

嶝扁 · 2025-12-11 14:27:52

用心讨论，共获提升！

鞣谘坡 · 2026-1-14 00:11:24

感谢分享，下载保存了，貌似很强大

郜庄静 · 2026-1-15 00:17:53

感谢，下载保存了

懵诬哇 · 2026-1-21 03:45:34

东西不错很实用谢谢分享

丧血槌 · 2026-1-23 07:26:23

感谢发布原创作品，程序园因你更精彩

琦谓 · 2026-1-23 09:31:14

感谢分享，学习下。

凉砧掌 · 2026-1-24 09:53:10

懂技术并乐意极积无私分享的人越来越少。珍惜

挡缭 · 2026-1-26 03:32:58

东西不错很实用谢谢分享

命煦砌 · 2026-1-28 07:27:51

这个有用。

涣爹卮 · 2026-1-28 09:51:51

收藏一下不知道什么时候能用到

钱艷芳 · 2026-1-28 16:02:39

前排留名，哈哈哈

嘀荼酴 · 2026-1-30 04:04:41

很好很强大我过来先占个楼待编辑

黎娅茜 · 2026-1-30 05:30:57

这个有用。

廖雯华 · 2026-2-3 00:05:15

这个好，看起来很实用

滑清怡 · 2026-2-3 04:46:00

分享、互助让互联网精神温暖你我

师悠逸 · 2026-2-5 10:25:55

感谢分享

账号		自动登录	找回密码
密码			立即注册

vivo HDFS EC大规模落地实践

相关帖子

回复

签约作者

vivo HDFS EC大规模落地实践

相关帖子

相关推荐

回复

签约作者