水木小镜 登录

重拾光存储,谈谈体会

发表于11天前 16:22  收藏  举报  回帖58
[图]
11天前 16:22
摘要:
我花了接近三个月时间把20多T的数据集备份到蓝光上。近日才完成。初步结论就是蓝光还有实际意义。方案可行性在于成本,包括用户的精力和盘片成本。分享一下体会。
背景介绍:
本人过去经常刻碟,从CD-R到DVD-R,来达成存储梯次化,节省硬盘空间占用目的。仅限于数据光盘,对刻录音乐CD或者视频DVD达成影音享受无兴趣。就我个人经历,光存储在普通家庭环境存储是比较稳定的。一路留下来的光盘集,自己刻的、来自正版软件或者娱乐内容供应商的,只要不是盗版商烂碟,或者自己刻出来时校验已经不是全绿的盘,只需收纳好,比如放碟本,十几年后拖出来还能流畅读取。
“光存储介质稳定,刻完就不用特别精细存放”,是蓝光备份方案的核心价值。除了这个表述或者说唯一优点,剩下的全是缺点。因此,如果对这个表述有怀疑,甚至个人经历和这个表述冲突,那么折腾光存储纯粹是浪费时间。
当年我放弃光存储,是因为DVD的容量完全跟不上我的硬盘上的数据规模增长。而那时刚出现的蓝光,单碟25GB,介质和驱动器太贵,经济性极差。5倍DVD单面的容量,依然是跟不上发展。光存储的最大问题,就是用户必须把数据集划分成能不大于光盘容量的一个个文件集合,不能多(超刻是末路),也不能少太多(浪费)。当然,可以借助类似tar(这个当初就是为磁带备份,类似零散介质场景而生的)之类的分卷打包软件。分卷这个事情耗费个人精力会少一点,但是需要临时硬盘空间放tar分卷,不能直接把文件刻进光盘,且多了一个容器层,也不方便直接查看包内的单个文件。总之就是容量太小,额外的事务性工作,包括建立光盘目录索引文件,太多太费劲。企业可以用光盘柜之类的,服务器缓存数据,多刻录机,自动划分,机械臂之类的降低用户工作量,但家庭用户,只有1-2个光驱,一切靠自己。
发生的变化:
让我重拾起光存储,使用蓝光备份的变化就是,几个月前我发现,国内某光盘厂暴雷,大量的BD 100GB,8块钱一张在卖。还有一堆配套的拆机刻录机供应。经济效能提上来了。如果按目前市价30-40元一张BD 100GB,对我毫无吸引力。至于即便没暴雷货,已经白菜价的25GB,就如前面说的,容量太小,浪费用户精力。具体的软硬实施细节就不展开说了。如果有人有兴趣,后续再详细讨论。
正如我一向说的,本地存储方案都是辛苦体力活,繁琐而技术丑陋。具体到刻光盘,大概步骤就是,文件分组,编制目录,刻录,校验刻录内容(质检),收纳。
分享一些时间数字,不计所有需用户介入的事务性工作,刻录一张BD100光盘,平均4速(约18000KB/S),耗时100分钟。如果启动defect management(请自行了解),写速减半,要200分钟;后面加上刻录文件和源文件md5对比,加上60分钟。也就是说,包含质检(个人认为备份刻录必须做),不开defect management,要2.5小时一张;开DM,4个多小时一张。
我前期不清楚刻录质量,开DM,到了后面对质量有个大概的认识,把DM关了。工作日一天刻三张,早上出门前开始刻一张的任务,晚上到家刻一张,临睡前开始刻一张的任务。周末在家可能多一点,不在家就少。没有机械臂,只能人工介入。因此,最后完成大部分数据的刻录备份,和计划差不多,三个月,平均每天3张。
体会:
刻光盘是很麻烦的事情,但能有效补上我除了磁盘阵列以外,数据冷备份解决方案的缺位。某些删掉可惜,但我暂时没想起能怎样利用的次级媒体数据,比如各种下载的视频,比如新闻视频摘录,各种监控视频,和记录路过的城市风貌的行车记录仪视频,一直待在硬盘上,不断为它们扩容,不现实。放光盘正好,即便它们有可能在刻录以后,除了日常抽检,再也不会再读了,直到可能成为未来的考古发现。光盘备份的问题,除了刻录麻烦以外,就是速度慢——刻录慢,读出也没多快。幸运的是,刻录是重IO活动,一个机器挂几个刻录机同时开刻,对刻录出高质量的盘片毫无帮助,但多光驱读取没问题。我已经在一个第三方购买的标准光驱上测试验证,刻录的光盘Linux/Windows可读,不存在什么独家非标,需要特定品牌特定型号读取的情况。按现在光驱的新货供应,以及电子垃圾贩子的给力程度,读取设备起码还有10年的供应期。后面,就看什么时候,多媒体内容供应商抛弃光存储介质,不再作为消费品流通手段,全面拥抱流媒体了。
目前方案盘片的经济性,由一家暴雷企业的产品支撑。它的这些贱卖存货的质量稳定性,是重大不确定因素。因此这个方案的可持续性,也只是我的一种乐观预期,不代表任何背书保证。到我的数据产生速度发生突变,比如我开始拍4K视频,蓝光备份会再次脱节,那时候再想有什么更好办法。我还是对机械或者固态硬盘放冷备数据,定期通电检验的做法,觉得不是很舒服。至于磁带,完全就是需要精细存储,企业专用产品。只要略看一下黄鱼上的物品介绍,磁带的粘连,断带之类不好的回忆,又会从记忆深处浮起来。
总的来说,蓝光备份还能用,特别适合不太会再次编辑的照片和视频内容,至于是否适合家用,或者适合无经验初哥,不好说。
谨以此帖贡献给DvdZone板。
回复   编辑   ⇧顶   ⇩沉
[图] kayka   11天前 17:20
支持楼主,希望楼主建个群,分享长期存储经验
[图] Dazzy   11天前 17:21
不建群。至于长期存储经验,去企业机房里,啥都有。 @kayka
[图] zhangwei108   11天前 17:31
曾经刻过不少DVD盘,五年后很多读写出错了,或许磁带更靠谱些?
[图] Dazzy   11天前 17:37
只有读,没有写。我手头还有几张威宝的DVD-R没用完。
磁带有断带粘连等问题,读取设备更是没有面向个人消费者的。觉得能搞定的家庭用户,可以上。容量大,连续性强,哈哈哈。 @zhangwei108
[图] zhangwei108   11天前 18:11
DVD那层薄膜稳定性不行的,老化的厉害,磁带还稳定性强不少的,当然得是专门的磁带 @Dazzy
[图] Dazzy   11天前 18:43
现在用的蓝光,不是DVD。当然,早年用DVD染料技术搞的LTH蓝光盘,和DVD在持久方面没区别。 @zhangwei108
[图] Dazzy   11天前 18:50
1.它的优势在于比机械硬盘稳定,这是唯一优点。
2.速度慢是意料之中的。
3.是否玄学,看用户存储环境。如果有兴趣有能力,做衰老测试。定期检查很重要。
三个月半年抽检,我觉得比较妥当。抽检有异常,就应对呗。备份方案又不是一条路走到黑。
10年展望,不等于五年十年不闻不问,到末段再来总结回顾,表达庆幸或者悔恨。 @
[图] iwannabe   11天前 19:47
同是离线存储,磁带机+带库比光盘性价比稳定性甚至便利性要强多了
甚至我觉得你还不如弄个云存储的离线存储,价格也有优势
[图] Dazzy   11天前 19:54
有满足我要求SLA的云存储,很贵的。
没SLA的玩具,我不需要。
我不打算在家里搞什么磁带机,带库。满满的恶劣回忆。我的个人经历不容许我这样花费时间和钱。 @iwannabe
[图] huzq   11天前 20:25
現在好像出現一種在玻璃裏面刻錄數據的新技術,據說容量更大,讀寫速度更快,或許能拯救大數據量需要備份的用戶,就是這種新技術不知猴年馬月才能量產。:-)
[图] Dazzy   11天前 20:38
我不看好,或者和个人用户没啥关系,大数据中心专属。bd100现在需求支撑是4k uhd,文件光盘需求是附带的小众分支。如果都走流媒体,盘片和光驱都不生产了。 @huzq
[图] huzq   11天前 20:49
沒辦法,我發現用繁體字發帖被卡住的概率會小一些。:-) @
[图] huzq   11天前 20:50
用盤片備份還有一個問題,多少年後去哪裏找一個還能正常工作的光碟機?:-) @Dazzy
[图] Dazzy   11天前 21:16
我原帖说了读取设备供应的有效期,跟产业相关度很高。另外,定期抽查也可以反过来测试读取设备,遇到错误太多的情况,那就得调查是盘片,还是读取设备有问题了,查因应对。 @huzq
[图] huzq   11天前 22:02
感覺還是太折騰。:-) @Dazzy
[图] Dazzy   10天前 6:52
本地存储就是体力活,技术细节丑陋,但用户有自己的特定需求时候,就是一堆烂方案当中挑不那么烂的那一个。
就没有什么安枕无忧,一劳永逸的说法。巡检,抽查少不了。工作量相对多还是少而已。 @huzq
[图] huzq   10天前 7:42
是否可以僱傭有優閑時間的人來做?:-) @Dazzy
[图] Dazzy   10天前 8:12
这不就是企业机房那一套。个人用户还得管钱,做HR,搞制度建设,管消防,保密培训……
可以直接开公司了。 @huzq
[图] emulex   10天前 9:10
闲鱼的二手盘,30元/TB
还搞啥蓝光刻录呀
费那个熊劲 @
[图] Dazzy   10天前 9:21
原帖最重要的一个假设,“光存储比单个硬盘在长期稳定性强,可以离线存储”。以我个人经历,这个假设至今适用。
你不用算账,因为我全都要。
硬盘阵列方案我也在用,快速巡检方便,数据上规模必备。但它们得时刻通电入阵列,要耗电占盘位。不上架通电的硬盘,过上两三个月,我对它们没什么信心。至少在我家存储环境不行。
本来就是两条腿走路的事情,硬盘是第一梯次,光盘是第二梯次。
有钱有闲有需求才会考虑第二梯次建设。这些投入,就是后备,甚至说计划时间终末节点再回顾,可能一次用场都没派上。 @
[图] tsa300   10天前 9:42
传统 dvd 是有机染料,蓝光是无机盐盘基,可以保持数据2000年
磁带不能长期保存数据,鼓吹磁带的都是小白在暴露智商,直接显示这人对磁带没最基本的认知 @zhangwei108
[图] syr   10天前 9:45
为什么你在哪个版动不动都用最恶毒的语言去攻击别人? @tsa300
[图] tsa300   10天前 9:47
光驱一直都向下兼容的, 80年代的 CD 到现在也可以读,现在的蓝光兼容之前的 CD DVD,以后也一样。
硬盘就没戏了,不算太老的ST506接口的硬盘和适配器你到哪个垃圾堆里也找不到了,卖二手货的出生前市场上已经绝迹。
磁带则很有规律,要么早早就没了和硬盘一样,还活着的 LTO 是明确了每一代只兼容前两代,比如 LTO-9 只能读 LTO-7 ,再早只能烧纸了。 @huzq
[图] tsa300   10天前 9:48
因为这些用想象出来的知识去传播的人不值得尊重 @syr
[图] tsa300   10天前 9:49
而且就算某些人对号入座了,我的话也并不恶毒啊,只是很普通的描述 @syr
[图] tsa300   10天前 9:51
蓝光可以保持数据2000年,中间不需要任何操作,一劳永逸。
硬盘已经知道30年就完蛋了。 @
[图] zhangwei108   10天前 9:55
因为素质有限,论坛上啥人都有,习惯就好,理他干嘛,说啥都白搭,自己永远是对的,也不会好好说话讲道理。 @syr
[图] tsa300   10天前 10:25
如果没单盘容量需求,其实用铼德25G单层的比较划算,50张1桶100块钱,合2块钱一张,100G也是8块,不一样的是质量有保障。铼德毕竟是唯二的光存储巨头,其他光存储跨国厂商都退出了,所有技术和设备都卖给了台湾这两家。
[图] Dazzy   10天前 10:31
25GB价格现在很实在了,但太小了,我不想太占地方。另外,整天守着刻录机频繁换碟也不是事,对生活影响太大了。我宁可下达100GB刻录任务,然后我该干嘛就干嘛。2.5小时后再来看。25GB,40-50分钟刻完一张,就要人工干预一次。人力成本不划算。 @tsa300
[图] tsa300   10天前 10:54
家庭也许3层100G好一些
工业上用光盘塔,速度不是问题,但设备本身就占空间 @Dazzy
[图] Pighead   10天前 12:35
说是4张25g=100g
实际上考虑视频大文件,以及各种目录分类之类的
100G盘上的东西最后大概率要拆成五六张25G来刻 @tsa300
[图] tsa300   10天前 13:09
文件可以分卷,目录也一样,只是对个人来如果全靠手工拆分麻烦点。
通常是在组织内容的时候就考虑到目录容量和大文件分卷,或者动手能力更强些的,写脚本或程序自动处理备份前的拆分和读取备份后的恢复。
家里拍的影像资料靠组织内容时的规则就没问题,高清影片收藏或者专业影视设备产生的素材才有拆分大文件的问题,其中影视素材用3层100G碟也会遇到文件拆分问题
家用25G单层的最大问题是楼主说的占空间大,多了4倍的盘片数量,存放要地方。 @Pighead
[图] heideggerr   10天前 13:22
“BD 100GB,8块钱一张”,对比4T机械硬盘(4T,500块钱),考虑到操作的复杂性以及BD光驱的投入,其实完全没有性价比,尤其考虑到这个BD还只是甩货价,而非主流BD的价格。
[图] tchain   10天前 14:10
嗯嗯只是好奇而已,咱也学习不了您这行为。。一般人也没法花这么多时间去搞这么一件事 @Dazzy
[图] tchain   10天前 14:15
~~~~这东西诞生才不过20年。。反正报个数你也没法验证,真需要保存两千年的数据,相信你也不会只交给一张光盘不是? @tsa300
[图] tsa300   10天前 15:16
有标准的
蓝光盘磨灭信息的因素是已知的,可以充分估算保持信息的时间
而且还有测试标准。
闪存盘(ssd)也容易推算,nand flash是靠浮动栅极的氧化层锁住电子来保持信息的,电子会慢慢漏掉,漏到无法纠错数据就挂了,各种闪存盘的断电保持时间和加电保持时间很容易得到较为准确的估算(都很短,1月到数年)
机械硬盘反而不容易随算,比如退磁是已知每年1%,半衰期49年,实际上30年左右就大面积无法读取了,业界已经大规模爆出。 @tchain
[图] poocp   10天前 15:17
硬盘放铅箱里,每三年全盘刷新一次,是最省心的方法。
[图] richiter   10天前 15:22
这种省心。。。我还是选择不省心的方式更省心 @poocp
[图] Dazzy   10天前 15:42
硬盘容易坏的是机械和电子部分,铅箱并未特别针对对这些方面进行防护。三年周期有点太长。 @poocp
[图] Dazzy   10天前 16:06
衰老测试在工业生产不是什么新鲜事,不用实际等这么长的,可以用更恶劣的测试条件加速衰老,科学估算实际寿命。
如果想了解光盘寿命估算,可以了解一下ECMA-379测试。
对一个极其重要的数据集,光盘只是保存手段之一。多种方案并用,还要定期检验。介质靠谱,可以适当延长定检周期,减轻维护压力。只要资源足够,不会真的搞孤本,除非数据不重要,不值得投入过多资源。 @tchain
[图] MeiYou9   10天前 16:20
测试标准都是比较理想的情况吧,就像各种折叠屏的测试,弯折几十万次,但是如果夹点沙
子呢... @tsa300
[图] oktay   10天前 16:51
这是个清库存的软文吗?
时间和精力不值钱吗?多买俩硬盘完事
[图] Dazzy   10天前 16:52
硬盘我也有,现在同时玩光盘。
买两个硬盘搞不定的,存储方案就是要花很多钱和精力。
时间精力值钱,数据也值钱,因此我就投进去呗。
清库存软文?我又不卖货。也没拍胸口说包治百病适合所有人。分享我自己的经历而已,也不全是正面的东西,也没说别人该怎么怎么样。读者自行甄别。 @oktay
[图] tsa300   10天前 17:00
ISO/IEC 16963
要测各种温度、湿度、光照特别是紫外线下的老化试验,推算数据保持时间 @MeiYou9
[图] MeiYou9   10天前 17:33
该方法只考虑了温度和相对湿度的影响。它不试图模拟由于复杂的失效机制动力学而导致的退化,也不测试在处理或回放子系统中的变化时是否暴露于光腐蚀性气体污染物中。磁盘暴露在这些额外的应力源或更高的温度和相对湿度水平下,预计将经历更短的使用寿命。
而且似乎温度和湿度也是恒定的,没有测试变化的情况 @tsa300
[图] oktay   10天前 17:43
调侃一句哈,别当真
20多年前DVD时代,我玩光盘备份也乐此不疲,都买的tdk的好盘。但当时的本质原因是DVD盘单位容量相对硬盘便宜。
这两年nas、企业硬盘什么的很时髦。我也被种草过,最后结合自己的需求分析了一下,没球用。
1、我自己的有价值数据最大容量的也就是照片视频,近10年也才1.2个T。
2、游戏电影除了个别,以后也未必再看/玩一次。留个种子就行,以后有没有都无所谓。私人影院纯粹是自我感动。
不要把别人的宣传当信仰。这些年推广的脐带血,那么好的保存条件很多人用的时候都发现不如想象般如意。
你现在刻1T数据3天,未来真想用时,盘、设备不确定性太大。指不定未来你的孩子直接全扔了。
与其焦虑数据保存,还不如:
减少欲望,仅留必要数据,一两个盘搞定。其他的等技术进步,说不定以后可以存细菌DNA里。 @Dazzy
[图] tsa300   10天前 17:47
蓝光盘不是磁盘,机械硬盘才是
蓝光刻录盘对温湿度和光照不敏感,保持数据所需的条件比任何磁盘(包括机械硬盘)都宽松得多 @MeiYou9
[图] MeiYou9   10天前 17:53
那句话是从iso16963摘要里面摘的,磁盘估计是翻译错误 @tsa300
[图] Dazzy   10天前 17:57
我的数据我做主,自己有能力可以做到,全都要。现在只是实施存储梯次化,降低维护成本罢了。
我现在回顾10年前的数据,用新的算法处理,都能发现很多有意思的地方。到有手段的时候,却没数据,才是我不能接受的。
时光倒流术代价巨大,只是投资源买盘投点时间,方便将来回顾研究,不亏。 @oktay
[图] Dazzy   10天前 18:57
我拿来备份,存取不会多的。
有电子目录,某个文件在哪张碟上,查一下就知道了。 @
说两句