想搞一套这样的NAS存储方案

发表于7-21 14:39 收藏举报回帖60

7-21 14:39

OS和热数据用SSD（容量较小），平时24小时开着，不吵也比较省电。
冷数据（主要是八百年也不怎么翻一下的电影什么的），想搞一个
6盘位左右的硬盘笼，不用的时候停电（不吵），需要的时候可以远程
启用。
关于硬件连接和软件操控这块还没有想太明白。
有高人可以指点一下吗？
比如：
硬件连接好说，有什么条件就上什么--主板直接插块HBA卡用线接出来，
淘宝随便买个服务器拆机硬盘笼（4～8盘位）。
软件上（OS是linux）靠命令让硬盘停机？需要时再spin on？

回复编辑 ⇧顶 ⇩沉

12 »

poocp 7-21 16:55

可以在主板BIOS里设置网络唤醒Wake-on-LAN开机，需要开机的时候用WOL命令行带NAS网卡的MAC地址，将它唤醒开机，SSD启动还是很快的。之后就可以正常访问了。

回复 ⇧顶 ⇩沉 2个跟帖

sgdf 7-21 17:27

把硬盘笼接远程插座上就可以了吧，用的时候通电，不用前先umount再关电。

回复 ⇧顶 ⇩沉 2个跟帖

Dazzy 7-21 18:43

除了前面板友说的按需WOL，也可以简单一点，买支持APM(Advanced Power Management )的硬盘就行了。除了监控盘(它设计初衷就没有休眠一说)，一般硬盘都支持的。
把系统会定期唤醒磁盘的进程，比如磁盘统计，smart监控(这个我倒是开着)关了。然后开机的时候用hdparm把所有机械磁盘的apm级别统统改为1-127(允许硬盘停转)之间。apm级别越高，越强调性能优先。128是"硬盘可空闲怠速转动节电，但不允许停转"的最低级别，254是"最大性能，时刻全速转动"。
真正用户读写操作来临，硬盘就被系统叫起来了。

回复 ⇧顶 ⇩沉 2个跟帖

LeonTang 7-21 20:03

主NAS用什么？群晖吗？群晖支持SSD的是哪款？

回复 ⇧顶 ⇩沉

LeonTang 7-21 20:03

主NAS用什么？群晖吗？群晖支持SSD的是哪款？ @sgdf

回复 ⇧顶 ⇩沉 1个跟帖

hyoga 7-21 20:40

这个就不考虑啦，主系统需要一直开着。 @poocp

回复 ⇧顶 ⇩沉

hyoga 7-21 20:41

这个听起来真是简单直接，可以琢磨一下。比如单独供电的插座用什么转12v的方案，可能不太美观。 @sgdf

回复 ⇧顶 ⇩沉

hyoga 7-21 20:42

对这个似乎有些印象，我明天白天看看手头的盘是否支持。因为某些原因，我手里的机械盘都是服务器上拆的，也许不乐观。
如果能支持那真的就太方便了，可能这就是我的终极方案了。 @Dazzy

回复 ⇧顶 ⇩沉 1个跟帖

hyoga 7-21 20:43

文章里说啦，用Linux。具体的是debian系的。 @LeonTang

回复 ⇧顶 ⇩沉 1个跟帖

hyoga 7-21 20:50

还有这个：
A typical usage case, where such a feature is looked for, is with disks connected to a cheap external USB/SATA/FireWire enclosure, or bridge. If it does not properly issue a stop command to the drive when turning off the power switch, the drive is forced to do an emergency head retract. Regularly doing that will, sooner or later, break the drive. One solution is, after one is sure the data has been written to the media, to run a command to power off the drive:
# hdparm -Y /dev/sdX
直接三次sync接-Y就搞定！明天试试硬盘支持不。 @Dazzy

回复 ⇧顶 ⇩沉

shrine08 7-21 20:54

我是把旧的x99主板用来做文件服务器，用银昕的服务器机箱，直接10个盘位插满，配上万兆网卡，安装winserver

回复 ⇧顶 ⇩沉 1个跟帖

juoakaiba 7-21 21:39

硬盘不用系统一般会自动断电，用的时候才会咔咔响。

回复 ⇧顶 ⇩沉 1个跟帖

hyoga 7-22 11:07

10盘位的机箱有点不好找，不过其实这不是主要的问题。怎么接都还好。
重点还是软件上怎么实现。 @shrine08

回复 ⇧顶 ⇩沉

hyoga 7-22 11:07

这个很难说，还是自己能控制更好。 @juoakaiba

回复 ⇧顶 ⇩沉

hyoga 7-22 11:10

root@nas01:~# hdparm -B /dev/sdh
/dev/sdh:
APM_level = not supported
枪毙了。。。 @hyoga

回复 ⇧顶 ⇩沉

WilliamF 7-22 11:57

你打算装个像乌班图那样的系统开samba吗？
为啥不用现成的truenas之类系统？web管理都有硬盘停转的功能。 @hyoga

回复 ⇧顶 ⇩沉 1个跟帖

hyoga 7-22 12:18

因为……我不需要？
硬盘停转不停转，也得硬盘支持啊，硬盘支持我就能停啊，
总不能为了一盘醋我到版上求一盘饺子吧-_-b @WilliamF

回复 ⇧顶 ⇩沉 1个跟帖

WilliamF 7-22 12:27

免费的饺子你不要，无法理解。 @hyoga

回复 ⇧顶 ⇩沉 1个跟帖

FlawZero 7-22 13:06

上pve？sata控制器直通给虚拟机，虚拟机里装个nas系统，需要时开，不需要时关

回复 ⇧顶 ⇩沉 1个跟帖

woodenbomb 7-22 18:12

这题我会，我的思路跟你一样，ssd放热数据，机械盘平时停转。windows可以直接配置，linux用hd-idle，可能得自己编译一下。

回复 ⇧顶 ⇩沉 1个跟帖

hyoga 7-23 11:16

这个应该不能让硬盘停转吧？我擦，我咋从来没关注过直通的控制器在guest里关闭系统
会停掉吗。。。
会吗？如果这样可行，那真是对我来说最舒服的方案了 @FlawZero

回复 ⇧顶 ⇩沉 2个跟帖

hyoga 7-23 11:18

多谢～这个可以在硬盘不支持APM的情况下idle吗？ @woodenbomb

回复 ⇧顶 ⇩沉

hyoga 7-23 11:18

因为我家里有包子啊。。。//：D @WilliamF

回复 ⇧顶 ⇩沉

hyoga 7-23 13:36

刚才没想明白，硬盘的供电还是连着host的电源嘛。
不过我想想能否搞的复杂一点。。。 @hyoga

回复 ⇧顶 ⇩沉 1个跟帖

FlawZero 7-23 14:12

controller直通的话正常可以的
网上看见过一些人这样搞冷备的，但我自己没有用过
你可以试试看 @hyoga

回复 ⇧顶 ⇩沉

FlawZero 7-23 14:25

vm关机之后host好像就看不见controller了
vm不关机估计也能正常spin down
again我没有亲测
如果你系统不在sata盘上，可以试试看 @hyoga

回复 ⇧顶 ⇩沉 1个跟帖

azev 7-23 21:01

我也有过这个想法想了一段时间
想着可以用单片机加继电器来给硬盘笼做电开关
后来想法变化不想一下子给那么多硬盘上电
淘了几个300块钱的绿牌nas每个机器两块硬盘想用了就网络唤醒
后来也烦了感觉没那么经常的读取资料硬盘
就把所有硬盘都收纳起来了想用了就USB连硬盘

回复 ⇧顶 ⇩沉 2个跟帖

LeonTang 7-24 8:51

绿联NAS那么便宜吗？支持docker吗？求推荐链接谢谢 @azev

回复 ⇧顶 ⇩沉 2个跟帖

Dazzy 7-24 9:06

之前坑了用户一波大的。数据线厂的nas产品，打磨几代再看吧。 @LeonTang

回复 ⇧顶 ⇩沉

iwannabe 7-24 9:16

我的群晖外接usb盘平时是spindown的

回复 ⇧顶 ⇩沉 1个跟帖

azev 7-24 9:49

不是绿联是green
应该算是之前的一个矿渣 j1900的 @LeonTang

回复 ⇧顶 ⇩沉

hyoga 7-24 11:03

其实我在脑子里琢磨很久了，确实没有一个很满意（又不会很贵）的方案
最省事可能还是搞两台nas，但是从结果来看这个方案还是太厚重了。 @azev

回复 ⇧顶 ⇩沉

hyoga 7-24 11:05

我的冷数据也需要安全的，外接usb盘不太能接受:( @iwannabe

回复 ⇧顶 ⇩沉

hyoga 7-24 11:05

不过现在没有vm的条件了，只能实施的时候“顺便”试一试。
我现在做什么都慢，手头这套洋垃圾x10srm-f都已经放了快2年了，
先有主板，然后taobao20元买了个L的CPU，后来很久搞了一套REG DDR4。
硬盘手头有现成的，现在还缺机箱、电源。
买哪个机箱也反复横跳了好几次，因为方案没有确定。
Tank那个6盘的挺喜欢，我在想如果能引出一个miniSAS接4盘位2.5用来放冷数据，
然后机箱的6个位置插机械盘也可行。
总之……还没有打磨好方案
总之……我好像一点也不着急 @FlawZero

回复 ⇧顶 ⇩沉 2个跟帖

FlawZero 7-24 15:03

刚回了一篇被吞了，不知道是不是发的链接的关系
B站有个叫村雨的up主
搜一下“一台小 NAS 可以有多强？”找到
可参考下他的方案，是sata控制器直通的 @hyoga

回复 ⇧顶 ⇩沉 1个跟帖

hyoga 7-25 11:57

我搜到了，（看了20多分钟的视频直到最后才提了一嘴，哈哈）
很重要的信息，谢谢。
不过其实他好像也没有说什么，就是说加一句IOMMU就能看到可直通设备了。
按照这里的几句话的说明，似乎只要把SATA Controller直通给虚拟机，就能实现关机
断电了。
回头我折腾的时候测试一下。 @FlawZero

回复 ⇧顶 ⇩沉 1个跟帖

FlawZero 7-25 12:03

哈哈，是废话比较多，仅供参考
我原来也有考虑过类似方案，想从白群迁移到自建nas
不过后来发现我其实对存储容量需求并不算大
组了迷你主机pve集群每台4t固态足够了
做好备份恢复就行
现在就还差一个照片服务没从白群挪出来了 @hyoga

回复 ⇧顶 ⇩沉

skeleton 7-25 13:46

现在的Nas都不支持硬盘休眠？

回复 ⇧顶 ⇩沉 1个跟帖

hyoga 7-25 13:50

想支持可以支持，只是我希望更彻底一些。或者说可控性更强一些。 @skeleton

回复 ⇧顶 ⇩沉 1个跟帖

skeleton 7-25 14:01

但是我觉得你的需求和硬盘休眠是一样的呀。 @hyoga

回复 ⇧顶 ⇩沉 1个跟帖

hyoga 7-26 10:49

靠OS的机制休眠，难免会因为各种原因“非预期”启动。
多块盘启动的过程甚至比一直转着更闹心。
当然，这是我最低的需求，如果更好的目标达不到，那就靠OS来休眠。 @skeleton

回复 ⇧顶 ⇩沉 1个跟帖

skeleton 7-26 11:28

其实我有一个思路呀，配两个nas,一个装千年不用的东西随用随启动，一个装ssd一直开着,呵呵。 @hyoga

回复 ⇧顶 ⇩沉 1个跟帖

sirius009 7-27 17:59

自己组一个，用bcache做缓存，热的自然走cache

回复 ⇧顶 ⇩沉

hyoga 7-29 8:08

这可能是最简单最不折腾的，也许可能也是最省钱的。。。
但是不符合闷骚自虐DIY党的精神啊：（ @skeleton

回复 ⇧顶 ⇩沉

qianfeng018 7-30 8:55

求问， wol命令具体是什么？一句命令行代码？如何写的？ @poocp

回复 ⇧顶 ⇩沉 1个跟帖

Dazzy 7-30 8:59

建议直接公网搜。有现成文档解说。 @qianfeng018

回复 ⇧顶 ⇩沉

abettor 7-30 18:48

udisksctl power-off --block-device [挂载点]
这行命令不能使外接硬盘下电吗
我没试过, 网上看到的

回复 ⇧顶 ⇩沉

abettor 7-30 18:59

我想搞一个全自动的, 把用户分成等级,
A用户登陆时, 使用ssd,
B用户登陆时, 自动上电外置硬盘, 退出时自动下电.
我觉得技术上是能实现的

回复 ⇧顶 ⇩沉

hyoga 8-13 10:33

机箱电源就位。
回头我找时间装起来，各位大佬提供的方案我都测测。
硬盘休眠、PVE直通给guest。
暂时先不考虑硬件改造的方案了（单独供电、硬盘笼之类） @hyoga

回复 ⇧顶 ⇩沉 1个跟帖

hyoga 9-3 10:49

最后选了4SSD+6HDD方案，一台机器。
硬件：超微X10srm-t+E5-2630Lv3+REG ECC DDR4 32G*2(三大件全部洋垃圾)
1）这块主板有IPMI，虽然这货有4～5W功耗，但是我超级喜欢IPMI，忍了
2）主板板载了4SATA+6SATA控制器，非常适合我
3）为什么选了这么弱的一颗U呢，因为它20块包邮啊！我对性能确实没什么需求。
4）主板有4内存槽，但是我64G真的够用了，还能省点电，把IPMI的部分省出来。。。
软件：PVE host+debian guest
架构：PVE作为主系统，装在4SSD上，平时7*24开机，热数据放上面。
6SATA控制器直通给guest OS，挂6块HDD，装冷数据，需要时再开机。
两套系统都是ZFS raidz2，按照不同的策略自动执行snapshot，scrub，check
(低调推荐bark，推送消息很方便。自动执行磁盘系统健康检查，结果推送给手机)
只开PVE主系统，功耗大约40W+（算上IPMI的）
开guest OS，待机功耗80W+，6HDD读写正常时大概100W。
关了guest OS，硬盘就停转了，感谢@FlawZero。真tm安静！满足了。
问题：
6SATA直通给guest OS之后，第一次物理开机会把硬盘启动，因为硬盘收不到停机信号，
所以功耗一直比较高。只能power on一次虚拟机再power off，硬盘才会停转。
当然因为开机后基本上主系统就不会再关机了，所以这个问题也还好。
但是如果大家有更好的办法解决这个问题，欢迎不吝指教。
谢谢各位大佬！ @hyoga

回复 ⇧顶 ⇩沉 3个跟帖

12 »