Каморка

Пришло время обновить data storage, было решено купить RAID enclosure и 5 *2TB Hitachi disks.
http://www.datoptic.com/cgi-bin/web.cgi ... detail=yes
Все мне в нем нравится, уже заказан и в пути. Пришло время думать про конфигурацию, я планировал RAID 5. Связался с производителем, обсудить поддержит ли их ящик конфигурацию когда я бы мог доступаться к 8TB-10TB с 32 битной ОС (GPT is not supported), затронул вопрос про выбор рейда, да и спросил просто как бы получить подтверждение на вопрос, ответ на который я уже как бы (я думал) знал - "Собираюсь хранить 2 TB файлы, на 2 TB logical disks, i.e. the raid 5 array (2TB*5) will be split into 4 logical 2 TB disks, в случае смерти одного диска, и его замены какова вероятность что рейд перестроится успешно?" Мужик подумал и сказал - не знаю, явно что не 100%, слишком много факторов вовлечено. Объяснить он мне тогда по телефону всего не смог, порекомендовал почитать про unrecoverable read error rate (URE), тем более что диски, купленные мной (производитель рейда предлагает такие же) - это не enterprise версия. Вообщем он стал меня отговаривать от RAID 5 в пользу RAID 1/10..

Я почитал кое чего в инете и похоже все сводится к следующему:

а) теоретическая реализация RAID 5 ГАРАНТИРУЕТ восстановление RAID в случае смерти одного диска;
b) практическое состояние дел (для обычных дисков URE около 10^14), при перестройке RAID array about 10TB-12TB шанс на то что будет полученна unrecoverable read error (я так понимаю что это 1 сектор наверно) становится более чем реальный;
http://blogs.zdnet.com/storage/?p=162

*************************************************************
Многие RAID контроллеры прекращают восстановление массива (RAID 5) как только, возникает unrecoverable read error при чтении с диска, хотя мне это очень странно - было бы логично просто потерять один RAID block (я так понимаю что 1 дисковый сектор, это - наименьшая логическая величина, из которой состоит 1 RAID block, хотя это не суть как важно). Понятно что инфо в том блоке, файл/файлы, использующее тот блок будут утерянны, но не все же 8 ТВ данных!!

Наверно, это будет ВОПРОС N1, на который я должен получить вопрос от производителя.
+++++++++++++++++++++++++++++
RAID хранит много данных, к некоторым областям дискового пространства контроллер может не обращаться годами (ну нетрогает никто старую базу (2 ТВ) в течении последних 3 лет). Значит, если пластина(ы) начнут сыпаться, контроллер об этом не узнает (если он не проводит рутинное сканирование дискового простанства, пытаясь найти и перенести блоки, которые склонны к умиранию) и когда придет время Ч. в добавок к тому что конроллер уже работает в degraded mode к этому еще добавятся возможные ошибки, возникшие при обращении к вышеупомянутым областям - это будет очень неприятный сюрприз!!

Значит ВОПРОС N2, на который я должен получить вопрос от производителя: поддерживает ли фирмваре того RAID enclosure "disk scrubbing" i.e. scanning of the disks for the bad sectors while idling?

++++++++++++
и последняя часть - я не уточнил, может ли эта коробка работать с backup UPS. Например, мой старенький NAS QNAP (RAID 1) замечательно работает с APS CS 500 - как только UPS видит что питание пропало, он информирует NAS и тот быстренько сворачивается и соответсвенной зписью в логе.

Поэтому я считаю что достойный RAID конроллер должет быть способным работать в паре с UPS что бы избежать проблем в момент восстановления данных - когда он действительно реально уязвим, вместо того что бы требовать от пользователя установки резервного дизель генератора - процесс восстановления 10 TB может занимать недели, если RAID остается в работе и на восстановление выделяется не 100% мощности процессора.

Это будет ВОПРОС 3 к производителю.

-----------
Если ответы на вопросы 1и 2 - нет (я не знаю как критичен ответ на вопрос 3, но я привык что мой NAS заботится о себе сам), то я намереваюсь по получению RAID из Штатов (коробка 40lb) послать его назад, не распаковывая и искать другое, более подходящее устройтство. Конечно, я должен бы подумать об этом всем заранее, но просто небыло времени. Лучше похже чем потерять потом 8 TB данных (backup тут не причем, как раз этот массив и рассматривается как место хранения backupov).

....................
Люди, сведующии в RAID технологиях, скажите Христа Ради, я правильно понимаю ситуациию или все как то по другому?

я не очень сведущ в рейдах, но, по-моему, вопросы 2 и 3 к рейду 5 отношения не имеют. хотя и очень интересные сами по себе. полез ковыряться в доках на свой нас.

по вопросу 1. пока не вижу причин, по которым вероятность появления аре на рейде 5 могла бы быть выше появления таковой на рейде 1. и уж тем более на рейде 10.

знаешь, последние 4 дата центра с которыми я имел дело все строго рекомендовали десять... по райдам я не специалист, да и деньги не мои были, ничего не выяснял.

Waterbyte писал(а):я не очень сведущ в рейдах, но, по-моему, вопросы 2 и 3 к рейду 5 отношения не имеют. хотя и очень интересные сами по себе. полез ковыряться в доках на свой нас.

по вопросу 1. пока не вижу причин, по которым вероятность появления аре на рейде 5 могла бы быть выше появления таковой на рейде 1. и уж тем более на рейде 10.

Вопросы 2 и 3 к рейду 5 отношение имеют ровно в такой же степени как и к рэйду 10 (и в еще _большей_ степени к этому конкретному устройству и тому как оно ведед себя в разных ситуациях). Просто в случае этого конкретного утройства мне было сказанно что на восстановление 8TB RAID 10 массива уйдет в худшем случае несколько дней (реально - 1-2), а в случае RAID 5 - могут быть НЕДЕЛИ. Вот и прикинь где выше вероятность обесточивания рэйда, если он уставновлен где то дома? Пропадет питание, полезет ребенок включить мобильник на подзарядку, жене понадобится розетка для фена, сосед будет клумбу копать и кабель перебьет, да куча ситуаций, за всем разве уследишь на протяжении такого времени?? Поэтому умный рэйд должен сам о себе заботиться посредством взаимодейтвия с UPS, а не заставлять меня рентовать на несколько недель в HomeD дизель генератор.
И вопрос 2 - это тоже скорее к самой коробке - самое печальное что случится, это если рэйд будет восстанавливаться и дойдет по области которая не тестировалась много времени - один диск умер, инфа расбросанна на 4 остальных. Вот на одном из 4 не читается какой-нибкдь сектор. Ты думаешь рэйд будет читать 1000 раз? Я посмтотрел опять же в инете, разные ситуации. Вот тут и возникает вопрос - "Что будет", ответ на который проистекает из ответа на вопрос 1. А вот если бы рэйд контроллер, вместо того что бы прохлаждаться под вентилятором когда он простое, ползал по дискам тестируюя поверхность и мяпя прлохие сектора, вот тогда бы он был молодцом, за что то же платится 600 USD, правильно?

А производителю советывать RAID 10 - это самое простое. Но тогда зачем гордо включать RAID 5 в спецификацию, и гордо упоминать на первой странице "Over 160 MB/sec RAID 5 via eSATA (faster than software RAID)", если в конечном итоге использование этого типа RAID в этом устройстве не рекоммендуется?

прально, все вопросы - к собственно контроллеру (точнее, к коробке), а не к рейду. если контроллер не настолько умненький, насколько хотелось бы, чтобы он был, то снизить вероятность полной жопы при появлении аре можно только за счёт снижения ёмкости дисков.

по идее, я с тобой согласен - чем больше денех платиццо за коробку, тем больше ожиданий возлагаеццо на контроллер. но это только по идее. боюсь, что на практике это может быть не совсем так. к примеру, у йомеги есть линейка насов ix4-200d, в которую входят устройства на 2, 4 и 8 терабайт, по 4 винчестера в каждом (они там систему ставят прямо на винчестеры зачем-то). цена восьмитерабайтовой коробочке несуразно больше четырёхтерабайтовой. значительно преывшает разницу в цене между четырьмя однотерабайтовыми и двухтерабайтовыми винчестерами. то есть вполне можно ожидать, что они туда ставят разные контроллеры - один поглупее и подешевше, другой - подороже и поумнее. оказалось - фиг там. одно и то же железо. а вероятность описанной выше жопы в восьмитерабайтном вдвое выше. вот так. плати больше - получай меньше.

полистал тырнеты. не нашёл в йомеге фишки сканирования в фоновом режиме. но не вижу, почему это должна быть функция самого контроллера, а не операционной системы. стало быть, если производитель в курсе, то фишка может появиццо в последующих апдейтах фирмвари.

пыс. в ix4-200d 4Т стоит рейд 5 по умолчанию. у кого есть такая же, но 8Т - а там? чиста из любопытства...

пыспыс. подумалось: а то самое фоновое сканирование - это не функция ли контроллера винчестера, случаем? того, что в нём самом сидит? это ж совершенно безотносительный железячный вопрос... не?

Old_Tuzik писал(а): а) теоретическая реализация RAID 5 ГАРАНТИРУЕТ восстановление RAID в случае смерти одного диска;
b) практическое состояние дел (для обычных дисков URE около 10^14), при перестройке RAID array about 10TB-12TB шанс на то что будет полученна unrecoverable read error (я так понимаю что это 1 сектор наверно) становится более чем реальный;
http://blogs.zdnet.com/storage/?p=162

RAID 6 provides protection against data loss during an array rebuild, when a second drive is lost, a bad block read is encountered, or when a human operator accidentally removes and replaces the wrong disk drive when attempting to replace a failed drive.

Old_Tuzik писал(а): за что то же платится 600 USD, правильно?

Предполагается, что за такие деньги вы не можете хранить ценные данные. Считается, что SMART'a вполне достаточно.
Размер РЕЙДа 10ТБ - маленький, вероятность выхода из строя диска во время восстановления довольно низка.

у меня для проекта было задание на две шареных системы по 4 тб, 8 тб тотал данных для работы, выбирал то что проще - обычный комп с набором шустрых хардов и раид контролер
+ все склеивалось + пару таких девайсов http://www.lacie.com/ca/products/product.htm?pid=11264 или аналогичный комп под бэкап , ибо не упало при таких ценах на сторидж мутить что то сложное (все арсинком каждую ночь переносится) и раз в неделю в выходные все еще по сети в большой бокс улетает. KIS

Stanislav писал(а):

Old_Tuzik писал(а): за что то же платится 600 USD, правильно?

Предполагается, что за такие деньги вы не можете хранить ценные данные. Считается, что SMART'a вполне достаточно.
Размер РЕЙДа 10ТБ - маленький, вероятность выхода из строя диска во время восстановления довольно низка.

Пардон, предполагается кем? Вы знакомы с ценами на рэйд контроллеры приличных брендов (не самый писк, но скажем так - middle/high end)? И кем считается что SMART'а достаточно и кому? Пользователю (мне) или контроллеру? И какое отношение к SMART имеет хотя бы один из вышеперечисленных вопросов? Да, размер рэйда не велик, но на этом пожалуй и все.

много букв не все прочитал, рейд имеет право на жисть. В нашем дата центре в основном в связи с дешевизной дисков мы кофигурим след образом, пусть это будет рейд Х но мы всегда вставляем spare disk. Разделяем критические данные и нет. Все что бизнес критикал сидит на NetApp RAID - DP ( double parity) все остальное на SAN скрвера и чип стораж солушин.
Я бы шел от того как все это критикал. Потому как потом может стоит дороже если что то вылетит в трубу.

Old_Tuzik писал(а):

Stanislav писал(а):

Old_Tuzik писал(а): за что то же платится 600 USD, правильно?

Предполагается, что за такие деньги вы не можете хранить ценные данные. Считается, что SMART'a вполне достаточно.
Размер РЕЙДа 10ТБ - маленький, вероятность выхода из строя диска во время восстановления довольно низка.

Пардон, предполагается кем?

Производителем.

Old_Tuzik писал(а): Вы знакомы с ценами на рэйд контроллеры приличных брендов (не самый писк, но скажем так - middle/high end)?

Да, знаком. Вы считаете, что это дорого?

Old_Tuzik писал(а): И кем считается что SMART'а достаточно и кому? Пользователю (мне) или контроллеру? И какое отношение к SMART имеет хотя бы один из вышеперечисленных вопросов?

Производителем считается, что за 600 долларов вам достаточно SMART. Он дает сигнал вашему девайсу, что скоро возможен выход диска из строя - у вас на девайсе загорается красная лампочка - вы меняете диск. Если во время восстановления произойдет сбой другого диска - возвращаете первый диск - он еще хороший, он только возможно выйдет из строя потом - и опять восстанавливаете. Если это вас не устраивает - используйте зеркало или 10-ку. Вам жалко половину винтов на обеспечение надежности? А что вы вообще хотите за 600 долларов? То, что вы покупаете - бытовое устройство, у него даже кэша и батарейки нет....

Stanislav писал(а):А что вы вообще хотите за 600 долларов? То, что вы покупаете - бытовое устройство, у него даже кэша и батарейки нет....

есть. за 200 - с кешем, за 400 баксов - с батарейкой. за 600 уже РАИД 6

Правильные пацаны писал(а):

Stanislav писал(а):А что вы вообще хотите за 600 долларов? То, что вы покупаете - бытовое устройство, у него даже кэша и батарейки нет....

есть. за 200 - с кешем, за 400 баксов - с батарейкой. за 600 уже РАИД 6

а ссылок можно накидать? Я нашел самое дешевое за 350 http://www.promise.com/product/product_ ... uct_id=177
П.С. Линксис не предлагать! (правда он 120КАД) Пробовали... сделали зеркало, вытащили один диск, сказали - а ну ка восстанови! А он сказал - а не пошли бы вы... Ну мы пошли и сдали его обратно

Задал производителю те же самые вопросы, через их форум. Ответ был короток, вроде "идиот! если один диск в рэйд 5 умрет, все ок, если больше - то ж...а. Мы продали больше 1000 рэйд 5 и не слышали ничего в ответ"
Я просто офигел и написал письмо говоря что такой ответ и саппорт похож на оскорбление и поэтому мне не остается ничего лучшего как отправить завтра (она приезжает затвра) эту коробку назад, в Штаты. Через несколько минут, сообшение на форуме было исправленно и теперь оно выглядит так:

*********
1) RAID can handle ONE failed HDD, so in event of raid rebuilt, another HDD is failed, there there is potential rebuilt will be aborted, but the data still in the HDDs, at this time you may need to go to the next step of data recovery...
We have sold 1000's of raid5. We have not see the remain HDD failed during the rebuilt.
But you can alway tell the HDD just about fail by monitor HDD with built-in SMART function
2) Does T5_R5-eSUF does not support disk scrubbing function, it will mark a bad sector when it encounter on fly.
3) T5_R5-eSUF does not support integration with a UPS. As long as the connected system is UPS, then you're safe.
4) Yes, I would recommend raid5, it a protect and fast RAID array. There is a built-in email notification if set correctly it should email you a HDD just about fail base on SMART feature of an HDD
Hope this would help
*********

Мне подсказывает 6 чувство что я должен просто вернуть эту коробку и не связываться с этими господами - в итоге все может оказаться гораздо хуже, так как я оцениваю свои данные в большую сумму чем само устройтсво и вся эта канитель может вылиться. Вообщем я связался с Addonics, Sandigital
http://store.sansdigital-shop.com/mr5ct1.html
и думаю что свяжусь с еще парой производителей RAID и думаю что в итоге я найду достойную замену.