Все выпуски  

Серверы, сетевое оборудование, тесты, характеристики, советы Почему RAID-5 — «mustdie»?




Сумма Технологий - Серверные Системы

информационно-аналитический электронный журнал
stss.3dn.ru

Вторник, 22 декабря 2009 года (1920 год - В Москве на VIII Всероссийском съезде Советов утверждается план ГОЭЛРО. Энергетики России будут считать этот день своим профессиональным праздником)

Почему RAID-5 — «mustdie»?

В последнее время в мировой компьютерной прессе стало появляться довольно много статей на тему: «Почему raid-5 это плохо» (пример раз, два, и другие)

Постараюсь, без ныряния в инженерные и терминологические дебри объяснить, почему до сих пор raid-5 вроде работал, а теперь вдруг перестал.



Емкость жестких дисков за последние несколько лет растет без особых тенденций к остановке. Однако, хотя емкость дисков чуть ли не удваивается каждый год, прирост их быстродействия, то есть скорости передачи данных, за тот же срок увеличивается всего в проценты. Да, действительно, на дисках появляются интерфейсы sata, sata-ii, и ждем уже sata-iii, но стали ли диски быстрее работать, а не просто получили новый интерфейс с бубенчиками и новыми круглыми цифрами теоретических показателей вида "цифра максимальной скорости на спидометре «Запорожца»?

Практика говорит нам, что — нет.
Если мы сравним быстродействие, в особенности на небольших случайных операциях, для массовых дисков sata за несколько лет, то мы увидим, что заметного, сравнимого с ростами объемов, прироста производительности нет.
Емкость — растет в разы, а скорость работы — нет.

Когда raid-5 появился, в 1987 году, типичный жесткий диск был размером 21mb, и имел скорость вращения 3600 rpm. Сегодня типичный диск sata это 1tb, то есть прирост емкости составил 50 тысяч раз! Но скорость вращения при этом увеличилась всего вдвое.
Если бы скорость передачи данных за эти годы росла бы такими же темпами что и емкость, то сегодняшние диски имели бы показатели передачи данных в районе 30 гигабайт в секунду.


Теперь вспомним о том, что такое есть raid, и его реализация — raid-5.
raid, или redundant array of independent disks, это модель организации группы дисков в отказоустойчивую структуру таким образом, чтобы она сохранял доступность информации даже в случае повреждения или полного выхода из строя части из этих дисков.
Среди множества описанных «в теории» типов raid, в живой природе встречаются в основном три. Это raid-0 (или «группа с чередованием» который «raid» на самом деле только условно, так как отказоустойчивостью не обладает, о чем и говорит цифра 0), raid-5, или «группа с чередованием и четностью», и raid-1, или «зеркало». В чистом виде raid-1 практически не используется из за ограничений по скорости, поэтому в высокопроизводительных массивах используется его комбинация с raid-0. В результате этого альянса raid-0 получает отказоустойчивость, а raid-1 — быстродействие. Как правило, такая комбинация называется raid-0+1 или raid-10, или «чередование с зеркалированием».

raid-10 хорош многим. Да почти всем. И надежностью, и быстродействием, за исключением того, что на его создание уходит 50% всей емкости дисков, половина. Довольно таки «бандитский процент».
Именно такой, довольно жестокий, процент часто заставляет пользователей серверов и систем хранения выбирать как альтернативу raid-5.

Действительно, в raid-5 мы платим за отказоустойчивость емкостью всего одного диска, то есть емкость raid-5 равна (n-1)*hddsize, где n — число дисков, а hddsize — их размер.
Данные «размазаны» по всем входящим в raid-группу дискам, их блоки дополнены служебной информацией, которая дает возможность восстановить потерю данных в размере любого одного диска, причем сама эта служебная информация не занимает какой-то выделенный диск, а просто часть объема этой группы, равную как раз емкость одного диска. Но она также размазана по всем дискам.

Когда происходит выход из строя (полный или частичный) одного из дисков группы типа raid-5, то raid-группа переходит в состояние degraded, но наши данные остаются доступными, так как недостающая часть их может быть восстановлена за счет избыточной информации того самого «дополнительного объема, размером в один диск». Правда обычно быстродействие дисковой группы резко падает, так как при чтении и записи выполняются дополнительные операции вычислений избыточности и восстановления целостности данных. Если мы вставим вместо вышедшего из строя новый диск, то умный raid-контроллер начнет процедуру rebuild, «перестроения», для чего начнет считывать со всех дисков оставшиеся данные, и, на основании избыточной информации,  заполнит новый, ранее пустой диск недостающей, пропавшей вместе со сдохшим диском частью.

Если вы еще не сталкивались с процессом ребилда raid-5, вы, возможно, будете неприятно поражены тем, насколько длительным этот процесс может быть. Длительность эта зависит от многих факторов, и, кроме количества дисков в raid-группе, и их заполненностью, что очевидно, в значительной степени зависит от мощности процессора raid-контроллера и производительности диска на чтение/запись. А также от рабочей нагрузки на дисковый массив во время проведения ребилда, и от приоритета процесса ребилда по сравнению с приоритетом рабочей нагрузки.
Если вам не посчастливилось потерять диск в разгар рабочего дня или рабочей недели, то процесс ребилда, и так небыстрый, может удлинниться в десятки раз.
А с выходом все более и более емких дисков, уровни быстродействия которых, как мы помним, почти не растут, в сравнении с емкостью, скорость ребилда растет угрожающими темпами, ведь, как уже писалось выше, скорость считывания с дисков, от которой напрямую зависит скорость прохождения ребилда, растет гораздо медленнее, чем емкость дисков и объем, который нужно считать.

Так, в интернете легко можно найти истории, когда сравнительно небольшой 4-6 дисковый raid-5 из 500gb дисков восстанавливал данные на новый диск в течении суток, и более.


Источник: adaptec
«a raid 5 array with five 500 gb sata drives took approximately 24 hours to rebuild»Источник:


«the testing used a 3.5tb array composed of 16 250gb sata disks configured as raid 5… 3ware took… over a day to repair a raid 5 array when under a file server workload.»Источник:


«i`m now at 80% of rebuilding my raid-5 array with 3x 1tb harddrives, i`ve calculated that the total time needed to rebuild the array will be 66 hours!»Источник:


«on my filer i run a software raid 5 across eight 500 gb sata drives, which works great… recovery time is about 20 hours. athlon x2 4200+ and nvidia chipset.»Источник:


С использованием же терабайтных и двухтерабайтных дисков приведенные цифры можно смело умножать в 2-4 раза!

И вот тут начинаются страсти.
Дело в том, и это надо себе трезво уяснить, что на время ребилда raid-5 вы остаетесь не просто с raid лишенным отказоустойчивости. Вы получаете на все время ребилда raid-0, надежность и отказоустойчивость которого меньше надежности и отказоустойчивости одного диска в n раз, где n — это количество дисков в группе.
В случае любого отказа, даже самого маленького, даже, быть может, не отказа диска целиком, а просто сбоя чтения из за помехи, или проблем с кабелями, вы теряете всю на нем информацию.

Допустим.
Но нынешние диски выглядят достаточно надежными, не так ли? Уж поди сутки ребилда они протянут без сбоев, не все так плохо, и не настолько же мы неудачники, чтобы у нас на руках дохли два подряд диска. Такое бывает, но может пронесет?

Вот что говорят о надежности дисков материалы самих вендоров.
(Сводная таблица по основным сериям дисков)

В настоящее время практически все производители выпускают жесткие диски двух основных классов.
Это так называемые desktop-диски, для настольных систем, и диски enterprise, предназначенные для серверов и прочих критичных случаев. Кроме того, диски класса enterprise также делятся на диски sata (скорость оборотов 7200rpm) и sas или fc (со скоростями вращения 10k и 15k rpm).

Надежность процесса передачи данных принято измерять параметром ber — bit error rate(ratio). Это вероятность сбоя, из расчета некоего объема прочитанных головками диска бит.
Как правило, диски desktop-class имеют указанную производителем величину ber равную 10^14 степени, постепенно для все больших дисков, в особенности новых серий, указывают величины надежности в 10^15. Это число означает, что производитель прогнозирует вероятность сбоя при чтении не хуже, чем одного сбойного бита на 10^14 степени прочитанных диском бит. Единица с 14 нулями. Сто тысяч миллиардов бит.
Цифра огромная, казалось бы. Но так ли велика она на самом деле?

Несложная математика уровня calc.exe говорит нам, что 10^14 бит это всего лишь около 11tb данных. Это означает, что производитель жестких дисков говорит нам таким образом, что считав с диска с параметром ber 10^14, то есть обычного, десктопного класса диска, примерно 11tb, мы, с точки зрения производителя, наверняка получим где-нибудь сбойный бит. По крайней мере он, производитель, на это у себя рассчитывает.
Сбойный бит чтения означает сбойный блок, размером 512 байт, на который он пришелся. И пошло-поехало.
11 терабайт это же уже и не так много?

И это не означает, что надо прочитать ровно 11tb, ber это только вероятность, которая стремится к 100% к 11-му терабайту. На меньших объемах она просто пропорционально уменьшается.
Да, диски с ber равным 10^15 имеют вероятность ошибки в 10 раз лучше (110tb считанного на один сбойный бит), но и это только временное улучшение. Как мы помним, емкость дисков удваивается с каждым новым поколением, то есть примерно каждые полтора-два года, растут и емкости raid, а ber10^15 для sata достигнут только в последний год-полтора.

Так, например, для 6-дискового raid-5 с дисками 1tb величина отказа по причине ber оценивается в 4-5%, а для 4tb дисков она же будет достигать уже 16-20%.


Источник: hitachi data systems: why growing business need raid-6.
Эта холодная цифра означает, что с 16-20-процентной вероятностью вы получите отказ диска во время ребилда (и, следовательно, потеряете все данные на raid). Ведь для ребилда, как правило, raid-контроллеру придется прочитать все диски, входящие в raid-группу, для 6 дисков по 1tb объем прочитанного raid-контроллером потока данных с дисков достигает 6tb, для 4tb он уже станет равным 24tb.
24tb это, при ber 10^15, четверть от 110tb.
track

Подробнее >>>


Последние публикации в разделе «Новости и обзоры»:

  • «32-нанометровые процессоры Intel Xeon выйдут в марте 2010 года»
    На 16 марта 2010 года компания Intel запланировала выпуск 32-нанометровых серверных процессоров Xeon (Westmere), включая первые с 2008 года шестиядерные модели этого семейства, утверждает источник. В списке перечислено 13 32-нанометровых моделей серии Xeon 5600 для двухпроцессорных систем и три 45-нанометровые модели, которые выйдут в один и тот же день...
  • «Интернет и сети: Hyena v.8.0c»
    Обновилась программа Hyena, предназначенная для централизованного управления Windows-системами, и которая сочетает в себе функции средств администрирования Windows NT (User Manager, Server Manager и File Manager/Explorer) и большую часть возможностей консоли управления MMC Windows 2000. Графический интерфейс программы Hyena выполнен в стиле Проводника Windows, ресурсы отображаются в виде единого древовидного списка сетевых объектов, который включает в себя серверы, учетные записи, группы, общие папки, диски и принтеры. Консоль Hyena может устанавливаться на рабочую станцию под управлением Windows NT/2000/XP и использоваться для управления серверами Windows NT 3.51, 4.0, Windows 2000, Windows XP, Windows Server 2003 и Windows Vista/Seven...
  • «Elpida завершила разработку XS-версии 65-нанометровых чипов памяти DDR3 SDRAM плотностью 1 Гбит»
    Японский производитель динамической памяти с произвольным доступом объявил о завершении разработки нового варианта 65-нанометровых чипов памяти типа DDR3 SDRAM, который, как утверждается, вполне может конкурировать по себестоимости с 50-нанометровыми. Плотность чипов равна 1 Гбит...
  • «Двенадцатиядерные процессоры AMD выйдут в марте»
    Весной будущего года начнется новый этап борьбы на рынке серверных процессоров. Пока Intel готовит к мартовскому дебюту шестиядерные серверные процессоры, компания AMD не сидит, сложа руки. Выпуск новых серверных процессоров AMD Opteron тоже намечен на март. По имеющимся данным, в последнем месяце первого квартала будущего года свет увидят двенадцатиядерные модели, в которых используется архитектура Magny-Cours....
  • «Интернет и сети: NetSetMan v.2.6.4»
    NetSetMan - небольшая бесплатная программа, позволяющая с легкостью переключаться между шестью различными сетевыми профайлами, в число параметров которых входят: IP-адрес, маска подсети, шлюз, DNS-сервера, имя компьютера, рабочая группа, запускаемые скрипты и т.д. Имеется русский интерфейс...

Обзор полезного программного обеспечения с возможностью скачать:

  • Программатор АТС Panasonic KX-T123210
    Программа предназначена для оперативного изменения параметров (программирования, настройки, управления, удаленного программирования и администрирования) офисных телефонных станций Panasoniс KX-TD1232/KX-TD816...
  • Программатор АТС Panasonic KX-T336 / KX-TD500 v.1
    Программатор АТС Panasonic KX-T336 / KX-TD500 v.1 предназначен для оперативного изменения параметров (программирования, настройки, управления, удаленного программирования и администрирования) офисных телефонных станций Panasonik KX-TD500/KX-T336. Купив Программатор АТС Panasonic KX-T336 / KX-TD500 v.1, вы сможете легко настроить вашу станцию под конкретное применение...
  • FireSMS, 2.5.3 Home
    FireSMS 2.5 — это программа для рассылки СМС своим клиентам. С ее помощью вы можете быстро и удобно организовать свою СМС компанию. Спектр ее применения достаточно широк — от уведомлений клиентов до рекламы продукции. Программа позволяет быстро организовать СМС рассылку по вашей базе данных клиентов и не требует специального оборудования. Позволяет организовать рассылку через SMS-шлюз по интернет или через мобильный телефон, подключенный к компьютеру при помощи ИК-порта или USB-шнура...
  • FireSMS, 2.5.3 Pro
    FireSMS 2.5 — это программа для рассылки СМС своим клиентам. С ее помощью вы можете быстро и удобно организовать свою СМС компанию. Спектр ее применения достаточно широк — от уведомлений клиентов до рекламы продукции. Программа позволяет быстро организовать СМС рассылку по вашей базе данных клиентов и не требует специального оборудования. Позволяет организовать рассылку через SMS-шлюз по интернет или через мобильный телефон, подключенный к компьютеру при помощи ИК-порта или USB-шнура...
  • Oxygen Phone Manager II для телефонов Nokia и Vertu 2.18.6, полная русская версия
    Oxygen Phone Manager предлагает владельцам телефонов Nokia полный набор инструментов по работе с контактами, календарем, списком дел, SMS, MMS, мелодиями, логотипами, JAVA приложениями, реестром звонков, настройками режимов. Поддержка более 150 моделей Nokia. Количество моделей постоянно растет! Поддерживаются также телефоны Samsung...

Новые темы форума для обсуждения

Серверы
  Форум Темы Ответы Обновления
Серверы и серверное оборудование
Создание самой удобной конфигурации. Любой желающий может помочь тому, кто еще только начинает работать с серверами
4 8 Суббота, 04.07.2009, 19:41
Тема: Сервер Dell PE2900 Two, за ч...
Сообщение от: HectFoetkeelf

О компьютерах и серверах
  Форум Темы Ответы Обновления
WINDOWS 98, 2000, ХP, 2003, Vista и даже 95....
Винда, от 9x до 2003 и XP, Vista... Администрирование, программирование и т.п.
7 50 Вторник, 26.05.2009, 21:06
Тема: Подключение сети предприятия...
Сообщение от: Buddha

1C
  Форум Темы Ответы Обновления
1C и электронная коммерция 1 0 Пятница, 29.05.2009, 18:17
Тема: Бухгалтерия предприятия
Сообщение от: NightBeast


Вопросы обо всем
  Форум Темы Ответы Обновления
Околокомпьютерный флейм
Общение о компьютерах, серверах, других железках, если вдруг не нашли ответов и просто о компьютерах в нашей жизни. Можете рекламировать свои творения тут, в других разделах реклама будет удаляться...
4 0 Вторник, 01.12.2009, 21:22
Тема: Сеть обменных пунктов webmon...
Сообщение от: Masya1988
Анекдоты
Анекдоты и веселые истории на компьютерную и другие тематики
1 55 Понедельник, 25.05.2009, 11:06
Тема: Анекдоты
Сообщение от: Daniel

Последние публикации из рубрики «Полезные советы по работе с компьютером»:

Microsoft Office

Windows во время загрузки запускает программы и открывает документы, находящиеся в папке Автозагрузка. Точно так же Word и Excel при запуске открывают документы и шаблоны, запускают макросы и надстройки, находящиеся в папках автозагрузки отдельных программ или пакета в целом. Именно этот механизм использует множество программ, "встраивающих" свою функциональность в программы семейства Office (чаще всего — в Word). Они помещают в папки автозагрузки специальные файлы с макросами, шаблонами или библиотеками, и Word или Excel подключают их как свои собственные модули.

Основные папки автозагрузки Office находятся в папке, где расположены файлы Office: обычно это C:\Program Files\Microsoft Office\Office. Word использует расположенную там папку Startup, а Excel — Xlstart. Кроме того, эти программы имеют свои дополнительные папки автозагрузки (в Word её расположение можно увидеть в настройках программы). По умолчанию в последних версиях Office эти папки имеют следующие адреса:
– для Word
в Windows 2000/XP

C:\Documents and Settings\имя пользователя\Application Data\Microsoft\Word\Startup;
в Windows 95/98/Ме, если профили пользователей отключены:
C:\Windows\Application Data\Microsoft\Word\Startup;
в Windows NT 4.0 и в Windows 95/98/Ме, если профили пользователей включены:
C:\Windows\имя пользователя\Application Data\Microsoft\Word\Startup;
– Excel использует папки, отличающиеся окончанием: Excel\Xlstart вместо Word\Startup.

Хотя в большинстве случаев папки автозагрузки используются сторонними программами, вы тоже можете применить их для автоматической загрузки документов, макросов и пр. Только имейте в виду, что вместо самих документов в папки целесообразно помещать их ярлыки. Особенно если включен режим создания резервных копий. Ведь тогда резервная копия окажется в той же самой папке автозагрузки и при запуске программы будет открыта вместе с основным документом. Если вы решите воспользоваться папкой автозагрузки, то целесообразно изменить её расположение на более легкодоступное и запоминающееся (это можно сделать в Word) или создать на Рабочем столе ярлык к ней.

Можно пропустить автозагрузку файлов, если при запуске Word или Excel удерживать нажатой клавишу <Shift>.

Игорь Лейко

Другие публикации и советы тут >>>


Отдохни (анекдоты, забавные истории):

Ночь. Решительный стук в дверь. Взволнованный женский голос:
- Кто там?
- Поручик Ржевский, мадам!
- Опять будете гадости говорить и ко мне приставать?
- Конечно!
- Подождите, поручик, сейчас ключи найду.

*****

- На что жалуемся, больной?
- Доктор, я весь нервный, издёргался, не знаю... Лицо у меня, что ли, сильно интеллигентное? В подворотнях меня бьют, в транспорте хамят, из очереди выпихивают...
- Так, внимательно следим за молоточком глазами, не надо руками закрываться, не надо!
- Ой!..
- Просто не смог удержаться, извините...

*****

Гламурная блондинка случайно оказалась в метро. Кругом шум,гам,толпа...
- Так вот ты какое - Подмосковье!

Другие анекдоты тут >>>

Внимание! Если хотите, чтобы мы посвятили рассылку Вам или вашему сайту, то пишите на почту: altvix@mail.ru


Вы можете добавить свою новость, статью или программу по адресу (необходимо зарегистрироваться): stss.3dn.ru
По вопросам размещения Ваших статей и информации в наших рассылках - пишите нам: altvix@mail.ru

Давайте поможем восстановлению Храма и детям! Информация здесь >>>
Рассылки Subscribe.Ru
Освещение для интерьеров и парков
Техника для создания любимой погоды в доме, от кондиционера до тепловой пушки
Автономные электростанции для загородного дома и все, что можно к ним подключить
Техника в помощь садоводу и фермеру
Все о насосах для любых водоемов и водонагревателях
Моечная и уборочная техника для быта и производства
Рукопашный бой для девушек -- выживание, психология!
Серверы, сетевое оборудование, тесты, характеристики, советы
Милосердие. Чем ты можешь помочь ближнему.
Православные знакомства
Агробизнес и советы садоводам
Здоровый образ жизни
Фотосъемка природы и людей на природе и в интерьере
Рецепты кухни народов СССР
Скидки, подарки, призы...
Секреты рекламы и создания интернет-магазинов
1С и электронная коммерция

В избранное