Отправляет email-рассылки с помощью сервиса Sendsay
  Все выпуски  

Серверы, сетевое оборудование, тесты, характеристики, советы Бюджетные петабайты: Как построить дешевое облачное хранилищ




Сумма Технологий - Серверные Системы

информационно-аналитический электронный журнал
stss.3dn.ru

Вторник, 29 сентября 2009 года (1965 год - Устанавливается День учителя (празднуется в первое воскресенье октября))

Бюджетные петабайты: Как построить дешевое облачное хранилище. ч. 2

Соединяя провода: Как собрать контейнер хранения Backblaze

Диаграмма разводки питания контейнера хранения Backblaze приведена ниже. Блоки питания (БП) предоставляют бОльшую часть своей мощности по 2-м разным напряжениям: 5V и 12V. Мы используем 2 БП в контейнере, поскольку 45 дисков требуют много 5V-мощности, в то время как мощные ATX БП отдают бОльшую часть своей мощности по шине 12V. Это не случайность: 1500W и более мощные ATX БП спроектированы для мощных 3D-видеоплат, которым нужна дополнительная мощность по шине 12V. Мы могли бы предпочесть 1 серверный БП, но 2 ATX БП дешевле.
БП1 питает 3 передних вентилятора и панели размножителей портов 1, 2, 3, 4 и 7. БП2 питает всё остальное. (Подробный список специальных коннекторов на каждом БП см. в Приложении A). Чтобы запитать панели умножителей портов, кабели питания идут от БП через 4 отверстия в разделительной металлической пластине, на которой держатся вентиляторы, в центре корпуса (возле основания вентиляторов) и далее — до нижней стороны 9 панелей. У каждой панели умножителей портов на нижней стороне есть 2 Molex-коннектора «папа». Жесткие диски требуют самой большой мощности при начальной раскрутке дисков, поэтому, если вы включите оба БП одновременно, то будет большой (14 ампер) пик 120V питания из розетки. Мы рекомендуем сначала включать БП1, ждать, пока диски раскрутятся (и потребление питания снизится до разумных значений), а затем включать БП2. Полностью включенный, контейнер целиком будет потреблять примерно 4.8 ампер при простое и до 5.6 ампер при высокой нагрузке.

Ниже приведено фото частично собранного контейнера хранения Backblaze (кликните на фото для увеличения). У металлического корпуса снизу есть винты, обращенные вверх, к которым мы прикрепляем нейлоновые прокладки (маленькие белые штучки на фото ниже). Нейлон помогает погасить вибрацию, и это является критическим аспектом дизайна сервера. Платы, показанные над нейлоновыми прокладками, — это несколько из 9 панелей размножителей портов SATA, у которых снизу 1 SATA коннектор, а в верхнюю часть плат можно вставить вертикально 5 жестких дисков. Все кабели питания и SATA идут под панелями размножителей портов. Одна из панелей на фото ниже полностью заполнена жесткими дисками, чтобы показать размещение.
Примечание о вибрациях дисков: диски вибрируют слишком сильно, если вы оставляете их стоять так, как показано на фото выше, поэтому мы обматываем «противовибрационный рукав» (практически резиновую ленту) вокруг жесткого диска, между красной металлической решеткой и дисками. Это плотно держит диск в резине. Также мы кладем большой (40 см x 42 см x 3 мм) кусок пористого материала вдоль верха жестких дисков, после того как все 45 вставлены в корпус. После этого крышка привинчивается сверху пористого материала, чтобы надежно закрепить диски. В будущем, мы посвятим вибрации целый постинг в блоге.
В системную плату Intel вставлено 4 SATA-платы: 3 двухпортовых платы SYBA и 1 четырехпортовая плата Addonics. 9 SATA-кабелей присоединяются к верху SATA-плат и идут в тандеме с кабелями питания. Все 9 SATA-кабелей имеют длину 91 см и используют Г-образные коннекторы с защелками на стороне панелей размножителей портов и прямые коннекторы без защелок на стороне SATA-плат.

Примечание насчет чипсетов SATA: каждая из плат размножителей портов содержит микросхему Silicon Image SiI3726, чтобы 5 дисков могли быть присоединены к 1 порту SATA. Каждая из 2-портовых PCIe SATA-плат SYBA содержит Silicon Image SiI3132, а 4-портовые PCI-платы Addonics содержат микросхему Silicon Image SiI3124. Мы используем только 3 из 4 доступных портов на платах Addonics, поскольку у нас только 9 панелей размножителей портов. Мы не используем SATA-порты на системной плате, поскольку, несмотря на заявления Intel о поддержке размножителей портов в их южном мосте ICH10, мы заметили странные результаты в наших тестах производительности. Silicon Image была пионером в технологии размножителей портов, и их микросхемы лучше всего работают вместе.

Контейнер хранения Backblaze работает на свободном ПО


Контейнер хранения Backblaze не является законченным строительным блоком до тех пор, пока не загрузится и не окажется в сети. Контейнеры работают на 64-битной Debian 4 Linux и файловой системе JFS, и они являются самодостаточными устройствами, весь доступ к которым и с которых идёт через HTTPS. Ниже вы видите диаграмму слоёв.
Начиная снизу, есть 45 жестких дисков, доступных через SATA-контроллеры. Затем мы используем утилиту fdisk в Linux, чтобы создать 1 партицию на диск. Над этим, мы объединяем 15 жестких дисков в 1 том RAID6 с 2-мя дисками четности (из 15-ти). RAID6 создается утилитой mdadm. Над этим стоит файловая система JFS, и единственный вид доступа, который мы разрешаем к этому полностью самодостаточному строительному блоку хранилища, это через HTTPS на базе специального уровня программной логики Backblaze в Apache Tomcat 5.5. Приняв всё это во внимание, форматированное (доступное) пространство — это 87% от сырой емкости жестких дисков. Один из самых важных аспектов здесь в том, что любое чтение/запись данных на контейнер хранения Backblaze происходит только через HTTPS. Нет никакого iSCSI, ни NFS, ни SQL, ни Fibre Channel. Ни одна из этих технологий не масштабируется так дешево и надежно, не может достичь таких размеров и не управляется так легко, как самостоятельные контейнеры, каждый со своим собственным IP-адресом, ожидающие запросов по HTTPS.

Контейнер хранения Backblaze — строительный блок


Мы чрезвычайно довольны надежностью и отличной производительностью контейнеров, и контейнер хранения Backblaze — это полностью самодостаточный сервер хранения. Но логика того, где сохранить данные и как шифровать их, индексировать их и устранять дублирование, находится на более высоком уровне (выходящем за рамки этого постинга). Когда вы управляете дэйтацентром с тысячами жестких дисков, процессоров, системных плат и блоков питания, у вас будут отказы оборудования — это неопровержимо. Контейнеры хранения Backblaze — это строительные блоки, на которых может быть построена бОльшая система, которая не позволяет наличия единой точки отказа (single point of failure). Каждый контейнер сам по себе является лишь большим куском сырого хранилища по невысокой цене; он сам ещё не является «решением».

Облачное хранилище: следующий шаг


Первый шаг к построению дешёвого облачного хранилища — это уже иметь дешёвое хранилище, и выше мы продемонстрировали, как создать своё собственное. Если всё, что вам нужно, это дешевое хранилище, то этого достаточно. Если же вам нужно построить облако, то вам еще предстоит поработать.

Построение облака включает не только установку большого количества аппаратного обеспечения, но, что важно, развертывание программного обеспечения, чтобы управлять аппаратным. В Backblaze мы разработали программы, которые устраняют дублирование и «нарезают» данные на блоки; шифруют и передают для бэкапа; пересобирают, расшифровывают, заново создают дублирующиеся блоки и упаковывают данные для восстановления; наконец, следят за всей системой облачного хранилища и управляют ей. Этот процесс — наша собственная технология, которую мы разрабатывали годами.

Вы можете владеть своей собственной системой для этого процесса и внедрить дизайн контейнера хранения Backblaze, или, может быть, вы просто ищете недорогое хранилище, которое не будет частью облака. В обоих случаях, вы можете свободно использовать дизайн контейнера хранения, описанный выше. Если вы так поступите, мы были бы признательны за ссылку на Backblaze и приветствуем любые разъяснения (insights), хотя это не обязательно. Пожалуйста, заметьте, что, поскольку мы не продаем дизайн или сами контейнеры хранения, мы не предоставляем никакой поддержки или гарантий.

В следующих сериях: через несколько недель мы поговорим о сенсорах вибрации iPhone, дизайне контейнеров по типу швейцарского сыра, почему электричество стоит больше трафика, и ещё о дизайне большого облачного хранилища.

Благодарности. Мы стояли на плечах гигантов.


Дизайн контейнера хранения Backblaze не был бы возможен без огромного количества помощи (о которой обычно просили без обиняков) невероятно умных и щедрых людей, которые отвечали на наши вопросы, работали с нами и давали ключевые разъяснения в критические моменты. Во-первых, мы благодарим Chris Robertson за вдохновение на построение нашего собственного хранилища и за его раннюю работу над прототипами; Kurt Schaefer за советы по обработке металла и концепт «мебели» для печатных плат; Dominic Giampaolo из Apple Computer за его советы по жестким дискам, вибрации и сертификациям; Stuart Cheshire из Apple Computer и Nick Tingle из Alcatel-Lucent за советы по низкоуровневым сетям; Aaron Emigh (EVP & GM, Core Technology) в Six Apart за его помощь в работе над первоначальным дизайном; Gary Orenstein за разъяснения надежности дисков и промышленности устройств хранения в целом; Jonathan Beck за неоценимые советы по вибрациям, вентиляторам, охлаждению и дизайну корпуса; Steve Smith (Senior Design Manager), Imran Pasha (Director of Software Engineering), и Alex Chervet (Director of Strategic Marketing) из Silicon Image, которые помогли нам отладить проблемы с протоколом SATA и дали взаймы 10 различных SATA-плат для тестов; James Lee из Chyang Fun Industries в Тайване за проработку SATA-плат для упрощения нашего дизайна; Wes Slimick, Richard Crockett, Don Shields и Robert Knowles из Western Digital за их помощь в отладке логов дисков Western Digital; Christa Carey, Jennifer Hurd и Shirley Evely из Protocase за предложение сотен небольших улучшений в 3-D дизайне корпуса; Chester Yeung из Central Computer за доставание локально поставляемых комплектующих быстро и постоянно, когда это действительно имело значение; Mason Lee из Zippy за советы по блокам питания и специальным кабелям; а также Angela Lai за знание всех нужных людей и представление надлежащим образом.

Наконец, мы благодарим тысячи инженеров, которые бесплатно отработали миллионы часов, чтобы мы получили компоненты контейнеров, которые либо дешевы, либо вовсе бесплатны, такие как: процессор Intel, Gigabit Ethernet, изумительно плотные жесткие диски, Linux, Tomcat, JFS и т. д. Мы осознаём, что стоим на плечах гигантов.

Автор: AntonShcherbinin

Подробнее и другие статьи тут >>>


Последние публикации в разделе «Новости и обзоры»:

  • «Apacer предлагает для серверов 4- и 8-ГБ модули памяти DDR3 с температурными датчиками»
    Компания Apacer Technology представила новое поколение 8- и 4-гигабайтных модулей памяти DDR3, предназначенных для серверов. Применение передовых технологий в последнем поколении модулей памяти ECC Registered DIMM обеспечивает хорошую совместимость и стабильность...
  • «IDF 2009: 32-нм процессор Westmere с интегрированным GPU, Larrabee, микросерверы и другие новинки Intel»
    Выступая на мероприятии IDF, проходящем в эти дни в Сан-Франциско, старший вице-президент Intel и генеральный директор Intel Architecture Group Шон Малони (Sean Maloney) продемонстрировал компьютер на базе процессора Westmere, показавший, как сказано в пресс-релизе, выпущенном по этому поводу, «значительно более высокую скорость выполнении традиционных программ, включая поиск по Интернету, при одновременном запуске многочисленных приложений»...
  • «О чем говорит логотип AMD Black Edition Ready на новых модулях памяти OCZ Technology?»
    В каталоге компании OCZ Technology появились наборы модулей памяти DDR3 PC3-12800, включающие по два модуля объемом по 2 ГБ. От похожих продуктов новинки отличаются характерными черными радиаторами XTC (Xtreme Thermal Convection) с логотипом AMD Black Edition Ready...
  • «Диспетчеры закачек: HiDownload Pro v.7.53»
    Обновился менеджер закачек HiDownload, способный вытягивать файлы из сети Интернет по протоколам HTTP, FTP, RTSP и MMS с максимально возможной скоростью. Программа умеет работать с большим количеством файлов, может восстанавливать прерванную закачку, работает с многопоточной загрузкой, неплохо обращается с proxy-серверами, позволяет сохранять Flash-анимации, RA и RM. В Pro версии присутствует функция анализа ссылок потоковых данных и имеется поиск файлов и MP3-музыки...
  • «Вторая версия HDTV медиаплеера BBK PopcornTV»
    В модельном ряду HDTV-медиаплееров BBK – долгожданное пополнение: в самое ближайшее время в продажу поступит обновленная версия PopcornTV NP101S v2. Среди основных отличий новинки от предшествующей версии - наличие интерфейсов USB-slave и HDMI 1.3, а также возможность выбора необходимого объема встроенного жесткого диска (HDD)...

Обзор полезного программного обеспечения с возможностью скачать:

  • Remote Office Manager, 4.0
    Remote Office Manager — это программа для удаленного администрирования и управления компьютерами, специально разработанная, как для небольших сетей, так и для крупных организаций с большим количеством компьютеров и сложной топологией сети...
  • 10-Strike LANState, 4.7r Pro
    Программа для администраторов сетей Microsoft Windows. Позволяет отображать текущее состояние сети в виде графической карты, осуществляет мониторинг с помощью периодического опроса компьютеров. Отслеживание подключений к сетевым ресурсам с использованием «черного» списка. Отправка обычных и анонимных popup-сообщений любому или нескольким компьютерам сети. И другие полезные функции...
  • 10-Strike LANState, 4.7r
    Программа для администраторов сетей Microsoft Windows. Позволяет отображать текущее состояние сети в виде графической карты, осуществляет мониторинг с помощью периодического опроса компьютеров. Отслеживание подключений к сетевым ресурсам с использованием «черного» списка. Отправка обычных и анонимных popup-сообщений любому или нескольким компьютерам сети. И другие полезные функции...
  • 10-Страйк: Схема Сети, 1.2
    Создайте схему локальной сети для документации или презентации с помощью программы «10-Страйк: Схема Сети». Программа просканирует вашу сеть, найдет все активные устройства, и поместит их на схему. По SNMP-протоколу можно определить связи между устройствами. Программа содержит обширную библиотеку значков сетевых устройств и мощные средства для создания и редактирования схем сетей...
  • Tarifer, 1.6
    Tarifer – программа для просмотра мобильных звонков (детализации сотовых операторов)...

Новые темы форума для обсуждения

Серверы
  Форум Темы Ответы Обновления
Серверы и серверное оборудование
Создание самой удобной конфигурации. Любой желающий может помочь тому, кто еще только начинает работать с серверами
4 8 Суббота, 04.07.2009, 19:41
Тема: Сервер Dell PE2900 Two, за ч...
Сообщение от: HectFoetkeelf

О компьютерах и серверах
  Форум Темы Ответы Обновления
WINDOWS 98, 2000, ХP, 2003, Vista и даже 95....
Винда, от 9x до 2003 и XP, Vista... Администрирование, программирование и т.п.
7 50 Вторник, 26.05.2009, 21:06
Тема: Подключение сети предприятия...
Сообщение от: Buddha

1C
  Форум Темы Ответы Обновления
1C и электронная коммерция 1 0 Пятница, 29.05.2009, 18:17
Тема: Бухгалтерия предприятия
Сообщение от: NightBeast


Вопросы обо всем
  Форум Темы Ответы Обновления
Околокомпьютерный флейм
Общение о компьютерах, серверах, других железках, если вдруг не нашли ответов и просто о компьютерах в нашей жизни. Можете рекламировать свои творения тут, в других разделах реклама будет удаляться...
3 0 Пятница, 04.09.2009, 10:55
Тема: Обучающая информация по защи...
Сообщение от: elenoza
Анекдоты
Анекдоты и веселые истории на компьютерную и другие тематики
1 55 Понедельник, 25.05.2009, 11:06
Тема: Анекдоты
Сообщение от: Daniel

Последние публикации из рубрики «Полезные советы по работе с компьютером»:

Локальные сети

Выполнение в Windows NT операций на всех имеющихся в сети машинах.

Сначала получаем файл List.txt со списком всех имеющихся на данный момент в сети машин с помощью команды:

net view > list.txt

Затем, чтобы выполнить, например, копирование файла quaropts.dat на каждую машину в сети, дайте команду:

FOR /F " tokens=1 " %i in (list.txt) do copy quaropts.dat "%i\C$\program files\navnt"

Если команду надо давать из bat-файла, то требуется вместо % вводить %%

Андрей Харченко

Другие публикации и советы тут >>>


Отдохни (анекдоты, забавные истории):

Встречаются два приятеля на автобусной остановке. Первый:
- Привет! Давно тебя не видел. Ну что, женился уже?
- Нет.
- Так что же ты ждешь?
- Автобус.

*****

Стройка. Прибегает к бригадиру испуганный новичок:
- Я, кажется, проводку забыл...
На что прораб важно отвечает:
- Запомни, парень, одно: мы тут про водку никогда не забываем!

*****

Муж жене:
- Дорогая! Я долго думал и решил! Нам придется расстаться! Мне было хорошо, но я нашёл дешевле.

Другие анекдоты тут >>>

Внимание! Если хотите, чтобы мы посвятили рассылку Вам или вашему сайту, то пишите на почту: altvix@mail.ru


Вы можете добавить свою новость, статью или программу по адресу (необходимо зарегистрироваться): stss.3dn.ru
По вопросам размещения Ваших статей и информации в наших рассылках - пишите нам: altvix@mail.ru

Давайте поможем восстановлению Храма и детям! Информация здесь >>>
Рассылки Subscribe.Ru
Освещение для интерьеров и парков
Техника для создания любимой погоды в доме, от кондиционера до тепловой пушки
Автономные электростанции для загородного дома и все, что можно к ним подключить
Техника в помощь садоводу и фермеру
Все о насосах для любых водоемов и водонагревателях
Моечная и уборочная техника для быта и производства
Рукопашный бой для девушек -- выживание, психология!
Серверы, сетевое оборудование, тесты, характеристики, советы
Милосердие. Чем ты можешь помочь ближнему.
Православные знакомства
Агробизнес и советы садоводам
Здоровый образ жизни
Фотосъемка природы и людей на природе и в интерьере
Рецепты кухни народов СССР
Скидки, подарки, призы...
Секреты рекламы и создания интернет-магазинов
1С и электронная коммерция

В избранное