На сайте коллег из HP доступна детальная спецификация решений HP Enterprise Data Warehouse Appliance, которое построено на основе Microsoft SQL Server PDW. Думаю сия информация будет особенно полезна тем, кому хочется знать что же внутри этой железки именно из железа, так как в Microsoft мы любим рассказывать про бизнес-преимущества решений на основе SQL PDW, а есть аудитория, которым подавай анатомию этих самых программно-аппаратных комплексов.

Для тех, кому интересна детальная анатомия можно посмотреть на цитату из оригинала с картинками и составом Control Rack и Data Rack ниже. Тем кому интересно узнать на какие объёмы расчитаны возможные на текущий момент конфигурации могу сказать, что решение рассчитано на объёмы хранилищ от 28 Терабайт данных до 508 Терабайт.

User Data Capacity Number of Data Racks Ordered
  1 2 3 4
11 300GB LFF Disks 38TB 76TB 114TB 152TB
24 300GB SFF Disks 76TB 152TB 228TB 304TB
11 1TB LFF Disks 127TB 254TB 381TB 508TB

 

 

 

Control Rack – Front View

Data Rack – Front View

1.

HP InfiniBand 9040 InfiniBand switch with (2) 12-port DDR leaf nodes (1)

1.

HP InfiniBand 9024 Base DDR InfiniBand Switch (2)

2.

Backup server and storage (configuration and space required dependent upon total capacity of the Enterprise Data Warehouse Appliance)

2.

Compute Nodes – HP ProLiant DL360 G7 servers (10 active nodes plus one spare)

3.

Backup MSA storage (component of backup server)

3.

HP 8/40 Base 24 ports enabled SAN Switch (2)

4.

HP ProLiant DL380 G7 backup server

4.

HP ProCurve Switch 2810-48 G (2)

5.

HP 8/8 (8) ports enabled SAN switch (2)

5.

Storage Nodes – HP StorageWorks MSA P2000 G3 arrays (10)

6.

HP ProCurve Switch 2810-24 G (2)

 

 

7.

Control Node – HP ProLiant DL380 G7 servers (2)

 

 

8.

Control Node storage: HP StorageWorks MSA P2000 G3 array (2)

 

 

9.

Management servers – HP ProLiant DL360 G7 servers (2)

 

 

10.

Landing Zone – HP ProLiant DL370 G6

 

 

Упоминания в Twitter

pdiyakov Анатомия программно-аппаратного комплекса HP EDW http://itaas.ru/ct8
Re-Tweet | Reply | View Tweet
View Comments

Blog-Image-Lewis-Belgium-2010

Современные автомобильные гонки требуют постоянного анализа огромных массивов данных, поступающих с гоночных автомобилей во время тренировок, квалификаций и гоночных заездов.

Гонки же Формулы 1 представляют собой передовую инноваций не только автоспорта, но и автомобильной промышленности. Причём это касается и информационных технологий. Так, автомобиль Формулы 1 генерирует сотни миллионов точек данных в час. Данные в систему мониторинга и оценки производительности поступают от тысяч компонент автомобиля ежесекундно. Во время одной гонки или тестового заезда одна гоночная машина производит 700 миллионов значений данных, генерируемых менее чем за два часа. За один сезон, гоночная команда накапливает сотни миллионов измерений. Извлечение и анализ такого большого количества исторических данных для получения полезных и значимых данных является серьёзным вызовом для гоночных команд.

Один из лидеров современной Формулы 1 McLaren, которая, помимо участия в гонках Formula 1, также делает “гражданские” спорткары, решила одной из первых в мире испытать решение SQL Server PDW (Parallel Data Warehouse). Консультанты компании EMC помогли построить аналитическое хранилище на основе SQL Server PDW, серверов Dell PowerEdge и систем хранения EMC CLARiiON. Тестовая система, на которой отрабатывались сценарии загрузки данных и анализа, построена на стандартном оборудовании DeLL и EMC и состоит из серверного шкафа управления и одного шкафа данных, состоящего из восьми узлов БД.

Результаты тестов

  • загружено 1.5 ТБ данных одной сессии в хранилище PDW.
  • Скорость загрузки более 100 Мбайт в секунду.

Такие скорости загрузки позволяют загрузить в аналитическую систему данные одного заезда гоночной машины и сделать их доступными для анализа за 7 минут.

После загрузки данных в хранилище, была проведена симуляция и объём хранилища составил 12 ТБ. Это позволило эмулировать данные с 90 полных гоночных заездов и тестовых сессий. Такой объём данных позволил проводить анализ по общим данным сессий, содержащимся почти в 400 миллиардов строк телеметрических данных.image

Консультанты EMC, смогли провести поиск сходных шаблонов данных между сессиями, затрачивая на каждый запрос примерно 13 секунд.

В результате тестовых испытаний Parallel Data Warehouse появилась возможность проводить интерактивный анализ по всему объёму исторических данных, получая за секунды ответы на вопросы “Где такое случалось раньше?” и “Как это событие связано с другим событием?”. Таким образом решение PDW позволяет находить и строить различные зависимости и взаимосвязи между кластерами данных в различной исторической перспективе.

Подробности о решении здесь.

По-моему этот пример, который стал одним из первых публичных примеров использования PDW для анализа данных. Прошу заметить, что этот пример, также показывает один из полезных и удобных для заказчиков моментов решения Microsoft SQL Server Parallel Data warehouse – быстрый анализ больших объёмов данных возможен за небольшие деньги на стандартном оборудовании различных вендоров.

Упоминания в Twitter

pdiyakov McLaren собирается использовать SQL Server Parallel Data Warehouse http://itaas.ru/d6u
Re-Tweet | Reply | View Tweet
View Comments

Многие уже знают про то, что такое SQL Server 2008 R2 Parallel Data Warehouse. На сайте HP доступна информация о первом программно-аппаратном комплексе для поддержки SQL Server PDW. Называется он HP Enterprise Data Warehouse Appliance. Рассчитан HP EDWA на построение хранилищ данных размерами от 48 ТБ до 500 ТБ.

Вычислительные узлы строятся на основе серверов HP ProLiant DL360 G7 с двумя Intel® Westmere процессорами и 12 ядрами и СХД HP StorageWorks P2000 G3 MSA.

Я пока не могу очень много информации распространять, посему привожу ссылки на сайт HP, где многое доступно уже сейчас.

Статья в блоге SQLPDW про HP EDW

HP EDW site

HP EDW fact sheet

Упоминания в Twitter

MShishov RT @pdiyakov: Немного про HP Enterprise Data Warehouse Appliance http://itaas.ru/k1t
Re-Tweet | Reply | View Tweet
pdiyakov Немного про HP Enterprise Data Warehouse Appliance http://itaas.ru/k1t
Re-Tweet | Reply | View Tweet
View Comments

Если Вы следите за тенденциями, которые происходили в 2010 году на рынке баз данных и, особенно, хранилищ данных, то Вы могли заметить мейнстрим направление – заказчикам предлагаются так называемые appliances. Я их называю программно-аппаратные комплексы (ПАК). Они представляют собой специально подобранные конфигурации оборудования и ПО для обеспечения определённых результатов при определённых требованиях к производительности и масштабируемости.

Примерами таких ПАК могут служить Microsoft Fastrack DW, Parallel DataWarehouse (PDW), Oracle Exadata, Oracle Exalogic. Очевидно, что для пользователей такие ПАК удобны тем, что они под свои требования могут получить специально подобранную и оттестированную вендорами конфигурацию. Правда, между подходом Microsoft и Oracle есть некоторая разница в построении ПАК. Попробую пояснить в чём разница и почему эта разница напоминает мне рынок смартфонов.

Подход Oracle к построению программно-аппаратных комплексов напоминает мне подход Apple к построению iPhone. Дело в том, что после покупки Sun у Oracle появился полный законченный портфель решений: программные и аппаратные средства построения решений для баз данных (да и для промежуточного слоя тоже). В итоге, та же, Oracle Exadata представляет собой законченное программно-аппаратное решение от одного вендора. Вот тут-то и есть схожесть с подходом Apple. Единственно – Apple в таком подходе, как говорят, зарабатывает на высокомаржинальном оборудовании. Интересно было бы понять какова ситуация у Oracle. E такого подхода есть свои плюсы и минусы. У меня есть некоторые соображения, попытаюсь их выразить в одном из следующих постов.

Подход Microsoft к построению ПАК похож на подходы Google c её Android и самой же Microsoft с Windows Phone 7 (да и с WM 6 такая же ситуация). Наш (Microsoft) подход заключается в том, что заказчик может выбрать аппаратную конфигурацию у различных вендоров оборудования. Пользователи не ограничены только производителем под названием Oracle, они могут обратиться к HP, Dell, Fujitsu или, даже, к IBM. Всё зависит от существующих отношений с тем или иным вендором, от условий гарантийного обслуживания вендорами и различных других. И в этом мне такой подход напоминает Android и Windows Mobile и Windows Phone. Единственно в чём я вижу некорректность своего же сравнения, так это то, что Android да и WM 6 допускают некоторую “зоопарковость” в построении систем. Вот требования к вендорам “железа” в построении Parallel DataWarehouse они больше схожи с требованиями к Windows Phone 7.

Наверняка найдутся люди, которым подход по построению ПАК не нравится, но их никто не ограничивает в свободе действий и они всё так же могут собирать свои собственные конфигурации. Весь вопрос в том, сколько времени и ресурсов они готовы отдать на создание и тестирование своих таких конфигураций.

Убедил?

Упоминания в Twitter

pdiyakov смартфоны и хранилища данных–что общего http://itaas.ru/1tr
Re-Tweet | Reply | View Tweet
View Comments

PDW_Hub_and_Spoke_Picture_v3Последние несколько дней я задаюсь вопросом: а зачем люди выбирают большую очень дорогую железку с очень дорогим софтом (всё от одного производителя) для того, чтобы построить хранилище данных? Когда начинаешь ковырять тему поглубже начинаешь задаваться ещё одним вопросом: зачем выбирать это супер дорогое решение, если его даже протестировать нельзя у себя?

Вот у Microsoft видение на архитектуру хранилищ данных иное (речь идёт о Parallel Data Warehouse или PDW):

1. Хранилище данных не обязательно должно быть дорогим с точки зрения аппаратуры (можно использовать стандартное железо)

2. Хранилище данных может быть распараллеливаемым и строиться из модулей

3. виртуализация в полный рост. Я в данном моменте имею в виду, виртуализацию, как абстрагирование софта от конкретного серверного железа.

4. Хранилище данных можно строить на менее дорогом ПО. (в тему статья о том, почему SQL Server реально дешевле Oracle)

Получаем решение, которое заказчики могут строить на различных протестированных конфигурациях (appliances) от разных вендоров железа. Можно построить распределённую параллельную конструкцию, которая увязывает воедино различные источники и витрины данных, при этом пользователи работают в привычной среде с привычных устройств (никто не мешает ходить с iPad к порталу на SharePoint 2010 и работать с отчётами через Office Web Apps).

Я считаю главным преимуществом этого подхода именно вариативность по железкам. Вы можете использовать сначала железо одного вендора, а потом другого. В случае нехватки мощностей, можно докупить дополнительный модуль (от третьего уже производителя). Никаких проблем с тестированием решения для обкатки архитектуры, никаких проблем с выбиванием хороших цен – конкуренция двигатель снижения расходов заказчиков.

Почитать можно подробнее здесь:

SQL Server 2008 Parallel Data Warehouse Edition – http://www.microsoft.com/sqlserver/en/us/editions/data-warehouse.aspx

Enterprise Data Warehousing -http://www.microsoft.com/sqlserver/en/us/solutions-technologies/data-warehousing.aspx

Презентация PDW – http://www.microsoft.com/global/sqlserver/2008/en/us/RichMedia/Parallel%20Data%20Warehouse/Default.html

upd После дискуссии в Twitter добавил в заголовок поста слово очень. Так справедливей.

Упоминания в Twitter

pdiyakov Должно ли хранилище данных стоить дорого? http://itaas.ru/tzm
Re-Tweet | Reply | View Tweet
View Comments

Категории

Web 2.0 штучки


Лента обновлений

Архив

ТОП записей

Тэги

IT as a Service

Microsoft App Platform

Mission Critical Solutions

SQL Server resources

Комментарии

Тэги

Архив