На сайте коллег из HP доступна детальная спецификация решений HP Enterprise Data Warehouse Appliance, которое построено на основе Microsoft SQL Server PDW. Думаю сия информация будет особенно полезна тем, кому хочется знать что же внутри этой железки именно из железа, так как в Microsoft мы любим рассказывать про бизнес-преимущества решений на основе SQL PDW, а есть аудитория, которым подавай анатомию этих самых программно-аппаратных комплексов.
Для тех, кому интересна детальная анатомия можно посмотреть на цитату из оригинала с картинками и составом Control Rack и Data Rack ниже. Тем кому интересно узнать на какие объёмы расчитаны возможные на текущий момент конфигурации могу сказать, что решение рассчитано на объёмы хранилищ от 28 Терабайт данных до 508 Терабайт.
User Data Capacity
Number of Data Racks Ordered
1
2
3
4
11 300GB LFF Disks
38TB
76TB
114TB
152TB
24 300GB SFF Disks
76TB
152TB
228TB
304TB
11 1TB LFF Disks
127TB
254TB
381TB
508TB
Control Rack – Front View
Data Rack – Front View
1.
HP InfiniBand 9040 InfiniBand switch with (2) 12-port DDR leaf nodes (1)
1.
HP InfiniBand 9024 Base DDR InfiniBand Switch (2)
2.
Backup server and storage (configuration and space required dependent upon total capacity of the Enterprise Data Warehouse Appliance)
2.
Compute Nodes – HP ProLiant DL360 G7 servers (10 active nodes plus one spare)
3.
Backup MSA storage (component of backup server)
3.
HP 8/40 Base 24 ports enabled SAN Switch (2)
4.
HP ProLiant DL380 G7 backup server
4.
HP ProCurve Switch 2810-48 G (2)
5.
HP 8/8 (8) ports enabled SAN switch (2)
5.
Storage Nodes – HP StorageWorks MSA P2000 G3 arrays (10)
6.
HP ProCurve Switch 2810-24 G (2)
7.
Control Node – HP ProLiant DL380 G7 servers (2)
8.
Control Node storage: HP StorageWorks MSA P2000 G3 array (2)
9.
Management servers – HP ProLiant DL360 G7 servers (2)
10.
Landing Zone – HP ProLiant DL370 G6
Упоминания в Twitter
pdiyakov Анатомия программно-аппаратного комплекса HP EDW http://itaas.ru/ct8
Современные автомобильные гонки требуют постоянного анализа огромных массивов данных, поступающих с гоночных автомобилей во время тренировок, квалификаций и гоночных заездов.
Гонки же Формулы 1 представляют собой передовую инноваций не только автоспорта, но и автомобильной промышленности. Причём это касается и информационных технологий. Так, автомобиль Формулы 1 генерирует сотни миллионов точек данных в час. Данные в систему мониторинга и оценки производительности поступают от тысяч компонент автомобиля ежесекундно. Во время одной гонки или тестового заезда одна гоночная машина производит 700 миллионов значений данных, генерируемых менее чем за два часа. За один сезон, гоночная команда накапливает сотни миллионов измерений. Извлечение и анализ такого большого количества исторических данных для получения полезных и значимых данных является серьёзным вызовом для гоночных команд.
Один из лидеров современной Формулы 1 McLaren, которая, помимо участия в гонках Formula 1, также делает “гражданские” спорткары, решила одной из первых в мире испытать решение SQL Server PDW (Parallel Data Warehouse). Консультанты компании EMC помогли построить аналитическое хранилище на основе SQL Server PDW, серверов Dell PowerEdge и систем хранения EMC CLARiiON. Тестовая система, на которой отрабатывались сценарии загрузки данных и анализа, построена на стандартном оборудовании DeLL и EMC и состоит из серверного шкафа управления и одного шкафа данных, состоящего из восьми узлов БД.
Результаты тестов
загружено 1.5 ТБ данных одной сессии в хранилище PDW.
Скорость загрузки более 100 Мбайт в секунду.
Такие скорости загрузки позволяют загрузить в аналитическую систему данные одного заезда гоночной машины и сделать их доступными для анализа за 7 минут.
После загрузки данных в хранилище, была проведена симуляция и объём хранилища составил 12 ТБ. Это позволило эмулировать данные с 90 полных гоночных заездов и тестовых сессий. Такой объём данных позволил проводить анализ по общим данным сессий, содержащимся почти в 400 миллиардов строк телеметрических данных.
Консультанты EMC, смогли провести поиск сходных шаблонов данных между сессиями, затрачивая на каждый запрос примерно 13 секунд.
В результате тестовых испытаний Parallel Data Warehouse появилась возможность проводить интерактивный анализ по всему объёму исторических данных, получая за секунды ответы на вопросы “Где такое случалось раньше?” и “Как это событие связано с другим событием?”. Таким образом решение PDW позволяет находить и строить различные зависимости и взаимосвязи между кластерами данных в различной исторической перспективе.
Подробности о решении здесь.
По-моему этот пример, который стал одним из первых публичных примеров использования PDW для анализа данных. Прошу заметить, что этот пример, также показывает один из полезных и удобных для заказчиков моментов решения Microsoft SQL Server Parallel Data warehouse – быстрый анализ больших объёмов данных возможен за небольшие деньги на стандартном оборудовании различных вендоров.
Упоминания в Twitter
pdiyakov McLaren собирается использовать SQL Server Parallel Data Warehouse http://itaas.ru/d6u
Многие уже знают про то, что такое SQL Server 2008 R2 Parallel Data Warehouse. На сайте HP доступна информация о первом программно-аппаратном комплексе для поддержки SQL Server PDW. Называется он HP Enterprise Data Warehouse Appliance. Рассчитан HP EDWA на построение хранилищ данных размерами от 48 ТБ до 500 ТБ.
Вычислительные узлы строятся на основе серверов HP ProLiant DL360 G7 с двумя Intel® Westmere процессорами и 12 ядрами и СХД HP StorageWorks P2000 G3 MSA.
Я пока не могу очень много информации распространять, посему привожу ссылки на сайт HP, где многое доступно уже сейчас.
Моя новая работа связана с продвижением прикладной платформы Microsoft для построения mission critical систем (на русский язык я бы перевёл как критически важных для бизнеса систем) в некоторых государственных организациях.
Для себя термин Mission Critical Sistem (критически важная система) я определяю следующим образом: система, без которой невозможно функционирование предприятия. Например, для коммерческих организаций такой системой может быть система обработки заказов, простой которой приведёт к штрафным санкциям со стороны клиентов. Основная нагрузка в таких системах ложится, как правило, на слой работы с данными (это могут быть как транзакционные данные, так и аналитические хранилища). Для Microsoft же это не только СУБД (SQL Server), но и решения из области Application Platform вообще.
Я присоединился к этому направлению в Microsoft, в частности, потому что мне нравится благородная цель компании как в направлении развития рынка СУБД, так и в области решения для критически важных систем. Цель же эта и её благородство были хорошо сформулированы в ролике, показанном перед первым кейноутом на прошедшем недавно PASS Summit: Microsoft делает всё, чтобы высокопроизводительные СУБД стали доступны большому числу заказчиков. Достижение высокой доступности, масштабируемости и производительности на СУБД не должно быть супердорогим. В этом смысле Microsoft давно уже начала процесс консьюмеризации ИТ.
Сегодня мне хотелось бы рассказать о том, какие информационные ресурсы Microsoft доступны для принятия решения по построению mission critical систем на нашей платформе. Дам ссылки на ресурсы и примеры внедрений.
Примеры внедрений
Очень часто, к сожалению от плохой информированности есть у потенциальных заказчиков убеждение о том, что Microsoft не способна работать на больших объёмах данных. К счастью это не так. Вот примеры. Прошу обратить внимание на достаточно существенные объёмы данных. Для подтверждения реальных ситуаций в заказчиках есть результаты “идеальных” тестов, ссылка на них приведена в “ресурсах”
−MySpace – 4.4 million параллельных пользователей в пиковое время, 8 миллиардов friend’ов, 34 миллиарда e-mails, 1 PetaByte хранилище, масштабирование с использованием технологий SSB и SOA
−Mediterranean Shipping Company Managing – вторая в мире по величине компания, занимающаяся контейнерными перевозками:
- 35 тысяч сотрудников, 400 кораблей, обслуживание в 280 портах - 22 TB хранилище на SQL Server; - Самый большой экземпляр SQL Server – 1.8 TB; - 210 миллиардов транзакций в год; - 396 907 транзакций в минуту.
SQL Server Customer Advisory Team (SQLCAT) Работает с самыми большими и сложными проектами во всем мире. Канал для передачи требований клиентов и ISV к функциональности в продуктовую группу. Обмен опытом работы с SQL Server с SQL Server community SQLCAT.com
http://www.networkworld.com/community/node/63390 – статья в networkworld где человек, который управляет как SQL Server администраторами, так и Oracle администраторами, проводит ценовое сравнение двух вендоров. Расчёт ведётся для 256-ти процессорного сценария. Для SQL Server 2008 R2 Datacenter цена получается большая – 15 миллионов 360 тысяч долларов США. Но если брать цену на Oracle, то у него выходит при 256-ти двух ядерных процессорах (512 ядер) цена в 23 миллиона с небольшим долларов США. При этом если ориентироваться не новые процессора с бОльшим количеством ядер суммы получаются астрономические. При этом автор расчёта призывает задуматься, а стоят ли все эти фичи, которые есть в Oracle затраченных денег (тем более, что примеры внедрений показывают реальные способности SQL Server).
So it’s really time for all you Oracle guys out there to stop bending the numbers so much by throwing in these ridiculous parameters that make Oracle seem less expensive. And trying to justify the cost with features doesn’t work either cause all of those features you tout (Advanced Data Guard, etc) are 3% features that hardly anybody uses. There’s no argument that Oracle beats SQL Server in rich features. P-SQL has more features than T-SQL and Oracle simply has better high-end features for HA and DR. That said, most people don’t need a lot of those features especially when you see how expensive they are. – Sean McCown
Калькулятор для ценового сравнения решений на основе SQL Server и Oracle. Расчёт строится на основе задания следующих параметров: количество серверов, прайс-лист, уровень скидок, зарплата администратора (к последнему параметру у меня двойственное отношение – ведь хороший специалист стоит дорого для любой технологии, не случайно, по умолчанию, в этом калькуляторе указана одинаковая цена. http://www.microsoft.com/sqlserver/en/us/tools/cost-savings-calclator.aspx
Надеюсь эти материалы помогут в принятии разумных решений по выбору платформы для ваших критически важных информационных систем. Я планирую рассказывать и дальше о решениях Microsoft.
Упоминания в Twitter
lukovkin RT @pdiyakov: Набор информационных ресурсов для построения mission critical систем на платформе Microsoft - http://itaas.ru/k6y
На этой неделе 17-го и 18-го ноября в Москве проходит основное ИТ-мероприятие года – конференция Microsoft Платформа 2011. Я уже как-то писал, что извержение ирландского вулкана должно было положительным образом повлиять на развитие рынка Unified Communication и Интернет-трансляций. Вот очередной повод приобщиться к данному мэйнстримному режиму получения информации (если вы этого не сделали во время TechEd, PASS Summit, PDC и прочих мероприятий).
Следить за мероприятием можно с помощью онлайн-трансляции. Трансляция начнется 17-ого ноября в 10:00 и 18 ноября в 9:30. Регистрируйтесь, составляйте своё расписание и следите. Кстати, официальный тэг для отслеживания Платформы в Twitter – #msplatforma.
И не забываем про он-лайновый семинар про построение хранилищ данный с помощью SQL Server (FastTrack for DW, SQL Server 2008 R2 PDW).
Упоминания в Twitter
pdiyakov “Платформу” будут транслировать в Интернет http://itaas.ru/jor
В свете сегодняшнего официального анонса SQL Server PDW очень рекомендую посетить онлайн семинар LEVERAGING DATA WAREHOUSING APPLIANCES. Семинар состоится 16-го ноября и будет посвящён технологиям построения хранилищ данных.
В рамках данного семинара будет подробно рассказано о решении Microsoft Parallel Data Warehouse (PDW), кроме того, у слушателей будет уникальная возможность послушать приглашённых экспертов о стратегиях построения хранилищ данных. В качестве приглашённых экспертов выступят:
Bill Inmon - отец концепции хранилищ данных, который расскажет о концепции DataWarehouse 2.0 и покажет, почему SQL Server PDW является основой перехода к DW 2.0.
William McKnight – консультант в области управления информацией, который будет рассказывать про стратегии консолидации хранилищ данных в рамках единой платформы.
Кроме того, вас ждут продуктовые сессии:
от Microsoft, где подробно будет рассказано о решении SQL Server PDW
совместная сессия Microsoft/HP, где будет рассказано как с помощью традиционных решений, FastTrack и PDW решать задачи по управлению информацией.
Повестка семинара:
9:00 AM – Doors Open: Set up your profile and begin networking! (Networking Lounge Open)
9:15 AM – Keynote Presentation Featuring Bill Inmon:
Architecture for the Next Generation of Data Warehousing and DW Appliances – Evolving Together
10:00 AM – Live Q&A with Bill Inmon (Microsoft Booth)
10:15 AM – Exhibit Hall Open
10:30 AM – Microsoft Session: Parallel Data Warehouse Overview (Val Fontama and Mark Theisson)
11:00 AM – Live Q&A Featuring Microsoft’s Val Fontama and Mark Theisson (Microsoft Booth)
11:15 AM – Networking Lounge Open, Prize Giveaway
11:30 AM – HP and Microsoft: Mission-Critical Applications Made Simple to Speed Business Advantage
12:00 PM – Live Q&A Featuring HP’s Jeff Spiller (HP Booth)
12:15 PM – Networking Lounge, Exhibit Hall Open
12:30 PM – Expert Presentation Featuring William McKnight:
Strategies for Consolidating Enterprise Data Warehouses and Data Marts into a Single Platform
1:00 PM – Live Q&A with William McKnight
1:15 PM – Networking Lounge Open, Prize Giveaway
1:30 PM – Doors Close
Упоминания в Twitter
moreshin RT @pdiyakov: Онлайн семинар по построению хранилищ данных http://itaas.ru/kb5
Среди сессий с североамериканского TechEd есть сессия, посвящённая SQL Server 2008 R2 Parallel Data Warehouse. На ней Matt Peebles, Principal Architect рассказывает подробности об архитектуре SQL Server PDW, рассматривает различия между SMP и MPP, а также помогает понять в целом всю картину с решением Microsoft по построению больших хранилищ данных.
