На сайте коллег из HP доступна детальная спецификация решений HP Enterprise Data Warehouse Appliance, которое построено на основе Microsoft SQL Server PDW. Думаю сия информация будет особенно полезна тем, кому хочется знать что же внутри этой железки именно из железа, так как в Microsoft мы любим рассказывать про бизнес-преимущества решений на основе SQL PDW, а есть аудитория, которым подавай анатомию этих самых программно-аппаратных комплексов.

Для тех, кому интересна детальная анатомия можно посмотреть на цитату из оригинала с картинками и составом Control Rack и Data Rack ниже. Тем кому интересно узнать на какие объёмы расчитаны возможные на текущий момент конфигурации могу сказать, что решение рассчитано на объёмы хранилищ от 28 Терабайт данных до 508 Терабайт.

Упоминания в Twitter

	pdiyakov Анатомия программно-аппаратного комплекса HP EDW http://itaas.ru/ct8
	Re-Tweet | Reply | View Tweet

Современные автомобильные гонки требуют постоянного анализа огромных массивов данных, поступающих с гоночных автомобилей во время тренировок, квалификаций и гоночных заездов.

Гонки же Формулы 1 представляют собой передовую инноваций не только автоспорта, но и автомобильной промышленности. Причём это касается и информационных технологий. Так, автомобиль Формулы 1 генерирует сотни миллионов точек данных в час. Данные в систему мониторинга и оценки производительности поступают от тысяч компонент автомобиля ежесекундно. Во время одной гонки или тестового заезда одна гоночная машина производит 700 миллионов значений данных, генерируемых менее чем за два часа. За один сезон, гоночная команда накапливает сотни миллионов измерений. Извлечение и анализ такого большого количества исторических данных для получения полезных и значимых данных является серьёзным вызовом для гоночных команд.

Один из лидеров современной Формулы 1 McLaren, которая, помимо участия в гонках Formula 1, также делает “гражданские” спорткары, решила одной из первых в мире испытать решение SQL Server PDW (Parallel Data Warehouse). Консультанты компании EMC помогли построить аналитическое хранилище на основе SQL Server PDW, серверов Dell PowerEdge и систем хранения EMC CLARiiON. Тестовая система, на которой отрабатывались сценарии загрузки данных и анализа, построена на стандартном оборудовании DeLL и EMC и состоит из серверного шкафа управления и одного шкафа данных, состоящего из восьми узлов БД.

Результаты тестов

• загружено 1.5 ТБ данных одной сессии в хранилище PDW.
• Скорость загрузки более 100 Мбайт в секунду.

Такие скорости загрузки позволяют загрузить в аналитическую систему данные одного заезда гоночной машины и сделать их доступными для анализа за 7 минут.

После загрузки данных в хранилище, была проведена симуляция и объём хранилища составил 12 ТБ. Это позволило эмулировать данные с 90 полных гоночных заездов и тестовых сессий. Такой объём данных позволил проводить анализ по общим данным сессий, содержащимся почти в 400 миллиардов строк телеметрических данных.

Консультанты EMC, смогли провести поиск сходных шаблонов данных между сессиями, затрачивая на каждый запрос примерно 13 секунд.

В результате тестовых испытаний Parallel Data Warehouse появилась возможность проводить интерактивный анализ по всему объёму исторических данных, получая за секунды ответы на вопросы “Где такое случалось раньше?” и “Как это событие связано с другим событием?”. Таким образом решение PDW позволяет находить и строить различные зависимости и взаимосвязи между кластерами данных в различной исторической перспективе.

Подробности о решении здесь.

По-моему этот пример, который стал одним из первых публичных примеров использования PDW для анализа данных. Прошу заметить, что этот пример, также показывает один из полезных и удобных для заказчиков моментов решения Microsoft SQL Server Parallel Data warehouse – быстрый анализ больших объёмов данных возможен за небольшие деньги на стандартном оборудовании различных вендоров.

Упоминания в Twitter

	pdiyakov McLaren собирается использовать SQL Server Parallel Data Warehouse http://itaas.ru/d6u
	Re-Tweet | Reply | View Tweet

Многие уже знают про то, что такое SQL Server 2008 R2 Parallel Data Warehouse. На сайте HP доступна информация о первом программно-аппаратном комплексе для поддержки SQL Server PDW. Называется он HP Enterprise Data Warehouse Appliance. Рассчитан HP EDWA на построение хранилищ данных размерами от 48 ТБ до 500 ТБ.

Вычислительные узлы строятся на основе серверов HP ProLiant DL360 G7 с двумя Intel® Westmere процессорами и 12 ядрами и СХД HP StorageWorks P2000 G3 MSA.

Я пока не могу очень много информации распространять, посему привожу ссылки на сайт HP, где многое доступно уже сейчас.

Статья в блоге SQLPDW про HP EDW

HP EDW site

HP EDW fact sheet

Упоминания в Twitter

	MShishov RT @pdiyakov: Немного про HP Enterprise Data Warehouse Appliance http://itaas.ru/k1t
	Re-Tweet | Reply | View Tweet

	pdiyakov Немного про HP Enterprise Data Warehouse Appliance http://itaas.ru/k1t
	Re-Tweet | Reply | View Tweet

Не всегда бывает просто понять – зачем переходить на новую версию оборудования или ПО. В случае с Microsoft SQL Server 2008, появляется достаточное количество обоснований для перехода, среди которых: инструменты бизнес-анализа; функции по обеспечению непрерывности бизнес; улучшения в производительности и управляемости. Утверждается, что миграция с SQL Server 2005 на SQL Server 2008 – проста, а миграция с SQL Server 2000 – жизненно необходима. Кстати, мы совсем недавно проводили тестирование одной критически важной системы крупного заказчика – в результате тестов на одном и том же оборудовании (после некоторых доработок) при миграции с SQL Server 2000 на SQL Server 2008 R2 производительность системы была увеличена на 40%.

В одной рассылке пришёл хороший документ с разъяснением необходимости миграции на SQL Server 2008. Основная аудитория документа – заказчики из сегмента Малого и Среднего бизнеса с уже развёрнутыми SQL Server 2005 либо SQL Server 2000 (да-да, таких очень много). Не буду полностью приводить этот документ, а приведу лишь краткие выдержки. И сразу к причинам обоснования такого перехода:

причина 1: возможности бизнес-анализа.

Да, в нашей стране с шальными нефтеденьгами тыжело говорить про бизнес-аналитику, но даже и тут есть заметные подвижки. Те бизнесы, которые всерьёз задумываются о стратегии своей жизни и выживания в конкурентной среде, с помощью инструментов бизнес-анализа, встроенных в SQL Server 2008 уже сейчас начать ими пользоваться. При этом эти инструменты встроены в саму СУБД, за них не нужно платить дополнительные деньги. Таким образом, бизнес-анализ становится доступен не только тем, кто обладает огромными бюджетами, но и тем кто “поменьше”.

Подробнее с инструментами бизнес-анализа можно познакомиться здесь:

http://www.powerpivot.com/

http://www.microsoft.com/sqlserver/ru/ru/solutions-technologies/business-intelligence.aspx

причина 2: обеспечение высокой доступности данных

В SQL Server 2008 было сделано много для повышения уровня доступности данных. Например, зеркалирование стало доступно как в редакции Enterprise Edition так и в редакции Standard Edition.

Подробнее о доступности здесь: http://www.microsoft.com/sqlserver/2008/ru/ru/high-availability.aspx

причина 3: повышение производительности баз данных

Миграция на SQL Server 2008 приводит к повышению производительности БД, при этом с высокой эффективностью с точки зрения цены. Например, можно сильно снизить затраты на систему хранения данных, используя компрессию данных как на уровне данных, так и на уровне резервной копии. 

http://www.microsoft.com/sqlserver/2008/ru/ru/benchmarks.aspx

http://www.microsoft.com/sqlserver/2008/ru/ru/performance-scale.aspx

причина 4: централизованное управление базами данных

В SQL Server 2008 появилась возможность управления серверами БД на основе политик (в редакции Enterprise Edition и в редакции Standard Edition). Данный функционал позволяет централизованно создавать политики управления всеми серверами SQL Server 2008 в рамках организации.

http://www.microsoft.com/sqlserver/2008/ru/ru/manageability.aspx

http://www.microsoft.com/sqlserver/2008/ru/ru/server-consolidation.aspx

причина 5: ни когда не мешает работать на современной версии

При абсурдности, на первый взгляд, такого тезиса он верен и интересен при детальном рассмотрении. SQL Server 2008 хорошо и тесно интегрирован с Windows Server 2008 (тут вам и виртуализация и инструменты, типа, PowerShell), с SharePoint и другими продуктами.

причина 6: SQL Server 2000 необходимо мигрировать

Хотя бы в виду сроков его поддержки со стороны Microsoft

http://support.microsoft.com/lifecycle/?p1=2852

причина 7: с SQL Server 2005  имеет смысл мигрировать

так как это простой путь миграции, который даёт все возможности, перечисленные выше без затрат на переписывание приложений. Кроме того, SQL Server 2005 также будет однажды снят с поддержки

http://support.microsoft.com/lifecycle/?p1=2855

Дополнительные ресурсы по миграции можно найти здесь:

http://www.microsoft.com/sqlserver/2008/ru/ru/migration.aspx

P.S. Обнаружилась ещё одна статья про другие 7 причин перехода на SQL Server 2008 R2 http://www.infoworld.com/d/data-management/seven-reasons-care-about-sql-server-2008-r2-631

Упоминания в Twitter

	pdiyakov Семь причин для миграции на SQL Server 2008 http://itaas.ru/kpn
	Re-Tweet | Reply | View Tweet

Презабавнейшая статья вышла на желто-cnews. Опять подмена понятий -  инновации и снижение затрат госорганов на ИТ, почему-то понимают слишком узко. По мне это просто спуск денег на поддержание частного репозитория от Альтлинукса, а это, IMHO, разные вещи.
Смешно когда говорят про инновации и репозиторий, которому 10 лет. Интересно, а как много в этом репозитории "пукающих" приложений (ну чтобы совсем как в App Store было) и как часто там приложения обновляются. Разве госслужащим на рабочих местах нужны все эти тысячи "приложений"?
Я всегда полагал, что чиновники должны работать с так называемыми LOB-приложениями, но вот эти люди из Альта и аналогичных им, не зная толком чего нужно заказчику лезут втюхивать своё невтюхиваемое.
Совсем не знают коллеги теории и практики продаж – для успешных продаж нужно решать реальные проблемы заказчиков, а не пытаться втюхать им свой продукт, просто потому, что он есть.

Вообще очень напоминает историю с Михалковым и 1%.

Упоминания в Twitter

	madman61rus Путин распорядился перевести власти на Linux http://itaas.ru/726
	Re-Tweet | Reply | View Tweet

	artlebsak RT @pdiyakov: Путин распорядился перевести власти на Linux http://itaas.ru/726
	Re-Tweet | Reply | View Tweet

	pdiyakov Путин распорядился перевести власти на Linux http://itaas.ru/726
	Re-Tweet | Reply | View Tweet

Предлагаю поговорить про консьюмеризацию ИТ.

Очень часто приходилось и приходится слышать старую сказку о том, что “Microsoft не играет в Enterprise и в критически-важных системах”. Мол, Oracle и IBM с их Java – вот это игроки. В том, что это сказка, можно убедиться, посмотрев на исследование компании IDC 2009 Mission Critical North American Application Platform Study.  Исследование проведено среди ИТ-департаментов, отвечающих за критически-важные (mission critical) системы показало что:

• Заказчики всё чаще полагаются на Платформу и инструменты разработки Microsoft
• Лидерами рынка Платформ разработки являются Microsoft, IBM и Oracle
• Microsoft стала лидером в традиционных платформенных решениях: ОС, СУБД, сервера приложений, порталы, средства управления инфраструктурой
• платформа .Net – лидер среди традиционных средств разработки

Ниже представлены некоторые результаты исследования IDC.

Вопрос 3: Какие ОС вы используете для критически-важных систем сейчас и в перспективе 2-х лет?

Интересная тенденция. Расти, согласно этому опросу, будут доли Windows Server и Linux. Судя по всему, время очень дорогих решений уходит. Высокая доступность информационных систем, становится более доступна заказчикам по цене.

Вопрос 5. Какие языки программирования и среды разработки используются при разработке критически-важных систем.

Вопрос 15. Какой сервер приложений используется в качестве основного.

Как видно, из ответов на данный вопрос следует, что Windows Server обходит всех поставщиков решений на основе Java.

Вот ещё некоторые результаты опроса в сводном виде:

• Windows Server на первом месте (52.7%) среди ОС для развёртывания критически-важных систем
• Windows Server и .NET на первом месте (54.1%) среди серверов приложений
• Уровень использования .NET среди предприятий выше Java
• Windows Server – ОС #1 (46%) для критически-важных систем, написанных на Java
• SharePoint является лидером (по сравнению с IBM WebSphere) в качестве портала для критически-важных систем 
• SQL Server лидирует (в сравнении с Oracle) в качестве СУБД #1, используемой для критически-важных систем
• BizTalk Server лидирует (в сравнении с Oracle) как технология интеграции процессов #1, используемой для критически-важных систем
• Microsoft на первом месте (58.6%) среди поставщиков сервисно-ориентированной архитектуры

Мне кажется, что если повнимательней отнестись к результатам опроса, посмотреть на стоимость решений, то можно согласиться с тезисом Стива Балмера: “Консьюмеризация ИТ началась давно, и начала её Microsoft”. Ну цель такая у Microsoft – сделать High End от ИТ-индустрии более доступным. Так и движемся к этой высокой цели.

А Вы тоже думаете, что консьюмеризацию ИТ начала Apple?

Упоминания в Twitter

	pdiyakov К вопросу про консьюмеризацию ИТ. Наткнулся на исследование IDC про mission-critical системы. Интересные результаты http://itaas.ru/7c5.
	Re-Tweet | Reply | View Tweet

Интересно понаблюдать за “драйверами” попыток перехода на Открытое ПО в России и на Западе. Говорю именно про попытки, а не про переход. Если посмотреть на примеры внедрения Linux на серверах, то главным сценарием в Штатах можно отметить (на примере Red Hat) миграцию с дорогих RISC серверов на дорогом UNIX на дешёвую альтернативу в виде x86 и серверной Linux. В области десктопов говорится о снижении расходов за счёт перехода на более дешёвую альтернативу. При этом такой переход не всегда становится оправдан, если смотреть на картину целиком и оценивать полное value перехода или развития существующей десктопной платформы.

В России же основная шумиха по внедрению Открытого ПО идёт как раз вокруг десктопа. Обусловлена такая шумиха в первую очередь политическими факторами, а не финасово-экономическими. По крайней мере, когда речь идёт о государственных организациях. А больше всего приходится наблюдать, картину при которой заявления о переходе на Открытое ПО на десктопах становятся оправданием колоссальных трат на супердорогие серверные игрушки.

Это мои выводы по наблюдениям за рынком с разных сторон.

Упоминания в Twitter

	vgabriel RT @pdiyakov: Разница в подходах к внедрению Открытого ПО на Западе http://itaas.ru/db6
	Re-Tweet | Reply | View Tweet

	artlebsak RT @pdiyakov: Разница в подходах к внедрению Открытого ПО на Западе http://itaas.ru/db6
	Re-Tweet | Reply | View Tweet

	pdiyakov Разница в подходах к внедрению Открытого ПО на Западе http://itaas.ru/db6
	Re-Tweet | Reply | View Tweet

Сегодня было объявлено о том, что Лондонское метро и Microsoft заключили соглашение, по которому публичные данные лондонского метро о транспорте будут размещены в публичном облаке Windows Azure. Ожидается, что такое размещение поможет в разработке сторонних приложений, использующих эти данные. Думаю они смогут быть доступны через Datamarket и это будет интересно. Вот так тихо и незаметно лондонское метро пошло в облака. Интересно, а когда наши транспортные компании захотят сделать свою информацию публичной и доступной сторонним разработчикам?

Упоминания в Twitter

	SolomkoA RT @pdiyakov: Лондонское метро переводит свои данные в Azure http://itaas.ru/xaw
	Re-Tweet | Reply | View Tweet

	pdiyakov Лондонское метро переводит свои данные в Azure http://itaas.ru/xaw
	Re-Tweet | Reply | View Tweet

Упоминания в Twitter

	pdiyakov cnews смешно написали про рынок BI http://itaas.ru/ktw
	Re-Tweet | Reply | View Tweet

Интересный отчёт попался на глаза об уязвимостях и проблемах безопасности в различных СУБД. Отчёт с графиком, который показывает тенденцию того, как меняется качество программных продуктов различных вендоров. Специалисты из NIST провели подсчёт и сделали вывод, что SQL Server является лидером с точки зрения безопасности. Oracle же является худшим продуктом с точки зрения безопасности его кода, начиная с 2002 года.

Приведу пару графиков из отчёта:

График показывает количество выявленных уязвимостей в различных СУБД (SQL Server, Oracle, DB2, MySQL), начиная с 2002 года. Интересна тенденция – качество кода SQL Server драматически улучшается год к году, качество кода Oracle как драматически ухудшилось, так и не меняется где-то с 2006-го года.

На втором же графике видно общее количество уязвимостей с 2002-го года по 2010. Если же сложить Oracle и MySQL (как продукты объединённой компании), то для лидера рынка СУБД ситуация совсем странная. Странной я считаю эту ситуацию, так как не понимаю, как можно так не серьёзно относиться к качеству своих продуктов.

Упоминания в Twitter

	pdiyakov Как обстоят дела с уязвимостями в СУБД http://itaas.ru/elp
	Re-Tweet | Reply | View Tweet