Microsoft SQL Server 2005 Новые возможностиОснова построения систем обработки данных масштаба предприятия

SQL Server 7.0
SQL Server 2005
SQL Server 2000
Высокая доступность
Высокая масштабируемость
Безопасность
Продуктивность разработчиков
Глубокая поддержка XML
Первый кто включил Enterprise ETL & глубокий Data Mining
Акцент на производитель-ность и масштабирование
Поддержка XML
Первый кто включил уведомление
Первый кто включил Data Mining & Reporting
Пересмотр архитектуры реляционного сервера
Первый кто сделал автоматическое управление и оптимизацию использования ресурсов
Первый кто включил OLAP & ETL
SQL Server 6.0/6.5
Глубокая интеграция с Windows
1-е Поколение
2е Поколение
3е Поколение
Эволюция SQL Server

Внутри Microsoft
Все базы данных под управлением SQL Server
Microsoft на себе тестирует свои продукты перед их выпуском
Более 15 приложений работали на SQL Server 2005 уже в октябре
Более 50 приложений к RTM
Ключевые для бизнеса приложения работают на Beta 2
Развернут SAP R/3, 1.7 TB
“Feedstore”: Хранилище всех данных Microsoft
2 TB данных, более 1800 таблиц, 500 подписанных систем
Системы Microsoft Sales Revenue Reporting и BI
9,000 пользователей по всему миру
25,000 отчетов в неделю
Полный цикл жизни данных в SQL Server 2005
[Sales] ? SAP ? Feedstore ? Microsoft Sales
Microsoft IT
Ранняя и глубокая адаптация

Продукты Microsoft использующие SQL Server

SQL Server 2000 – что было нового
XML support
SELECT … FOR XML
OpenXML
XML Views
XML Updategrams
XML View Mapper
XML Bulk Load
URL and HTTP db access
HTTP access to cubes
Multi-instance support
Integrated Data Mining
Full-Text Search in formatted
docs
English Query for the Web
C2 security rating (NSA)
Installation disk imaging
Active Directory integration
Self-management and tuning
Distributed Partitioned Views
Log Shipping
Parallel CREATE INDEX
Parallel scan
Parallel DBCC
Failover clustering
Failover cluster management
32 CPU SMP system support
64 GB RAM support
VI SAN support
Indexed views
ROLAP dimension storage
Distributed Partitioned Cubes
Online index reorganization
Differential backup
User-defined functions
Server-less snapshot backup
SQL Query Analyzer debugger
New data types
Column-level collations
Virtual Cube Editor
Linked cubes
MDX Builder
Dimensions
Security in Analysis
Services
OLAP Actions
Custom rollups
Cascading referential
integrity and actions
INSTEAD OF triggers
Indexes on
computed columns
Queued replication
DTS enhancements
Online reorg
Copy Database Wizard

SQL Server 2005
.NET Framework
Common Language Runtime Integration
User-defined Aggregates
User-defined Data Types
User-defined Functions
SQL Server In-Proc Data Provider
Extended Triggers
Data Types
File Stream Storage Attribute
Managed SQL Types
New XML Datatype
SQL Server Engine
New Message Service Broker
HTTP Support (Native HTTP)
Database Tuning Advisor
Enhanced Read ahead & scan
Extended Indexes
Multiple Active Result Sets
Persisted Computed Columns
Queuing Support
Snapshot Isolation Level
Scale Up Partitioning
VIA support
NUMA support
Database Failure and Redundancy
Fail-over Clustering (up to 8 node)
Enhanced Multi-instance Support
Database Mirroring
Database Viewpoints
XML
XQUERY Support (Server & Mid Tier)
XML Data Manipulation Language
FOR XML Enhancements
XML Schema (XSD) Support
MSXML 6.0 (Native)
XQuery Designer
Database Maintenance
Backup and Restore Enhancements
Checksum Integrity Checks
Dedicated Administrator Connection
Dynamic AWE
Fast Recovery
Highly-available Upgrade
Online Index Operations
Online Restore
Parallel DBCC
Parallel Index Operations
Management Tools
MDX Query Editor
MDX Intellisense
T-SQL Intellisense
Version Control Support
XML/A
SQLCMD Command Line Tool
Performance Tuning
Profiler Enhancements
Profiling Analysis Services
Exportable Showplan
Exportable Deadlock Traces
Full-text Search
Indexing of XML Datatype
MDAC
Side by Side installation
Microsoft Installer base setup
Support for Active Directory Deployment
SQL Client .NET Data Provider
Server Cursor Support
Asynch
Security
All Permissions Grantable
Fine Grain Administration Rights
Separation of Users and Schema
Replication
Auto-tuning Replication Agents
Oracle Publication
Improved Blob Change Tracking
OLAP and Data Mining
Analysis Management Objects
Windows Integrated Backup and Restore
Web Services/XML for Analysis
DTS and DM Integration
Eight new DM algorithms
Auto Packaging and Deployment
Data Transformation Services
New Architecture (DTR + DTP)
Complex Control Flows
Control Flow Debugging
For Each Enumerations
Property Mappings
Full Data Flow Designer
Full DTS Control Flow Designer
Graphical Presentation of Pkg Execution
Immediate Mode and Project Mode
Package (Advanced) Deployment Tools
Custom Tasks and Transformations
Reporting Services
Multiple Output Formats
Parameters (Static, Dynamic, Hierarchical)
Bulk Delivery of Personalized Content
Support Multiple Data Sources
Sharepoint Support
Visual Design Tool
Charting, Sorting, Filtering, Drill-Through
Scheduling, Caching
Complete Scripting Engine
Scale Out architecture
XML Report Definition

Продуктивность разработчиков
.NET framework внутри Yukon
Глубокая поддержка XML технологий
Интегрированные веб-службы
Распределенный каркас приложений
Бизнес аналитика
Полная ETL платформа
Аналитика в режиме real-time
Доступный, легкий data mining
Полный цикл работы с отчетами
Управление данными
Гибкость, управляемость, масштабируемость
Улучшенная надежность
Самооптимизация и настройка
Быстрое восстановление
Безопасность и качество
Более 3 лет в разработке
Многократный анализ безопасности
Масштабируемость, Безопасность, Платформа управления данными класса предприятия для Windows Server System

Основные подсистемы
Database Engine
до 50 экземпляров в Enterprise Edition
Analysis Services
Возможность кластеризации, множество экземпляров
Notification Services
Reporting Services
SQL Server Agent
Fulltext Search
Service Broker
Все имеют 32-х и 64-х разрядную версии

Безопасность информации
“Off by Default”
Сокрытие метаданных
Парольная политика
Новые разрешения и уровни разрешений
Разделение схемы и владельца
Контекст выполнения хранимого кода
Безопасность .NET кода

Увеличение доступности данных
Сбои сервера БД
Failover Clustering (кластеризация)
Database Mirroring (зеркалирование БД)
Эксплуатация и оперативная деятельность
Операции с индексами в режиме реального времени
Быстрое восстановление
Более высокая гранулированность восстановления
Ограничения использования данных при параллельном доступе
Snapshot Isolation (версионность на уровне строк)
Ошибки пользователей и приложений
Database snapshots (моментальные снимки БД)

Database Mirroring
Высокая доступность при небольших затратах
Отказоустойчивость баз данных
Быстрое восстановление…менее 3 секунд
Восстановление автоматическое или ручное
Автоматическое, прозрачное для клиентов, перенаправление запросов
Database Snapshots для работы с отчетами
Работает на стандартном оборудовании

Database Snapshots
Снимки БД на определенный момент времени
Создание на том же самом экземпляре сервера БД
Доступны только на чтение
Не требуют полной копии данных
Неизменяемые страницы находятся в совместном доступе
Требуют места на диске только для измененных страниц
Используют механизм “копирование в момент записи”
Оберегают от ошибок пользователей, приложений или DBA
Откат данных в основной БД на момент создания снимка

Доступность данных (продолжение)
Восстановление страниц и файлов в режиме реального времени
БД остается доступной – недоступны только те данные, которые восстанавливаются
Выделенное соединение администратора
Доступ к серверу даже тогда когда обычные соединения не проходят
Не нужен рестарт для прекращения работы вышедших из под контроля сессий
Быстрое восстановление
БД доступна в момент начала операции undo
Undo
Redo
Доступна

Oracle Publishing
Репликация транзакций
Создано специально для Oracle Publishers
v8+ на любой операционной системе
Администрирование подобно SQL Server и из SQL Server
Не требуется устанавливать ПО на стороне Oracle
Требует минимальных знаний Oracle
Требуются только знания SQL Server
стандартные публикации транзакций и моментальных снимков
SQL Server 2005
Distributor
Подписчики

Задачи управления
Интегрируемое управление, богатый пользовательский интерфейс
Сокращение времени и усилий для общих задач управления
Прозрачность сервера
Все операции можно скриптовать

Управление - Management Studio
Интегрированное управление
реляционная БД, Analysis Services, Reporting Services, Notification Services, SQL Server CE…
Управление разными версиями SQL Server из одного интерфейса
Интегрирован с DTS
Богатые средства управления и разработки
Производительность
Управление большим количеством серверов, огромное кол-во объектов

Управление - Инструменты
SQL Trace
Запрос к данным из запущенных трасс
SQL Profiler
Визуализация мертвых блокировок (deadlocks) и плана исполнения (ShowPlan)
Новое: Management Objects (SMO)
Управляемый код, новые шаблоны для разработки
Улучшенное масштабирование и скриптование
Новое: SQLCMD
Новая утилита командной строки
Новое: SQLiMail
Поддержка SMTP, кластеров, не требует Outlook

Динамическая конфигурация сервера
Цель: без перезапусков сервера
Пример: переназначение процессоров не требует рестарт
Dynamic Management Views (виртуальные представления)
Отражают внутреннее состояние
Прозрачность, сервера, диагностирование проблем
Примеры:
SysWaits (waitingTask, spid, waittime, waittype, resource, blockingtask)
sys.memory_clerks – сколько памяти потребляет каждый компонент?
sys.schedulers – не подвис ли планировщик?
События
Асинхронные события на DDL, DML
Могут быть показаны как WMI события
Триггеры на DDL
Используются для извещений, аудита
Управление - Возможности

Range Partitioning (секционирование по диапазонам)
Range Partitioning позволяет разбить объект на множество управляемых кусочков
Прозрачно для приложения
Применимо к
Таблицам
Индексам
Строка является модулем секционирования
Все секции находятся в одной базе данных

Масштабируемость
Масштабируемая платформа БД для критичных к производительности бизнес приложений
Оптимизирован под Windows Server 2003
Поддержка AMD Opteron & Intel Itanium с Beta 2
Отличная производительность
Большая адресация памяти (до 32 TB)
Практически неограниченная вирт память (до 8 TB)
Снижение нагрузки на I/O вследствие большого буферного пула
T-SQL код совместим с SQL Server 2000
Поддержка до 8 узлов в кластере
Тот же самый формат на диске как и 32-bit
64bit поддержка для реляционного движка и BI
Альтернатива дорогим Unix решениям
64-разрядная платформа БД Высокопроизводительные вычисления

Использование существующих умений для разработки
Интеграция с Visual Studio
Множество языков: T-SQL, VB.NET, C#…
Совместно используемые данные между платформами
Поддержка на уровне ядра XML, Web служб
Взаимодействие с любой платформой, приложением
Расширяемость
Поддержка на уровне ядра типа данных XML и типов данных, определенных пользователем
Новая инфраструктура для распределенных приложений: Service Broker
Продуктивность разработчиков

Интеграция с .NET и Visual Studio
Выбор языка программирования
T-SQL для функций и процедур, интенсивно работающих с данными
.NET языки для функций и процедур, интенсивно потребляющих CPU
Выбор где держать логику
База данных или средний слой
Одинаковая модель доступа к данным – ADO.NET
Интегрированные средства отладки на уровне среднего слоя и уровне базы данных
Бесшовные границы между языками – TSQL и .NET
Точки останова где угодно, проверка чего угодно
Гибкость и расширяемость
Пользовательские функции, процедуры, триггеры
Пользовательские типы данных и аггрегаты
Тип данных XML

VS .NET Project
SQL Queries:
select sum(tax(sal,state))
from Emp
where county = ‘King’
Runtime hosted by SQL (in-proc)
Пример разработки

Разработка/Отладка/Развертывание
Новый тип проекта в Visual Studio 2005 для управляемого кода SQL Server 2005
Развертывание по F5
Интеграции отладки
Полная видимость отладчика
Контрольные точки где угодно
Единая поддержка:
Между языками: T-SQL, C#, VB, C++, ..
Между слоями:
Например ASP.NET, далее вызов процедур SQL Server и возвращение обратно

Интеграция SQL 2005 с .NET Framework
SQL 2005 выступает хостером для “in-process managed code”. Это позволяет создавать внутренние объекты сервера (такие как функции, процедуры, и т.д.) на управляемом коде, используя любой из языков .NET.
Для доступа к внутренним данным разработчикам доступен “In-Process Managed Provider”.
ADO.NET - Клиентский доступ к данным.
SQL Management Objects (SMO) – Коллекция классов для управления серверами Microsoft SQL Server.
SQL Replication Management Objects (RMO) – Коллекция классов для управления репликацией.

Объекты БД допускающие реализацию в рамках .NET.
Скалярные функции (возвращающие значение).
Табличные функции (возвращающие таблицу).
Процедуры.
Триггеры.
Пользовательские агрегатные функции.
Пользовательские типы данных.
Замена расширенным хранимым процедурам

WITH PERMISSION_SET=
Определяет набор прав, предоставляемых коду в сборке. Может иметь одно из следующих значений:

In-Process Managed Provider
(доступ к внутренним данным)
In-Process Managed Provider позволяет функциям, процедурам и т.д. написанным на управляемом коде получать быстрый доступ к данным хранящимся в том же экземпляре сервера, в рамках которого они выполняются.
Пространство имен System.Data.SqlServer объединяет классы реализующие функциональность In-Process Managed Provider.

Усовершенствования в TSQL
Новые типы данных
Varchar(MAX), Varbinary(MAX), XML
Рекурсивные запросы (станд. синтаксис ANSI)
Обработка исключений ( try / catch )
Перекомпиляция на уровне операторов
Меньше перекомпиляций => меньше затрат
MARS
Триггеры на DDL
Операторы PIVOT и UNPIVOT
TOP (expression)
…

XML и Web Services

XML и Web Services
Собственный тип данных XML
Столбец, параметр или переменная
Индексы, полнотекстовые индексы
Собственная поддержка XML Web Services
HTTP endpoint определяет URL, порт, запросы
SOAP 1.1 и 1.2, WSDL 1.1
Аутентификация Windows и SQL (только SSL)

SQL Server 2005 обеспечивает ключевую инфраструктуру для архитектур, ориентированных на сервисы (SOA)
Прямой доступ к SQL Server через веб (HTTP/SOAP)
Service Broker – набор сервисов, разъединенный, асинхронный, надежный, распределенные сообщения
Query Notifications – возможность обновлять данные в кэшах промежуточных слоев при их изменении в источнике
Web Клиенты
Быстрореагирующий средний слой, кэширующий данные
Унаследованная не-Windows система
Запросы с уведомлениями
Поток транзакций, основанный на сервисах
SQL запрашивает через HTTP/SOAP
Архитектуры, ориентированные на сервисы

Собственный доступ по SOAP
Доступ к SQL Server основан на стандартах
Независим от клиента
Улучшенная способность к взаимодействию
Новый объект “ENDPOINT AS HTTP”
Информация о конфигурации соединения
Конфигурация аутентификации
Возможность делать функции, процедуры и пакетные файлы TSQL доступными через веб-службы
http://server1/aspnet/default.aspx
http://server1/sql/pubs?wsdl
Kernel
Mode
Listener
SQL Web Services

Асинхронное, распределенное программное окружение
Полностью интегрирован в движок СУБД
Модели программирования - DDL и DML
Интегрированное управление и развертывание
Использует функциональность SQL Server 2005 – Events, Query Notifications, SQLiMail
Преимущества использования: Позволяет использовать новые сценарии – асинхронные хранимые процедуры, масштабируемые распределенные приложения с множеством БД

Позволяет простую реализацию высокоэффективного кэширования данных на среднем слое
Выгрузка результатов запроса с сервера на средний слой для кэширования
SQL Server управляет актуальностью кеша
Обнаруживает изменения и уведомляет клиентов при изменениях результатов запросов
Интегрирован в процессор запросов
Больше не нужно отслеживать самостоятельно актуальность кэша
Нужно добавить только пару строк кода в существующие запросы
ADO.NET
OLEDB
Использует архитектуру Service Broker
Запрос/
Ответ
IIS/
ASP.Net
Уведомление о неактуальности кэша
Запрос & Подписка/
Результаты
SQL Server 2005
Query Notifications
(уведомления при изменении данных)

Data Transformation Services
Расширение возможностей ETL
Платформа ETL уровня предприятия
Высокая производительность
Высокая масштабируемость
Очень удобный
Богатая среда разработки
Контроль исходного кода
Визуальная отладка потока управления и потока данных
Большой набор новых компонент для преобразования
Хорошо расширяемый
Пользовательские задачи
Пользовательские преобразования
Пользовательские источники данных

BI Development Studio
Полный интегрируемый инструмент для разработки BI-приложений
Один инструмент, множество технологий:
Relational, OLAP, DM, DTS, Reporting, Code, Web pages…
Среда для разработки мощных приложений:
Интегрирован в Visual Studio.NET
Командная работа, контроль кода, версионность
Поддержка полного цикла разработки
Разработка, тестирование, развертывание, изменение, тестирование…
Легкость использования

Первая версия была для SQL Server 2000
Открытое и расширяемое решение для работы с отчетами
Создание отчетов, управление и доставка
Интеграция с Office System
Разработка в VS.NET
Улучшения в SQL Server 2005
Интеграция с AS, DTS, средствами управления
Еще больше интерактивности
Еще больше возможностей для пользователей
Reporting Services

Analysis Services
Unified Dimensional Model
Integrating relational and OLAP views
Проактивное кэширование
Перенос лучшего из MOLAP в ROLAP
Современная бизнес аналитика
KPIs (ключевые индикаторы производительности), MDX-скрипты
Web Services
XML/A на уровне ядра

Акцент на Data Mining
Полный набор для анализа
Наиболее популярные алгоритмы для анализа данных (5 новых)
Расширенные возможности среды создания, редактирования и просмотра
Встроенный интеллектуальный анализ данных
Внедрение анализа данных в приложения
Полноценное API на языке SQL
Глубокая поддержка XML/A
Интегрированное решение
Тесная связь с реляционной частью сервера и технологиями OLAP, DTS, Reporting
Полноценная платформа SQL Server BI
Альянс с поставщиками программного обеспечения
Фокус на расширение рынка
Направлен на использование индустриальных стандартов DM основанных на OLE DB для DM и XML/A

Значимость Data Mining
5 новых алгоритмов
Графические инструменты
12 встраиваемых просмотрщиков
Тесная интеграция с AS, DTS, Reporting
Интеграция с приложениями Web/Office
SQL Server 2005

Большой набор алгоритмов
Представлено в SQL Server 2000

SQL Server 2005
Полная и интегрированная платформа для работы с данными

Миграция с SQL Server 2000: Migration Advisor
Основной инструмент для анализа баз данных
Миграция невозможна, если
БД содержит пользователя с именем “sys”
Миграция невозможна, если в коде
есть прямая ссылка на системные объекты с типом ‘S’
к системным объектам идет обращение через “dbo”
есть обновления системных объектов
есть операции над системными объектами типа GRANT, DENY, REVOKE, DROP
предполагается доступ к метаданным пользователям из “public”
есть обращение к недокументированным системным таблицам (н-р sysproperties) или столбцам (н-р sysobjects.status)