В статье рассматриваются типичные проблемы, связанные с целостностью данных, и показывается, какие средства дает Analysis Services 2005 для решения этих проблем.

Проблемы, связанные с целостностью данных, типичны для реляционных баз данных, особенно для оперативных (OLTP) систем. Эти проблемы обычно исправляются с помощью job"ов ETL (Extraction, Transformation и Load - извлечение, трансформация и загрузка), которые загружают данные в хранилище данных. Однако даже в хранилище данных проблемы с целостностью данных - не редкость.

SQL Server 2005 Analysis Services поддерживает кубы, построенные напрямую из оперативных хранилищ данных, и предлагает сложные элементы управления для обеспечения управления проблемами целостности данных, присущими таким системам. Администраторы баз данных могут сильно упростить свои задачи по управлению кубами, используя эти элементы.

Типы проблем, связанных с целостностью данных

В этой главе мы определим основные проблемы целостности данных. Для рассмотрения этих проблем мы будем использовать следующую реляционную модель:

Таблица фактов sales имеет внешний ключ product_id, который указывает на первичный ключ product_id в таблице измерений product.

Таблица измерений product имеет внешний ключ product_class_id, который указывает на первичный ключ product_class_id в таблице измерений product_class.

Рис.1. Реляционная модель

Ссылочная целостность

Проблемы ссылочной целостности (Referential integrity, RI) являются наиболее типичными проблемами целостности данных в реляционных базах данных. Ошибка RI - это по существу нарушение ограничения первичный ключ-внешний ключ. Например:

Таблица фактов sales имеет запись с таким значением product_id, которое не существует в таблице измерений product.

Таблица измерений product имеет такое значение product_class_id, которое не существует в таблице измерений product_class.

Значения NULL

Хотя значения NULL обычны и даже приветствуются в реляционных базах данных, они требуют особой обработки в Analysis Services. Например:

Таблица фактов sales имеет запись со значением NULL в столбцах store_sales, store_cost и unit_sales. Это может быть интерпретировано или как транзакция с нулевыми продажами, или как несуществующая транзакция. Результаты запроса MDX (NON EMPTY) будут различаться в зависимости от интерпретации.

Таблица фактов sales имеет запись со значением NULL в столбце product_id. Хотя это и не является ошибкой ссылочной целостности в реляционной базе данных, эту проблему целостности данных Analysis Services должен обрабатывать.

Таблица product имеет запись со значением NULL в столбце product_name. Так как этот столбец передает ключи и имена товаров в Analysis Services, то значение NULL может быть оставлено как есть, сконвертировано в пустую строку, и т.д.

Ошибки в связях

Analysis Services позволяет определять связи между атрибутами измерений. Например, измерение Product может иметь отношение "многие-к-одному" между столбцами brand_name и product_class_id. Рассмотрим две записи в таблице product со следующими значениями столбцов:

Это нарушение связи "многие-к-одному", так как значение столбца brand_name "Best Choice" имеет два связанных с ним значения столбца product_class_id.

Элементы управления целостностью данных

В этой главе мы рассмотрим различные элементы управления, которые предлагает Analysis Services администраторам баз данных для решения проблемам целостности данных. Заметьте, что эти элементы не являются полностью независимыми. Например, Null Processing (обработка Null) зависит от Unknown Member (неизвестный элемент), а Error Configuration (обработка ошибок) зависит от Null Processing и Unknown Member.

Unknown Member (неизвестный элемент)

Объект Dimension имеет свойство UnknownMember, которое принимает три возможных значения - None, Hidden и Visible. Когда UnknownMember=Hidden/Visible, Analysis Server автоматически создает специальный элемент, называемый Unknown Member (неизвестный элемент) в каждом атрибуте измерения. UnknownMember=Hidden показывает, что неизвестный элемент будет скрыт для результатов запроса и наборов строк схемы. Значение по умолчанию для свойства UnknownMember - None.

Свойство UnknownMemberName может использоваться для определения имени неизвестного элемента. Свойство UnknownMemberTranslations может быть использовано для определения локализованных заголовков неизвестного элемента.

На рис.2 показано измерение Product с UnknownMember=Visible и UnknownMemberName="Invalid Product".

Рис.2. Измерение Product

Null Processing (обработка Null)

Объект DataItem используется в Analysis Services DDL для определения метаданных о любом скалярном элементе данных. Он включает:

Ключевой столбец (столбцы) атрибута

Имя столбца атрибута

Столбец-источник атрибута

Объект DataItem содержит много свойств, включая следующие:

Свойство NullProcessing определяет, какое действие должен предпринять сервер, когда он обнаруживает значение NULL. Это свойство может принимать пять возможных значений:

ZeroOrBlank - сообщает серверу, чтобы он сконвертировал значение NULL в нулевое значение (для числовых элементов данных) или в пустую строку (для строковых элементов данных). Так обрабатывает значения NULL Analysis Services 2000.

Preserve - сообщает серверу, чтобы он оставил значения NULL. Сервер может хранить NULL, как любое другое значение.

Error - сообщает серверу, что значение NULL запрещено в этом элементе данных. Сервер сгенерирует ошибку целостности данных и проигнорирует эту запись.

UnknownMember - сообщает серверу обработать значение NULL как неизвестный элемент. Сервер так же сгенерирует ошибку целостности данных. Эта опция применима только для ключевых столбцов атрибутов.

Default - условное значение по умолчанию. Оно подразумевает использование ZeroOrBlank для измерений и кубов, и UnknownMember для структур добычи данных (mining structures) и моделей.

Заметьте, что опции NullProcessing - Error и UnknownMember, генерируют ошибки целостности данных, а другие опции - нет.

На следующем рисунке показан редактор DataItem для ключевых столбцов атрибута измерения.

Рис.3. Редактор DataItem Collection.

Список ошибок

Перед рассмотрением элемента управления обработки ошибок Error Configuration нам нужно четко определить различные типы ошибок целостности данных, с которыми может встретиться сервер. Мы уже узнали о двух из них в предыдущей главе об обработке Null. Ниже приведен полный список:

NullKeyNotAllowed - эта ошибка генерируется, когда встречается запрещенное значение NULL и запись игнорируется (когда NullProcessing = Error).

NullKeyConvertedToUnknown - эта ошибка генерируется, когда ключевое значение NULL обрабатывается как неизвестный элемент (когда NullProcessing = UnknownMember).

KeyDuplicate - эта ошибка генерируется только во время обработки измерений, когда ключ атрибута встречается больше одного раза. Так как ключи атрибутов должны быть уникальными, сервер проигнорирует повторяющиеся записи. В большинстве случаев такая ошибка допустима. Но иногда она указывает на недостатки в дизайне измерений, что может привести к несогласующимся связям между атрибутами.

KeyNotFound - это классическая ошибка ссылочной целостности в реляционных базах данных. Она может встретиться как при обработке партиций, так и при обработке измерений.

Error Configuration (обработка ошибок)

Объект ErrorConfiguration является центральным в управлении ошибками целостности данных. Сервер имеет конфигурацию ошибок по умолчанию (в конфигурационном файле msmdsrv.ini). Конфигурация ошибок также может быть определена в базе данных, измерении, кубе, группе измерений и партиции. Кроме того, конфигурирование ошибок также может быть задействовано для команд Batch и Process.

Объект ErrorConfiguration определяет, как сервер должен обрабатывать четыре типа ошибок целостности данных. Объект имеет следующие свойства:

KeyErrorLogFile - это файл, в который сервер логирует ошибки целостности данных.

KeyErrorLimit (по умолчанию = 0) - максимальное количество ошибок целостности данных, которые сгенерируются на сервере до прерывания обработки. Значение -1 показывает, что ограничений нет.

KeyErrorLimitAction (по умолчанию = StopProcessing) - это действие, которое предпримет сервер, когда будет достигнут предел количества ошибок. Это свойство имеет две опции:

• StopProcessing - сообщает серверу, чтобы он прервал обработку.

  StopLogging - сообщает серверу, чтобы он продолжил обработку, но остановил логирование дальнейших ошибок.

KeyErrorAction (по умолчанию = ConvertToUnknown) - это действие, которое должен выполнить сервер, когда возникает ошибка KeyNotFound. Свойство имеет две опции:

• ConvertToUnknown - сообщает серверу, чтобы он обработал неправильное значение ключа как неизвестный элемент.

  DiscardRecord - сообщает серверу, чтобы он проигнорировал эту запись. Так Analysis Services 2000 обрабатывает ошибки KeyNotFound.

NullKeyNotAllowed (по умолчанию = ReportAndContinue)

NullKeyConvertedToUnknown (по умолчанию = IgnoreError)

KeyDuplicate (по умолчанию = IgnoreError)

KeyNotFound (по умолчанию = ReportAndContinue) - действие, которое должен выполнить сервер, когда возникает ошибка целостности данных этого типа. Свойство имеет три опции:

• IgnoreError - сообщает серверу, чтобы он продолжал обработку до достижения предела количества ошибок без логирования ошибок.

  ReportAndContinue - сообщает серверу, чтобы он продолжал обработку до достижения предела количества ошибок с логированием ошибок.

  ReportAndStop - сообащает серверу, чтобы он логировал ошибку и прервал обработку немедленно (вне зависимости от предела количества ошибок).

Заметьте, что сервер всегда выполняет правила NullProcessing перед правилами ErrorConfiguration для каждой записи. Это важно, так как обработка NULL может приводить к ошибкам целостности данных, которые потом должны обработать правила ErrorConfiguration.

На следующем рисунке показаны свойства ErrorConfiguration для куба в панели свойств.

Рис.4. Панель свойств

Сценарии

В этой главе мы рассмотрим разные сценарии, включающие в себя проблемы целостности данных, и рассмотрим, как элементы управления, представленные в предыдущей главе, могут быть использованы для решения этих проблем. Мы также продолжим использовать определенную ранее реляционную схему.

Проблемы целостности данных в таблице фактов

Таблица фактов sales имеет записи с product_id, которые не существуют в таблице измерений product. Сервер выдаст ошибку KeyNotFound во время обработки. По умолчанию ошибки KeyNotFound логирутся и ведется их подсчет до предела количества ошибок, который по умолчанию равен нулю. Поэтому обработка прервется на первой же ошибке.

Решением является изменение ErrorConfiguration для группы измерений. Ниже показаны две альтернативы:

Установить KeyNotFound = IgnoreError.

Установить KeyErrorLimit равным достаточно большому числу.

По умолчанию обработка ошибок KeyNotFound заключается в постановке записи из таблицы фактов в соответствие неизвестному элементу. Другой альтернативой является установка KeyErrorAction равным DiscardRecord, чтобы проигнорировать эту запись из таблицы фактов.

Проблемы целостности данных в таблице измерений SnowFlaked

Таблица измерений product имеет записи с product_class_id, которых не существует в таблице измерений product_class. Эта проблема обрабатывается таким же образом, как и в предыдущей главе, кроме необходимости модификации ErrorConfiguration для измерения.

Внешние ключи со значением NULL в таблице фактов

Таблица фактов sales имеет записи, в которых product_id равен NULL. По умолчанию все значения NULL конвертируются в ноль, и уже нулевое значение ищется в таблице product. Если существует product_id, равный нулю, то соответствующие данные таблицы фактов соотносятся с этим значением product (возможно, это не то, что Вы хотели). В противном случае выдается ошибка KeyNotFound. По умолчанию ошибки KeyNotFound логируются и производится подсчет количества таких ошибок до предела количества ошибок, который по умолчанию равен нулю. Поэтому обработка прервется после первой же ошибки.

Решением является изменение NullProcessing в свойстве группы измерений. Ниже показаны две альтернативы:

Установить NullProcessing = ConvertToUnknown. Эта установка сообщает серверу, чтобы он поставил записи со значениями NULL в соответствие неизвестному элементу "Invalid Product". При этом также генерируются ошибки NullKeyConvertedToUnknown, которые по умолчанию игнорируются.

Установить NullProcessing = Error. Эта установка сообщает серверу, чтобы он игнорировал записи со значением NULL. При этом также генерируются ошибки NullKeyNotAllowed, которые по умолчанию логируются и их количество подсчитывается до достижения предела количества ошибок. Это можно регулировать с помощью изменения ErrorConfiguration в группе измерений.

Рис.5. Диалоговое окно Edit Bindings

Заметьте, что свойство NullProcessing должно быть установлено у KeyColumn свойства группы измерений. Во вкладке Dimension Usage дизайнера кубов отредактируйте отношение между измерением и группой измерений. Нажмите кнопку Advanced, выберите свойство масштабируемости и установите NullProcessing.

NULL в таблице измерений Snowflaked

Таблица измерений product имеет записи, в которых product_class_id имеет значение NULL. Эта проблема обрабатывается таким же образом, как и в предыдущей главе, кроме необходимости установки NullProcessing у KeyColumn в DimensionAttribute (в панели Properties дизайнера измерений).

Несогласованные отношения в таблице измерений

Как было описано ранее, несогласованные отношения в таблице измерений приводят к задвоению ключей. В примере, описанном ранее, brand_name со значением "Best Choice" появляется дважды с разными значениями product_class_id. Это приводит к ошибке KeyDuplicate, которая по умолчанию игнорируется, а сервер игнорирует задвоенную запись.

В качестве альтернативы можно установить KeyDuplicate = ReportAndContinue/ReportAndStop, что приведет к логированию ошибок. Этот лог можно будет потом исследовать для определения потенциальных недостатков в дизайне измерений.

Заключение

Решение проблем целостности данных может оказаться нелегкой задачей для администраторов баз данных. SQL Server 2005 Analysis Services предоставляет сложные элементы управления, такие, как Unknown Member (неизвестный элемент), Null Processing (обработка Null) и Error Configuration (конфигурирование ошибок), которые сильно упрощают задачи управления кубами.

Способ 1. Четко сформулируйте суть задачи.
Как правильно поставленный вопрос можно считать половиной ответа, так и четко сформулированную задачу можно считать наполовину решенной. А когда вы напрягаете свои извилины, чтобы по другому посмотреть а ситуацию, что тревожит вас, переосмыслить ее, и стараетесь все это четко определить, внутри вас возникает новое понимание. А в жизни перед вами открываются новые возможности.

Способ 2. Отстраните себя и посмотрите со стороны.
Очень часто люди ярко и эмоционально реагируют на любые трудности, испытывая страх, злость, обиду и другие сильные негативные чувства. Все это не позволяет правильно увидеть ситуацию, рассмотреть открывающиеся перспективы и оценить их. Представьте себя зрителем в цирке, на арене которого разыгрывается представление по вашей ситуации. Так, со стороны, вы сможете увидеть больше возможностей.

Способ 3. Упростите проблему.
Людям свойственно усложнять вещи и ситуации, искать сложные пути и сложные решения. Легкий путь считается недостойным сильного человека: “лучше в гору я пойду, чем ее я обойду”. На самом деле, жизнь – проста. И чем проще что-то происходит, тем это правильнее и лучше. Самое простое решение чаще всего является самым лучшим.

Способ 4. Сфокусируйтесь на решении.
На чем сфокусируешься, то и притянется в твою жизнь. Фокусировка на трудностях только усугубит ситуацию, увеличит ваше беспокойство. И все вам будет казаться значительно сложнее, чем на самом деле. Если же верить, что решение существует и сосредоточить все внимание на поиске путей решения, то ваша задача всегда будет решена. Наше Подсознание может само найти решение и выдать готовый ответ.

Способ 5. Отыщите нужную информацию.
Часто проблема кажется неподъемной только из-за того, что у человека нет каких-то определенных знаний. Тогда надо внимательно осмотреться и понять, что же вам нужно еще знать или чему еще нужно научиться, чтобы разрешить эту трудность. Если вы не можете ясно сформулировать свою проблему, то данное решение часто является самым лучшим из того, что вы можете сделать.

Способ 6. Найдите эксперта.
Если же получить необходимые знания не предоставляется возможным или поджимают сроки, то лучшим вариантом будет поиск эксперта по данному вопросу. Очень редко перед человеком возникают трудности, с которыми никто еще не сталкивался. Скорее всего, ваша ситуация уже была когда-то кем-то разрешена. И ни один раз. Просто найдите этих людей.

Способ 7. Используйте мозговой штурм.
Мозговой штурм является лучшим способом поиска решений. Хорошо для этого подключить своих друзей или тех же экспертов. Чем больше новых идей будет сгенерировано, тем больше шанс найти верное решение. Ничего не отбрасывайте сразу. Соберите все и хорошо проанализируйте.

— Как быстро найти решение проблемы.

1) Дерево принятия решений.
Инструмент, поддерживающий принятие решений. Чаще всего он применяется при анализе данных и в статистике, но может использоваться и в обычной жизни. Дерево решений имеет «ствол», «ветки» и «листья». Ствол – это проблема, на ветках отображаются ее атрибуты, а на листьях – из значения. Среди достоинств метода следует выделить простоту его понимания и интерпретации, отсутствие необходимости в подготовке данных, возможность работать с интервалами и категориями, возможность оценки при помощи статических тестов, надежность и возможность обрабатывать большие потоки информации без подготовительных процедур.

2) Метод «Колесо».
Позволяет относительно быстро найти решение проблемы и произвести его оценку. Состоит из восьми шагов: сначала во всех деталях описывается проблемная ситуация, затем осуществляется поиск конкретных фактов и устанавливается недостающая информация, после этого проблема формулируется в позитивном ключе. Далее проводится мозговой штурм для создания поля идей для решения проблемы, производится оценка найденных вариантов на реалистичность, продумывается сценарий практического осуществления, составляется подробный план действий. На последнем этапе выполняются действия, после чего оценивается их эффективность.

3) Метод «Три сундука».
Предназначен для еще более быстрого поиска решений проблем. В процессе необходимо наполнить информацией три «сундука». В первый кладутся ответы на вопрос: «Какие негативные последствия ждут нас, если мы пойдем по этому пути?». Для наполнения второго оценивается реальная угроза рисков, содержащихся в первом сундуке. Третий сундук наполняется возможными «противоядиями» от угроз второго сундука, которые находятся методом мозгового штурма. В результате находятся решения, реализуются на практике и оцениваются.

4) Метод последовательных приближений.
По сути, это метод проб и ошибок. Предпочтительно применять его тогда, когда мало информации по проблеме. Суть состоит в том, что последовательно выдвигаются и рассматриваются варианты решений. Неудачные идеи отбрасываются, а вместо них предлагаются новые, и опять проверяются. Никаких особых правил для поиска и оценки здесь нет – все решается субъективно, а эффективность метода зависит от того, насколько разбираются в вопросе люди (или человек), решающие проблему. При использовании метода важно учитывать элемент случайности.

5) Матрица идей Буша.
Это метод анализа проблемных ситуаций и определения поля поиска решений. Чтобы его реализовать, нужно построить матрицу двусторонних отношений, для чего нужно ответить на вопросы: «Что?», «Кто?», «Где?», «Как?», «Зачем?», «Чем?» и «Когда?». Отвечая на них, человек получает всю информацию о проблеме. Если же вопросы скомбинировать, можно получить большую эвристическую подсказку для решения.

6)
Популярнейший инструмент поиска решений, применяемый обычными людьми и специалистами по всему миру. Смысл матрицы в том, чтобы научить человека оптимально распределять нагрузку, отличать важное и срочное, сокращать время на бессмысленные занятия. Матрица представляет собой четыре квадранта с двумя осями – важностью и срочностью. В каждый из них заносятся дела и задачи, и в результате человек получает объективную картину приоритетных задач.

7) Квадрат Декарта.
Очень простая техника принятия решений, на применение которой уходит совсем немного времени. Техника помогает выявить основные критерии выбора и дать оценку последствиям принимаемых решений. Для использования техники нужно нарисовать квадрат и разделить его на четыре части. В каждой части пишется вопрос: «Что будет, если это случится?», «Что будет, если этого не случится?», «Чего не будет, если это случится?» и «Чего не будет, если это не случится?». Эти вопросы являются пунктами наблюдения за проблемой. Именно с этих позиций и нужно ее рассматривать. Ответив на все вопросы, человек получает объективную картину положения дел и возможность оценить перспективы.

— Все получится, если…

1) Собрать достаточно информации о сути проблемы;

2) Проанализировать информацию;

3) Выработать как можно больше вариантов решения проблемы;

4) Правильно сопоставить ваши варианты относительно стоимости, доступности и времени;

5) Взвесить все «за» и «против»;

6) Обдумать все возможности и вероятность успеха;

7) Быть уверенным в том, что это и есть решение проблемы.

Также читайте статью « «

Материал подготовлен Дилярой специально для сайт

Видео:

Олавление

Программа создания, становления и развития комплексной кооперации образования, практики и проектирования в инновационном технопарке «Жигулевская долина». 3

Регламент проектно-аналитической сессии. 6

Списки групп. 7

Андрейченко Н.Ф. Установка на ПАС. День 1. 8

Макин А. Доклад «Тренды в IT». День 1. 9

Даниил Талянский. Тренды в управлении проектами. День 1. 12

И. Епанешников. Аналитика. День 2. 14

А. Макин. ТЗ ККОППу от RedmadRpbot. День 2. 14

Талянский Д. Аналитика. День 3. 15

Андрейченко Н.Ф. Установка на сборку. День 3. 16

Группа «Система управления КОПП». 17

Группа «Инфраструктура ККОПП». 18

Группа «Идеология ККОПП». 19

Группа «Финансы». 20

Группа «Реальные бизнес-проекты» (1) 21

Группа «Реальные бизнес-проекты» (2) 22

Группа «Маркетинг». 23

ПРОГРАММА СОЗДАНИЯ, СТАНОВЛЕНИЯ И РАЗВИТИЯ

КОМПЛЕКСНОЙ КООПЕРАЦИИ ОБРАЗОВАНИЯ, ПРАКТИКИ И ПРОЕКТИРОВАНИЯ

В ИННОВАЦИОННОМ ТЕХНОПАРКЕ «ЖИГУЛЕВСКАЯ ДОЛИНА»

ПОСТАНОВКА ПРОБЛЕМЫ

Мировым трендом в настоящее время является параллельное, кооперированное и распределенное выполнение сложных и продолжительных комплексов работ, выводящих на общий результат, к заданному сроку и в рыночных форматах. Необходимые для дела исследования в мире сегодня ведут совместно и университеты, и компании в своих научных центрах, и технопарки. Проектирование технологий и опытно-конструкторские работы – совместное дело инжиниринговых компаний, университетов, производственных фирм и частных лиц. Элементы образовательной инфраструктуры рассредоточены по Интернету, телевидению, университетам, колледжам и школам, корпоративным университетам корпораций, тренинговым и рекрутинговым фирмам, службам по работе с персоналом фирм, и даже, по развлекательным центрам. Решение бизнес задач, включая создание инновационного бизнеса (Start-up, Spin-up, Spin-out) производится и корпорациями, и фирмами, и технопарками, и университетами. Профилированные на определенной общественной функции структуры быстро транслируют способы своей работы (которыми они, естественно, владеют лучше своих партнеров) кооперантам для взаимопонимания и успешного взаимодействия.

Все это происходит в контексте технологизации и цифровой трансформации управленческой, да и вообще, интеллектуальной деятельности всех видов, инженерной, исследовательской, и т.д. Происходит в условиях тектонического сдвига от логоцентрической цивилизации (ориентированной на слово и текст) к инфографической (ориентированной на “цифру”, знак и схему). Например, не образование, или бизнес интегрируется в цифровой мир, а цифровой мир стремительно интегрирует и переструктурирует все, не спрашивая ни у кого согласия.

В отечественной практике указанные выше работы до сих пор выполняются по отдельности, последовательно и в административных формах соорганизации, вплоть до ручного управления. Опыт комплексной кооперации образования, проектирования и практики для решения городских, региональных, отраслевых или народнохозяйственных задач, скуден, до невозможности. В этих условиях, проблема цифрового выхода в мировой интеллектуальный мейн-стрим, как и включения в международное разделение функций, может и должна быть поставлена и решена не только в масштабе страны, но и в локальном, например, городском. Создание “форпоста” будущего мира как инструмента обеспечения перемен в масштабе города – реализуемая и достойная задача.

СПОСОБ РЕШЕНИЯ (СНЯТИЯ) ПРОБЛЕМЫ

Это организация и локализация в подходящем месте:

1. нерешенных инфраструктурных, хозяйственных и бизнес-задач;

2. прорывов в проектировании;

3. трансферта мировых технологий (в первую очередь, интеллектуальных);

4. цифровой переориентации локальной системы образования с “Начал”, “Основ”, и “Введений”, на “Вызовы”, “Пределы”, “Проблемы” и программы развития;

5. подготовки людей “цифрового” поколения без привязки к конкретным учебным заведениям, а с опорой на “живой” интеллектуальный ресурс сферы образования, совместно с бизнесом.

Наиболее подходящим местом в Тольятти для этого является инновационный технопарк «Жигулевская долина», заинтересованный в создании проектно-образовательного сервиса резидентов.