Как хранилище данных уберечь от информационного мусора

Когда создаются хранилища данных почти не уделяется внимание очистке информации, которая в него поступает. Распространенное мнение в этом вопросе - найти хранилище побольше. Это самый верный способ сделать из хранилища данных мусорную свалку. Любые поступающие данные необходимо очищать. Ведь источники ее очень различны, как и сама информация. Именно то, что информация собирается из разных точек придает процессу очистки актуальность.

Полностью избавится от ошибок не получится, поэтому они будут всегда. И все таки нужно максимально снизить уровень ошибок, что поможет более точно проанализировать полученную информацию.

Рассмотрим несколько популярных ошибок и методы их исправления.

Шум

Каждый раз, проводя анализ приходится сталкиваться с шумами. Он не содержит полезную информацию, и является помехой при рассмотрении картины. Можно использовать несколько методов борьбы с шумом.

Во-первых, - это спектральный анализ. Он помогает убрать высокочастотные составляющие поступающих данных. Во-вторых - авторегрессионый метод. Он позволяет находить функцию, описывающая процесс и шум отдельно, что позволяет удалить последний и сохранить данные основного сигнала.

Аномальные значения

Очень часто во время анализа получают данные, сильно отличающиеся от всей картины, потому что средства, занимающиеся прогнозированием не понимают сути процессов. Поэтому они воспринимают аномалии за нормальные значения. Это приводит к сильному искажению картин будущего. Чтобы бороться с такой ситуацией, используют метод робастных оценок, который устойчив к возмущениям. После оценки данных, выходящих за установленные границы. При этом аномальное значение могут удалить, или же заменить на то, которое ближе к границе.

Для хранилища данных грязная информация является очень большой проблемой, ведь они могут свести к нулю усилия, прикладываемые в этом направлении. Для решения этой проблемы желательно создать шлюз, пропускающий через себя все данные, которые попадают в хранилище.

Фильтрация информации должна быть неотъемлемой частью хранилищ данных. Ведь без этого получится гора мусора, в которой невозможно будет найти что-то полезное. Это мнение еще непопулярно, и поэтому все стремятся увеличить размеры хранилищ. Но чем больше они будут становиться, тем раньше пользователи обязательно поймут идею фильтрации данных.

24.05.2014