Актуальность информации

Актуальность
— степень соответствия информации
текущему состоянию дел (на конкретном
моменте времени). Определяется актуальность
информации степенью сохранения её
ценности для решения конкретных задач
в момент её использования. Актуальность
зависит от динамики изменения характеристик
информации.

Достоверность
— отражает реально существующие объекты
реального мира с необходимой точностью.
Измеряется некоторой вероятностью
(доверительной). Измеряется вероятностью
того, что отображаемая информация
значения какого-то параметра отличается
от истинного значения в пределах заданной
точности. Инфа достоверная если она
отражает истинное положение дел. Причины
недостоверной инфы: преднамеренное или
непреднамеренное искажение инфы,
искажение в результате воздействия
помех (напр, из-за недостаточной точности
средств фиксации информации)

Показатели качества публичных данных

Время на прочтение

Проблема качества данных представляет собой достаточно серьезную тему и не только в связи с их обработкой и анализом. На данных в современном цифровом мире построено множество процессов, в том числе и связанных с безопасностью. Поэтому от того, насколько качественные данные используются в государственных и коммерческих организациях зависит эффективность и результат их работы.

Рассмотрим несколько показателей, которые могли бы составить интегрированную оценку качества публичных (открытых) данных. Прежде чем начать.

Настоящая публикация является продолжением в общей серии по теме публичных данных. Многие понятия, встречающиеся в тексте рассматривались в предыдущих статьях. Несмотря на то, что речь идет о публичных (открытых, разделяемых) данных, предлагаемый набор показателей качества может использоваться и для оценки других категорий данных с некоторыми поправками. Предлагаемый список является в некотором смысле гипотезой и не претендует на звание «исчерпывающего».

Ссылки на предыдущие статьи

Данные имеют ограниченный срок годности

Первичные данные всегда актуальны на какой-то конкретный момент времени в прошлом и очень редко актуальны в течение какого-либо длительного периода.

Это одна из проблем качества: цифровые данные, как регистрация исторического состояния объекта или системы постоянно теряют свою актуальность со временем и их приходится обновлять.

Качество данных – характеристика наборов цифровых данных, показывающая степень их пригодности к обработке и анализу и соответствия обязательным и специальным требованиям, в связи с этим к ним предъявляемым.

А что может составлять такое понятие как «качество публичных данных»? Выделим девять показателей.

Актуальность данных

Обозначенный или косвенно определяемый момент времени, на который данные отражают реальное состояние целевого субъекта (объекта, системы, явления, модели, события и т.п.).

Актуальность данных также может быть обозначена через период времени в течение которого они сохраняют свою значимость. Учитывая постоянные изменения экономических систем, публичные экономические данные имеют достаточно короткие сроки актуальности.

Актуальность данных чаще всего устанавливается поставщиком, в дополнение к которой он также может «дать обещание» периодического их обновления для её поддержания.

Получатель данных может самостоятельно оценивать их актуальность на основании информации от поставщика или иными способами.

Объективность данных

Точность отражения данными реального состояния целевого субъекта (объекта, системы, явления, модели, события и т.п.).

Объективность напрямую зависит от применяемого метода и процедур сбора информации, а также от плотности регистрируемых данных. В процессе обработки наборов цифровых данных, они теряют свою объективность и обогащаются агрегированными, округленными, приведенными и расчетными показателями. Однако за счет этого данные «насыщаются» знаниями, тем самым позволяя в последующем сокращать последовательность операций по извлечению из них значимых для практики сведений.

Поставщик может указать объективность публичных данных охарактеризовав их первичность и описав процедуру их получения.

Получатель вправе критично отнестись к вторичным данным, особенно если их объективность не доказана применяемыми формулами и математическими расчетными моделями.

Целостность данных

Полнота отражения данными реального состояния целевого субъекта (объекта, системы, явления, модели, события и т.п.).

В отличии от объективности, целостность показывает насколько полными и безошибочными являются данные как в части смыслового непротиворечия, так и в части соответствия заданной структуре или выбранного формата. Целостность зависит от корректного разделения на элементарные неделимые единицы, сохранения их неделимости, правильной идентификации и взаимной связанности.

Данные публикуемые добросовестным поставщиком по умолчанию должны являться целостными.

Получатель определяет целостность специальными проверочными методами оценивая смысловое содержание, корректность определения структуры и технически проверяя формат.

Релевантность данных

Соответствие данных о реальном состоянии целевого субъекта (объекта, системы, явления, модели, события и т.п.) решаемой задачи (поставленной цели) и возможность их применения с учетом имеющегося содержания, структуры и формата.

Понимание релевантности напрямую увязывается с целью пользователя данных и конкретной исполняемой им задачи, а значит и с располагаемым исходным набором данных.

Поставщик не может повлиять на релевантность данных, но может существенно упростить понимание данного показателя качества с помощью расширенных метаданных, применения распространенных форматов и традиционных структур, а также указанием рекомендаций по их использованию.

Получатель в каждом конкретном случае оценивает релевантность наборов данных исходя из тематики и рабочего формата (т.е. используемых инструментов).

Совместимость данных

Совместная обработка данных о реальном состоянии целевого субъекта (объекта, системы, явления, модели, события и т.п.) с имеющимися в рамках решаемой задачи (поставленной цели).

В отличие от релевантности, совместимость — это процедурный показатель, который характеризует возможность включить данные в обрабатываемый массив для дальнейшего анализа и не связан напрямую с сутью и критериями текущей задачи. С другой стороны, совместимость на содержательном уровне с тематикой исполняемой задачи важна для эффективной обработки цифровых данных. Публичные данные должны особенно тщательно оцениваться на совместимость, в том числе с точки зрения их разновидности. Допустимо ли для конкретных целей совмещение – взаимное использование — открытых данных и разделяемых данных или разделяемы и делегируемых данных зависит от оценки аналитика. Чаще всего необходимо соблюдать условия раздельного хранения и контроля разных видов публичных данных.

Поставщик публичных данных задает совместимость через метаданные и ссылки на контекст.

Получатель определяет возможность совместного использования данных для каждого набора как по содержанию и структуре, так и по формату. Но в отличие от релевантности, несовместимые данные можно попытаться привести к совместимому с помощью различных операций трансформации, перекодирования, перевода и т.п.

Измеримость данных

Присутствие в данных обрабатываемых качественных или количественных характеристик реального состояния целевого субъекта (объекта, системы, явления, модели, события и т.п.), а также подсчитанный конечный объем набора цифровых данных.

Содержательная измеримость данных является основой для выполнения последующих процедур их обработки и анализа. Измерение же общего объема данных необходимо для выбора инструментария и контроля их целостности в процессе обработки и по итогам анализа.

Поставщик может явно указывать «измерения», включенные в данные, как количественные, так и качественные. Как минимум, сопровождение наборов публичных данных записью об итоговом или пофайловом их размере в байтах почти является общепринятым стандартом.

Получатель публичных данных восстанавливает измеримость в содержании данных анализируя их и исследуя структуру и всегда точно или бегло проверяет насколько их физический размер соответствует заявленному.

Управляемость данных

Возможность целевым и осмысленным образом обработать, передать и контролировать данные о реальном состоянии целевого субъекта (объекта, системы, явления, модели, события и т.п.).

Управляемость обусловлена необходимостью изменять, исправлять, структурировать, организовывать, фильтровать, сохранять, пересылать, оценивать, распределять данные. Она во многом основывается на правильно выбранной структуре и формате.

Поставщик может заявить об управляемости данных через сопровождение их специальными метаданными, но получатель, как правило, самостоятельно проводит её оценку исходя из имеющихся у него компетенций и инструментов.

Привязка к источнику данных

Связанная и достоверная идентификация цепочки поставки данных о реальном состоянии целевого субъекта (объекта, системы, явления, модели, события и т.п.).

При этом в описание «цепочки поставки публичных данных» лучше включить указания на все субъекты, которые исполняли основные роли трансфера данных: генератор (автор), владелец, поставщик. Привязка к источнику позволяет поставщику и получателю сослаться и восстановить авторство, правоотношения, достоверность источника, доверие к распространителям.

Публичные данные почти всегда распространяются с указанием владельца и поставщика. И более того, одним из ограничений использования данных является необходимость указать первоисточник при их последующей публикации или использовании. Следует учитывать, что хорошая привязка данных позволяет по необходимости получить её повторно с уточнениями, дополнительной актуализацией или с восстановленной целостностью, т.е. – с повышенным качеством.

Доверие к поставщику данных

Оценка получателем деловых качеств поставщика публичных данных о целевом состоянии субъекта (объекта, системы, явления, модели, события и т.п.), как ответственного, авторитетного, организованного и относительно независимого издателя цифровой информации высокого качества.

Данный показатель выступает некоторой интегрированной ретроспективной оценкой всех предыдущих трансферов данных поставщика – репутация издателя публичных данных.

Получатель всегда исходит из внутренней убежденности при определении такого показателя качества данных, но у поставщика есть несколько путей по формированию и поддержанию нужного ему уровня доверия. К ним можно, например, отнести: тщательную подготовку данных для публичного трансфера, высокий уровень организации процессов издания «цифры», поддержку обратной связи с получателями, своевременную актуализацию и извещение об обнаруженных в данных проблемах, специальные мероприятия, участие в независимой оценке и ассоциациях.

Любой из указанных показателей качества данных субъективен, как в части смыслового содержания данных, так и в части его восприятия разными поставщиками и получателями.
Тем не менее все показатели можно разделить на:

Формальная оценка каждого из показателей качества может осуществляться как в баллах (в заданном интервале), так и в процентах. Причем бальная оценка может даваться экспертным путем, а процент может высчитываться как доля данных отвечающих заданному показателю качества к общему объему данных. В последнем случае задача выглядит много более сложная и требует специальных инструментов, хотя и будет давать взвешенную, но всё-таки экспертную оценку качества. Одним их важных аспектов формальной оценки показателей качества является их контроль по мере работы с наборами цифровых данных. В динамике качество данных не должно ухудшаться, т.е. экспертная оценка данных не должна неуправляемо снижаться после отдельных операций или целой серии обработок.

Общая проблема качества публичных данных зависит как от каждого из перечисленных показателей, так и от интегрированной субъективной оценки получателя. В любом случае, качество важно в первую очередь получателю, как лицу выполняющему операции обработки и анализа.

В случае завершения обратной связи стороннего результативного пользователя данных с поставщиком, «проблема» качества данных возвращается последнему «бумерангом». Если данные были предоставлены «плохие» или с ошибками, то ожидать от тех, кто их использовал, сколь-либо хороших и адекватных итогов не приходится. Тогда утрачивается весь смысл усилий по выбору, подготовке и публикации данных – поставщик не получает никаких новых полезных решений и знаний (продуктов или сервисов).

Важнейший показатель качества данных – это их целостность

Он оказывает сильное влияние на совместимость и управляемость данных. А неоднократная публикация данных с нарушением целостности обязательно скажется на доверии к их поставщику. Целостность данных не является чем-то обособленным от смысла, структуры или формата и должна соблюдать на всех уровнях цифровой информации.

Нарушение целостности данных возможно:

Аналогично, по каждому из уровней – смысл, структура, формат – можно рассматривать каждый показатель качества данных.

За качество публикуемых данных, конечно же, отвечает поставщик. Но получатель вынужден выполнять проверку и по необходимости корректировать сами данные.

Если публичные данные оказываются низкого качества, то имеет смысл отказаться от их использования и направить подробное уведомление поставщику. Добросовестный и заинтересованный поставщик обязательно предпримет усилия по исправлению ситуации. Он как минимум должен закрыть доступ к некачественным данным на время разбирательства и маркировать их соответствующим образом.

Адресованная поставщику претензия относительно качества данных, в условиях максимальной открытости сетевого общения, вынуждает в обязательном порядке помещать специальный заявительный отказ от принятия претензии с обоснованием такого отказа, либо повышать качество данных и повторно их издавать с соответствующими разъяснениями. А в случае, если поддерживается адресная связь с получателями – уведомлять их специальным образом.

Поставщик, который не готов отвечать за качество данных достаточно быстро переходит в разряд «безответственных» и теряет все преимущества, предоставляемые сообществом аналитиков и экспертов, занятых в соответствующей предметной области.

Из вышесказанного вытекает необходимость постоянного контроля качества данных как со стороны получателя, так и со стороны поставщика. Что в свою очередь вынуждает разрабатывать и применять специальные контрольно-измерительные инструменты.

Исследование проблемы качества цифровых данных, а особенно качества открытых, разделяемых и делегируемых данных должно осуществляться аналитиками и экспертами как на микро-уровне заинтересованных бизнесов, так и на макро-уровне сообществ и государственных структур. Во многом безопасность будущей цифровой экономики будет базироваться на активном мониторинге качества используемых данных.

Достоверность данных

Достоверность данных означает, что данные получены из достоверных и авторитетных источников. Недостоверные данные могут вызвать сомнения в результатах анализа. Чтобы оценить достоверность данных, следует проверить источники данных и их авторитетность.

🧐 Пример: представим, что вы анализируете данные о продажах товаров в интернет-магазине. Полнота данных может быть оценена по наличию информации о всех продажах, точность – по правильности цен и количества товаров, согласованность – по единому формату дат и единицам измерения, актуальность – по датам продаж, уникальность – по отсутствию дубликатов продаж, а достоверность – по проверке источников данных (например, системы учета продаж).

Соблюдение этих стандартов качества данных поможет вам повысить эффективность анализа данных и принимать более обоснованные решения.

Если вы заинтересовались темой аналитики данных и хотите углубить свои знания, рекомендуем обратить внимание на

Аналитик данных: новая работа через 5 месяцев

Получится, даже если у вас нет опыта в IT

Получить
программу

, которая предлагает курсы для начинающих и опытных специалистов в сфере аналитики данных.

Свойства достаточности (полноты) и доступности информации.

Свойство
полноты
— характеризует качество информации, и
определяет минимальный, но достаточный
ее объем для решения той или иной задачи.
Связано с семантикой и прагматическим
содержанием.

Доступность
— возможность получения той информации,
которая необходима пользователю. На
степень доступности влияют:

Первые
2 критерия реализуются путем согласования
семантической формы информации с
понятийным аппаратом пользователя (+
интерфейс взаимодействия с пользователем)

Актуальность информации

— это свойство, характеризующее степень её соответствия текущему моменту времени.

Информация может стареть. Это явление особенно важно учитывать при управлении. Сведения, еще вчера бывшие объективными, сегодня могут не отражать объективную реальность, потому что она изменилась.

В информатике поддержание актуальности информации обеспечивается регулярностью обслуживания информационных связей, поставляющих данные. Использование неактуальной информации для задач, связанных с управлением, эквивалентно использованию необъективной информации и может приводить к катастрофическим последствиям. Попробуйте сами оценить последствия команд авиадиспетчера, если информация о положении воздушных судов будет отображаться к экране его монитора с задержкой на 3 секунд.

Доступность информации

Доступность информации — это свойство, которое характеризует возможности потребителя по её воспроизведению. Ограниченные возможности — низкая доступность. Большие возможности

— высокая доступность. На первый взгляд, всё очень просто, но не будем забывать о том, что информация имеет двойственную природу. Она накладывает свой отпечаток в том смысле, что доступность информации зависит как от доступности данных, содержащих информацию, так и от доступности методов её воспроизведения. А отсюда вытекают интересные возможности по управлению доступностью.

— это обобщённое свойство, характеризующее доступность данных и доступность информационных методов, необходимых для воспроизведения этих данных.

Точность данных

Точность данных означает, что данные являются правильными и отражают реальность. Неточные данные могут возникнуть из-за ошибок ввода, неправильной обработки или других проблем. Чтобы оценить точность данных, следует провести проверку на наличие аномалий и ошибок.

Уникальность данных

Уникальность данных означает, что каждый объект или запись представлены в данных только один раз. Дубликаты могут искажать результаты анализа и приводить к неправильным выводам. Для проверки уникальности данных следует искать дублирующиеся записи и удалять их.

Свойства массовости и мобильности информации.

Свойство
массовости
информации предусматривает 2 аспекта:
качественный аспект, который раскрывает
свойство массовости, как информации
общей для всех, количественный аспект,
который означает распространение её
для широкой сети пользователей.

Свойство
мобильности
— возможности работы пользователей с
информационными ресурсами без привязки
к конкретной точке пространства.

Актуальность данных означает, что данные отражают текущее состояние исследуемых объектов или явлений. Устаревшие данные могут привести к неправильным выводам и решениям. Чтобы оценить актуальность данных, следует проверить даты обновления и актуальность источников данных.

Полнота данных

Полнота данных означает, что все необходимые данные доступны для анализа. Неполные данные могут привести к неправильным выводам и решениям. Для оценки полноты данных следует проверить наличие пропусков и неполных записей.

Свойства краткости, кумулятивности и концентрации информации.

Свойство
кумулятивности
характеризует её хранение и накопление,
а так же способность её к обобщенному
и  компактному изложению.

Свойство
краткости
информации означает возможность её
представления в наиболее сжатой форме
без потери её содержания.(для этого
существуют методы кодирования).

Свойство
концентрации
— проявляется в том, что по мере накопления
определенных единиц информации они
имеют тенденцию к объединению в более
информационно-ёмкие формы

Какие стандарты качества данных существуют

Узнайте об основных стандартах качества данных, чтобы повысить эффективность анализа и принимать обоснованные решения.

Качество данных является критически важным фактором для успеха любого проекта аналитики данных. В этой статье мы рассмотрим основные стандарты качества данных, которые помогут вам оценить и улучшить качество ваших данных.

Свойства объективности, субъективности и понятности информации.

Свойство
объективности
информации является относительным
понятием, так как методы работы с
информацией являются субъективными.
Более объективной информацией принято
считать ту, в которую методы, связанные
с её обработкой, хранением, передачей
и тд, вносит наименьший субъективный
элемент. ( Чем больше итераций связанных
с обработкой информацией происходит,
тем менее объективной информация
становится).

субъективности
— зависит от какого либо мнения

понятности
— выражена на языке, доступном получателю.

Более
подробно на studfiles

Согласованность данных

Согласованность данных означает, что данные представлены в единых форматах и единицах измерения. Несогласованные данные могут создать путаницу и проблемы при анализе. Для проверки согласованности данных следует оценить единообразие форматов и единиц измерения.

Таблица актуальности фактических данных как архитектурное решение

В этой статье речь пойдёт об архитектуре данных, где необходимо хранить статусы записей, получая информацию об их актуальности.

На основе информации из базы платежей выявить категории получателей платежей и вывести сводную информацию по категориям в отчёт для руководства.

Каждый платёж проходит в два этапа: средства переводятся внутри организации на внешний счёт и второй транзакцией происходит выплата средств получателям платежа. Между этими двумя сущностями нет прямой зависимости внутри БД, есть только поля описания платежа и поля описания получателя, которые заполняются сотрудниками бухгалтерии вручную, они зачастую могут иметь отличия. Например, первый платёж описан так:

«Оплата адм.штрафа в области благоустройства, предусмотренные главой 4 закона Санкт-Петербурга от 31.05.2010 №273-70 «Об адм.правонарушениях в Санкт-Петербурге» постановления №3456/17 от 21.19.75.»

При этом, во втором этапе в описании платежа находится похожая информация:

«Оплата административных штрафов № 1234/17,2345/17,3456/17,4567/17 вст в зак. силу 21.19.75г., согласно распоряжениям от 55.04.2047г.»

Отличия налицо. Данные соответствующих номеров и дат изменены.

В текущем варианте алгоритм соединения таких сущностей построен на условиях, а определение категории получателя использует ML модель, обученную на совпадениях, найденных вручную, за предыдущие периоды, а во всякой модели необходимо поддерживать актуальность и повышать её эффективность.

В свою очередь, основная сложность получения полных и качественных данных из источника состоит в том, что из-за фильтров в загрузке Staging-хранилища, в него могут не попасть нужные данные, а эти фильтры нужны для уменьшения загружаемого объёма. Грубо говоря, для отчёта нужны платежи, касающиеся только штрафов. Соответственно, на этом этапе также необходимы регулярные доработки на основе найденных ошибок или пропущенных данных.

Архитектура проекта

Итак, имеются две таблицы с сырыми данными (Staging) и одна витрина (Data Mart, DM). Staging. Таблицы загружаются из источника на регулярной основе по расписанию с применением фильтров. Фильтров много (более 350). В этом же ETL-процессе (процесс загрузки данных) происходит удаление старых загруженных данных. Затем по другому расписанию с помощью алгоритмов в скриптах обновляются данные DM. Далее отчёт в BI-системе выводит информацию из DM, используя простые запросы. Backup настроен на уровне БД. Про настройку Foreign Keys речи не идёт, поскольку связей DM и Staging либо нет вовсе, либо они могут быть всех типов. Например, некоторые штрафы могут быть взяты из другого нерегламентированного источника с другой структурой данных, либо один штраф имеет множество транзакций под собой.

Так выглядит процесс обработки данных для отчёта (схематично):

Основная проблема

Основная проблема: не загружаются нужные данные платежей из источника, причины могут быть следующие:

При частом изменении сложных фильтров может возникнуть ситуация, когда добавлены нужные платежи, но одновременно пропали другие.

Все проблемные кейсы, выявленные вручную, записываю в лог и раз в квартал провожу ТО фильтров и других компонентов проекта, включая ML модель на решающих деревьях.

Решение проблемы

Решение — создать таблицу актуальности данных. Это таблица-связка, которая наполняется уникальными идентификаторами платежей, рассчитанным категориями платежей и статусами, подходит ли платёж для отчёта. Фильтры и условия используются при заполнении этой таблицы, но затем через неё можно вручную исправить актуальность данных, меня значение поля FLAG, картинка ниже. В эту таблицу занесены все ранее удостоверенные платежи с рассчитанными категориями, а все проблемные случаи исправлены в ручном режиме. Эта информация и послужила также для обучения модели, которая определяет категорию платежа по тексту его описания. На удивление, простая модель на решающих деревьях с градиентным бустингом показала отличный результат по F-мере, и, действительно, её не нужно часто переобучать, поскольку тексты описаний платежей чаще всего типовые и содержат одни и те же фразы, по которым происходит разделение на категории.

Здесь поля MO_ID и RC_ID содержат ссылки на платежи из начальных таблиц, а ORGAN можно как вычислить с помощью ML-модели, так и задать вручную. Затем при сборе таблицы BODIES в первую очередь берётся орган, рассчитанный в таблице актуальности. В таблице статусов нет дат платежей, поскольку часто нужно найти ошибки в формировании ID платежей на источнике данных, иногда они, к сожалению, повторяются. Все workarounds связаны с неопределённостью в регулярности и структуре данных на БД-источнике. Здесь скрипт на Oracle PL/SQL в части работы с обновлением статусов записей:

Функция f_get_BODY возвращает рассчитанный орган штрафа по описанию платежа. Ранее это был разветвлённый скрипт на Oracle PL/SQL, а сейчас это делает ML-модель. Речь в этой статье не о модели, поэтому её скрипт оставляю за рамками повествования. С такой таблицей меняются все этапы вычисления данных, кроме первого этапа загрузки. На каждом этапе при обращении к старым данным добавлены проверки актуальности платежей по статусам. Также в конце ETL-процесса добавлены операции актуализации данных в таблице актуальности.

Вывод

По итогу: вместо удаления платежей с подозрением на неактуальность, можно их отключать изменением флага в таблице актуальности, а на основе полного сета данных актуальных и неактуальных платежей появляется возможность строить модель определения категории платежей. Теперь изначальные фильтры можно расширить или убрать совсем для загрузки более полных данных в зависимости от наличия свободного места на сервере. Такая архитектура пригодится в похожих задачах, где есть неопределённость в исходных данных и в последующей их обработке.