Управление данными

Зачем выделять управление данными в отдельный процесс

Большая часть деятельности практически любой компании проходит онлайн — внутренняя документация, расчёты, общение с потенциальными и текущими клиентами. Оцифрованные бухгалтерские и складские документы, клиентские базы, показатели продаж — всё это данные. Кроме этого, бизнес использует внешние сведения: карты и геолокации, статистику, базы контактов, информацию из бюро кредитных историй и госорганов. Весь этот массив цифровой информации требует, как минимум, кибербезопасности: если доступ к конфиденциальным сведениям получат мошенники или конкуренты, компания рискует своими финансами, репутацией и эксклюзивными разработками.

Цифровые данные нередко выступают как актив, а значит, требуют оценки и эффективного использования. Оценка такого актива — непростая задача, поскольку универсальных формул расчёта стоимости данных не существует. Ценность data-капитала зависит от трёх параметров:

1. Сколько их создание или получение стоило компании. Учитывать нужно не только затраты на создание данных, но и расходы на хранение, повышение их качества и обновление, восстановление в случае утери, поддержание нужного уровня безопасности.

2. Что бизнес теряет без конкретных сведений. Какие можно выделить риски, потенциальные убытки, упущенную выгоду. Например, без обоснованного прогнозирования спроса предприятие не закупает достаточное количество товаров и теряет деньги на срочных дополнительных закупках.

3. В чем выгода от обладания данными определенного качества. Какие дополнительные доходы они дают, можно ли их продать и за какую сумму, сколько за подобную информацию готовы платить конкуренты и другие участники рынка.

Система УД нужна еще и потому, что у цифровых данных есть жизненный цикл. В зависимости от специфики сведений и их формата, этот цикл может включать разные стадии. Вот самые важные из них: 

• создание или получение сведений;

• административные процессы: перемещение, преобразование, обеспечение доступа, хранение;

• работа над качеством: актуализация, изменение механизмов обработки, классификация;

• использование данных: оно может быть прямым (продажа самих данных или продуктов, построенных на них — прогнозных моделей, маркетинговых исследований, статистических выкладок) или косвенным — то есть, применением данных для принятия решений и других внутренних процессов;

• архивирование и ликвидация.

На протяжении жизненного цикла данные многократно трансформируются: обновляются, преобразовываются, агрегируются. Кроме того, существует путь движения данных от возникновения до использования — он называется datachain, «цепочка данных». Жизненный цикл частично пересекается с этой цепочкой, но не повторяет её. Поэтому бизнесу нужна система УД, специалисты которой понимают специфику движения информационных потоков, умеют планировать жизненный цикл данных и обеспечивать должный уровень безопасности. При этом система управления должна окупаться: создание data-массивов зачастую связано с ощутимыми расходами, которые окупятся только в том случае, если данные имеют достаточную ценность для компании.

Вот какие задачи решает правильно организованное УД:

• Выявляет и обслуживает потребности компании (или ее клиентов) в информации.

• Обеспечивает целостность данных при сборе, хранении и передаче.

• Повышает качество данных, своевременно актуализирует информацию.

• Препятствует разглашению сведений, сохраняет их конфиденциальность.

• Препятствует искажению данных: несанкционированному доступу, подтасовке, сокрытию.

• Помогает эффективно использовать данные.

Принципы управления данными

Эффективный менеджмент корпоративных данных строится на следующих принципах:

1. Ценность. У данных есть уникальные свойства, особенности и определённая стоимость. И ценность можно и нужно оценивать в экономических терминах. Восприятие массива данных как актива помогает более осознанно оперировать информационными ресурсами.

2. Профессионализм. Стоит помнить, что УД — это кросс-функциональный процесс, для которого требуются специалисты с разными знаниями и навыками. Один отдел вряд ли справится со всем менеджментом данных в компании: система должна включать профессионалов разных профилей и с широким кругом полномочий. Распространенная ошибка — оставлять стратегические потребности компании в данных на усмотрение ИТ-подразделений. Управление требует целостного взгляда на функционирование предприятия, поэтому значимые решения должны учитывать мнения служб продаж, маркетинга и руководства организации. ИТ-отдел обслуживает такие решения, а не принимает их.

3. Достаточное количество и качество. Данные, на основании которых принимаются стратегические решения, в первую очередь должны быть достоверными. Кроме того, для получения репрезентативного результата необходимо обработать достаточное количество сведений (в том числе — метаданных).

4. Непрерывность. УД — это управление жизненным циклом, оно нуждается в планировании, непрерывном контроле и постоянных улучшениях. При работе с данными важно учитывать вектор и стадии datachain, эволюцию информационных ресурсов, требования безопасности для каждого этапа на пути движения информации.

Существуют также принципы управления персональными данными и их обработки, с 2018 года они закреплены в Общем регламенте по защите данных (GDPR), принятом ЕС. Вот что необходимо обеспечить при работе с персональными сведениями, согласно этому регламенту:

• законность;

• добросовестность;

• прозрачность;

• точность;

• целостность;

• конфиденциальность;

• соблюдение требований по ограничению и хранению информации.

GDPR и другие аналогичные законы устанавливают стандарты защиты персональных данных. Компанию, не соблюдающую эти требования, ждут штрафы и судебные иски. Потребитель (или другое лицо, по какой-то причине давшее доступ к своей личной информации), вправе подать в суд, если организация собирает сведения без его осознанного согласия, не обеспечивает нужный уровень безопасности или не соблюдает требования об удалении данных.

Современные системы УД

Управление данными включает в себя стратегический блок и техническую часть. Стратегические решения принимают специалисты разных подразделений: в основном это сотрудники, влияющие на общее управление компанией (руководители, маркетологи, финансовые аналитики), а также отделы, которые активно используют данные в своей работе. Техническую часть берет на себя ИТ-департамент, в большинстве средних и крупных компаний УД объединяется в общую платформу. 

Платформа управления может включать следующие элементы:

• базы данных;

• вспомогательные системы — CRM, SRM;

• озера данных;

• хранилища;

• системы управления big data;

• аналитические средства: прогнозные модели, скоринговые системы и т. п.

Единая платформа хороша тем, что программные инструменты для сбора и анализа больших объёмов данных работают во взаимосвязи. Это помогает ИТ-специалистам и администраторам решать такие задачи:

• Распределять ресурсы памяти и свободное место в базах данных.

• Выявлять, диагностировать и устранять ошибки в базе сведений или инфраструктуре УД. 

• Одновременно менять всю структуру базы данных.

• Оптимизировать работу приложений.

Наиболее эффективны автономные базы данных — облачные системы, оснащённые элементами машинного обучения и технологией искусственного интеллекта. За счёт доступа к облачным сервисам компания обретает более высокий уровень автономии, снижает затраты и риск человеческого фактора. Операционная эффективность и надёжность у самоуправляемых баз намного выше, чем у обычных. К тому же, для их обслуживания требуется меньше персонала: например, для резервного копирования, контроля безопасности и эффективности администраторы уже не нужны — программа учится решать эти задачи самостоятельно.

Многие компании работают с большими данными: массивами сведений об активности в интернете, телесмотрении, геолокациях, телесмотрении и других аспектах потребительского поведения. Bigdata помогает совершенствовать продукт и ускорять его производство, прогнозировать спрос, повышать качество работы с заказчиками. Для обработки объёмных массивов требуется система, способная эффективно решать три задачи:

1. Интегрировать bigdata: работать с данными разных типов и преобразовывать их для следующего этапа жизненного цикла информации.

2. Управлять большими объёмами: эффективно и безопасно хранить данные, систематизировать их и обрабатывать оптимальным способом под каждую конкретную задачу.

3. Анализировать большие данные: извлекать новую информацию, интерпретировать её с помощью специализированных инструментов, создавать модели с элементами машинного обучения и искусственного интеллекта.

Проблемы управления данными

При менеджменте информационных ресурсов компании сталкиваются со следующими трудностями:

• данные легко копировать и пересылать, а значит — их легко похитить, продать или разгласить;

• одни и те же сведения могут быть интересны разным игрокам рынка: это повышает уровень требований к безопасности;

• на многих этапах datachain использование данных порождает еще больше данных;

• при утере уникальных данных найти замену бывает сложно, чрезмерно дорого или вообще невозможно;

• количество данных непрерывно растёт: практически любой обмен цифровой информацией предполагает обмен данными;

• надёжное хранение данных требует внушительных расходов;

• хранение данных требует не только безопасности, но и систематизации: все работающие с данными специалисты должны понимать, где что хранится, как архивировать и обрабатывать информацию;

• УД нужно постоянно оптимизировать: растущие объёмы данных требуют новых подходов и форматов, используемые системы необходимо регулярно актуализировать и адаптировать к текущим потребностям управления;

• нормативные требования к использованию данных часто меняются, к тому же, в этой отрасли права много пересекающихся юрисдикций: бизнесу приходится постоянно отслеживать, каких правил они должны придерживаться с каждым партнёром или клиентом;

• данные имеют смысл, только если они достоверны и представлены в достаточном количестве;

• к некоторым сведениям сложно получить доступ.

Самые существенные трудности обычно связаны с управлением внешними данными: статистикой, информацией о транзакциях, онлайн-активность потребителей. Компания не может влиять на формирование данных у других игроков рынка, и ограничена требованиями закона: доступ к личной информации потребителей сложно получить легально. 

Platforma — маркетплейс инструментов на основе BigData — решает две самые существенные проблемы: где найти достаточно объёмные массивы данных и как их эффективно обработать. Обработкой data-массива занимается нейросеть. Например, в модели прогнозирования спроса от Platforma машинные самообучающиеся алгоритмы сегментируют аудиторию, выявляют, какие факторы влияют на её поведение, и на основе анализа больших данных строят прогноз будущего спроса. Программа использует обезличенные сведения о покупках, интернет-запросах, телесмотрении и других релевантных действиях миллионов потенциальных покупателей. Эти данные Platforma получает от своих партнёров: крупнейших банков и телекоммуникационных компаний. Все сведения анонимизированы, поэтому их использование не противоречит закону.