Анализ данных

теги страницы

<text>
<H1>Основы анализа данных</H1>
В этой статье мы постараемся объяснить простым языком, из каких этапов состоит типовой проект по анализу данных, какие инструменты и методы использует. Одновременно по ходу повествования объясним значение некоторых используемых терминов.
Под анализом данных (АД) современная наука понимает разные вещи. Это может быть, например, статистический анализ данных. Мы же будем говорить о Data Mining – "добыче знаний из информации" или "интеллектуальном анализе данных". Именно это сейчас чаще всего подразумевается под АД в бизнес-среде.
<H2>Что такое интеллектуальный анализ данных? </H2>
Одно из самых простых определений Data Mining дал Марио Фариа, ТОП-менеджер Gartner: "Анализ данных — это превращение данных в выводы, на основе которых будут приниматься решения и выполняться действия". Действительно, Data Mining сосредоточен на том, чтобы, проанализировав большой объем информации, получить практически применимые, полезные знания:
·   	неочевидные закономерности в изменении исследуемого объекта;
·   	влияние различных факторов на значение объекта;
·   	причинно-следственные связи, последовательности;
·   	оценку рисков и вероятностей наступления того или иного события;
·   	прогнозирование различных временных, количественных, суммовых величин;
·   	классификацию, группировку объектов и т. д.
Анализ данных в виде Data Mining известен практически каждому представителю бизнеса, но в простых формах. Например, отчет по реализациям за несколько лет в разрезе месяцев и регионов скорее всего покажет, что на юге в июне, июле и августе резко растут продажи вентиляторов и кондиционеров. Но здесь мы имеем дело всего с двумя факторами (месяц и местность) и не таким большим объемом данных.
Если же наша база для изучения содержит гораздо больше сведений и десятки, сотни различных факторов влияния,то с помощью Excel или 1С такую аналитику не проведешь. Есть проекты, где анализируются нецифровые данные: например, определяется текст на изображении, или характер и степень повреждения автомобиля по фото и т. п. Для таких задач требуются мощные инструменты и особые методики проведения.
В Data Mining используются разные методы, но мы остановимся на самом популярном и перспективном – машинном обучении (machine learning, ML).
<H2>Эвристика</H2>
Самый простой инструмент для обработки данных и получения выводов, который часто используется на старте проекта, – эвристика. Эвристика – это сравнительно простой алгоритм, с примитивной логикой, который не учитывает многие нюансы и не является самым лучшим для анализа. Но на первых порах он дает хотя бы какие-то выводы, приближенные к оптимальным. Как только проект "вырастает из пеленок", в него внедряется более сложный метод анализа.
<H2>Машинное обучение</H2>
Один из самых мощных методов анализа данных – машинное обучение. Оно может выполняться с помощью различных алгоритмов, самый известный из которых – нейросети.
Нейросеть – это воплощенная в программе математическая модель, организованная по принципу нервных сетей живых организмов. Она состоит из множества "нейронов" – компьютерных процессоров, которые совместно обрабатывают информацию. Сами процессоры довольно просты, но в управляемой сети способны решать очень сложные задачи.
ML может использовать несколько методов: обучение с учителем (контролируемое), обучение без учителя (неконтролируемое), обучение с подкреплением.
·   	Машинное обучение с учителем – это анализ данных, который предваряется обучением системы на наборе уже размеченных данных, то есть объектов, которым уже присвоена классификация или значение. Учитель здесь – как раз такая обучающая выборка.
·   	В обучении без учителя не используется размеченная выборка. Программа сама выявляет закономерности, а на втором этапе использует их для выводов. Возможности такого анализа более широкие, так как искусственный интеллект может выявить классификацию, закономерности, которые человек даже не предполагал, а значит, не мог бы включить в обучающий набор информации.
·   	Суть обучения с подкреплением в том, что машина анализирует последствия своих решений (отрицательную или положительную оценку человеком, некое вознаграждение, приближение к запрограммированному результату, действия и т. д.) и в результате корректирует выводы.
К примеру, используя контролируемое обучение, мы хотим научить систему различать по фотографии – какие именно повреждения получил автомобиль в ДТП. В качестве обучающей выборки мы загрузим в программу набор фотографий пострадавших авто с "подписями": какое это повреждение. Нейросеть определит закономерности – как связан вид повреждения с цветом, расположением и числом пикселей на фото – это, если упростить, на самом деле алгоритмы, конечно, сложнее. После этого она сможет выявлять эти связи и на других фото, а значит, определять вид повреждения.
Чтобы не усложнять статью, дальше мы будем говорить о machine learning с использованием нейросети и метода "обучение с учителем".
<H2>Как проходит анализ с помощью машинного "обучения с учителем"?</H2>
·   	Аналитики (дата-майнеры) изучают задачу, подбирают источники данных – не только реальных, но и для обучения и проверки программы. В последних проводится разметка – объектам присваиваются правильные категории или значения.
·   	Программируется алгоритм обработки или эвристика, определяется метод проверки результатов, которые выдаст программа.
·   	Аналитики проводят так называемый препроцессинг (feature selection). Это упорядочивание, предварительная обработка данных для загрузки. В результате обработки уменьшается количество входных переменных. Метод машинного обучения "с учителем" не может обрабатывать любую произвольную, хаотичную информацию с множеством факторов влияния – поэтому нужна такая предварительная оптимизация данных.
·   	Далее в нейросеть отправляют обучающую выборку.
·   	После обучения проводится тестирование. По его результатам определяется, насколько выводы программы совпали с правильными. Для сравнения используется тестовый набор информации. Он аналогичен обучающему набору в том плане, что в нем также есть результаты – проведена классификация, или выведены закономерности, сделаны прогнозы и т. д. Проверочная выборка загружается в программу, и выводы нейросети сравниваются с тестовыми выводами.
·   	Как практически оценивается правильность работы программы? Для этого существуют различные метрики качества предсказания – специальные формулы, по которым проходит сравнение ответов. К примеру, если нейросеть должна классифицировать данные, то метрика подсчитывает количество несовпадений с эталонной (валидационной) классификацией.
·   	Если анализ данных, проведенный нейросетью, дает неудовлетворительные результаты, обучение проводится повторно, на следующей порции размеченных (с выводами) данных . Итерации "обучение-тестирование" проводятся до достижения оптимальных значений метрики качества предсказания.
Если в проекте пока что используется эвристика, а не машинное обучение, то стадии обучения нет. Сразу проводится тестирование (правилен ли алгоритм эвристики?). Нет необходимости делить нашу "готовую", размеченную выборку на обучающую и проверочную – вся она становится проверочной, и с ее выводами сравниваются выводы эвристического алгоритма.
<H2>Какие типы задач могут решать нейросети (машинное обучение) </H2>
Анализ данных с помощью машинного обучения по методу "с учителем" оптимален для решения двух типов задач:
·   	Классификации. В такой задаче требуется отнести исследуемый объект к той или иной категории на основании какого-либо его признака. Это может быть бинарное деление, то есть категорий в классификации только две: да/нет, спам/не спам и т. д. Или категориальное, когда категорий больше: дошкольник/младший школьник/старший школьник и т. д.
·   	Регрессии. В этом случае объекту присваивается численное значение на основании выводов о зависимости этого значения от других факторов. Здесь можно выделить:        	
·   	Классическую (линейную) регрессию. Такой анализ предполагает, например, прогнозирование цены или выставление скоринговой оценки.
·   	Логистическую регрессию, когда на основе анализа влияния различных факторов определяется, какое из двух значений примет объект – условное "да" или условное "нет". С помощью логистической регрессии обычно рассчитывают вероятность наступления того или иного события либо принадлежности объекта к тому или иному классу. 
<H2>Краткое резюме</H2>
1.       Существует несколько понятий "анализа данных". В бизнес-среде под ним чаще всего понимают Data Mining.
2.       Дата майнинг может выполняться разными методами. Самый простой – эвристический алгоритм – используется на старте проекта.
3.       Один из самых мощных методов анализа – машинное обучение. ML, в свою очередь, выполняется на платформах разного вида и разными методами. Самыми популярными можно считать нейросети, обучаемые на специальном наборе данных с готовой разметкой – "учителе".
4.       Перед загрузкой реальной информации она проходит предобработку – отбрасываются или объединяются несущественные переменные.
5.       После обучения нейросеть тестируют на специальной тестовой выборке.
6.       Результаты нейросети и результаты тестового набора сравнивают с помощью формул метрик качества предсказаний. При необходимости обучение повторяют.
7.       Метод обучения с учителем подходит для классификации информации и регрессии – определения или предсказания значения объекта под влиянием исследуемых факторов.
</text>


<noscript><iframe src="https://www.googletagmanager.com/ns.html?id=GTM-T4G29C9"
height="0" width="0" style="display:none;visibility:hidden"></iframe></noscript>
,<script type="text/javascript" key="YTM" >
setTimeout(function () {
  ym(89200238,'reachGoal','time_left');
  }, 30000);
var run = 3;
window.onscroll = function() {
var num = 1;
var pageY = window.pageYOffset;
document.documentElement.scrollTop;
var innerHeight = document.documentElement.clientHeight;
if(pageY > innerHeight*num && run === 1){
  ym(89200238,'reachGoal','scroll_3');
  run = 0;
}
}
var run = 5;
window.onscroll = function() {
var num = 1;
var pageY = window.pageYOffset;
document.documentElement.scrollTop;
var innerHeight = document.documentElement.clientHeight;
if(pageY > innerHeight*num && run === 1){
ym(89200238,'reachGoal','scroll_5');
run = 0;
}
}
</script>

footer

quiz

productAmoCRM

lastSentMessageNumber

lastSentTime

mailSendingSettings

mailSender

analytics

mailSendingSwitcher

list

Анализ данных: методы, виды, этапы, способы, параметры, типы. Что такое анализ данных читайте в статье Platforma