Логистическая регрессия PySpark

В этом руководстве мы сначала увидим подход, а затем предскажем ход каждого человека, шаг за шагом анализируя данные.

Логистическая регрессия

Логистическая регрессия, также называемая «логит-моделью», используется в прогнозной аналитике для задач классификации. Это модель машинного обучения, которая работает только с классификацией для классификации классов (категорий). Например, в нашем сценарии есть две категории (человек, перенесший инсульт, и человек, не перенесший инсульт). Лучшими приложениями модели являются прогнозирование сердечных заболеваний, прогнозирование пола, прогнозирование продолжительности жизни урожая и т. Д.

Шаги:

1. Сбор данных: Данные необходимы для выполнения любых прогнозов/анализа. Среди прочего, он может быть в формате CSV/XLSX. Мы можем загрузить это в среду Spark (DataFrame), используя метод spark.read.csv().

2. Анализ данных : Анализ атрибутов/столбцов известен как «анализ данных». Столбцы, которые помогают предсказать класс, известны как «независимые атрибуты». Столбец, который приводит к предсказанию, известен как «зависимый или целевой атрибут». В этом сценарии мы можем использовать свойство columns для отображения всех столбцов. Метод Different() используется для просмотра уникальных значений.

3. Предварительная обработка данных: Фильтрация нулевых/отсутствующих значений называется «предварительной обработкой». Мы удаляем все недостающие значения на этом этапе. Машина знает только бинарный язык. Таким образом, все строковые категории должны быть преобразованы в числовые категориальные значения. В PySpark мы можем использовать «StringIndexer», который является доступным классом в модуле pyspark.ml.feature для преобразования строковых категорий в числовые. Он автоматически конвертирует их внутри. Нам не нужно предоставлять значения. Вы можете использовать следующий синтаксис:

4. Сборка векторов: Теперь у вас есть данные, которые машина может понять. На этом этапе все независимые атрибуты должны быть векторизованы в один столбец. Это можно сделать с помощью класса VectorAssembler. Он принимает два параметра: первый параметр — это inputCols, который принимает список независимых атрибутов. Второй параметр — это outputCol, который векторизует все inputCol в эту переменную.

5. Трансформация: Теперь подготовьте данные, преобразовав обновленные столбцы (шаг 3) с помощью функции transform().

6. Подготовка данных для обучения и тестирования: На этом этапе мы разделяем данные на «обучение» и «тестирование». Будет лучше, если мы разделим 70% данных для обучения модели и 30% данных для тестирования модели. Этого можно добиться с помощью метода randomSplit(). Он принимает список, который содержит два значения с плавающей запятой: одно для тестового разделения, а другое для разделения поезда.

7. Подбор и оценка модели : пришло время подогнать модель логистической регрессии. Модель логистической регрессии доступна в модуле pyspark.ml.classification. Он принимает столбец метки/цели класса. Это приводит к столбцам rawPrediction, вероятности и предсказания. Наши результаты хранятся в столбце прогнозов.

8. Точность и результаты: Это заключительный этап, на котором мы проверяем точность модели, используя любые методы тестирования.

Давайте посмотрим на следующий проект, в котором мы предсказываем, затронут ли человек инсультом или нет, используя модель логистической регрессии.

Прогноз инсульта

9. Установите модуль PySpark в вашей среде. Ниже приведена команда для установки:

10. Давайте создадим PySpark DataFrame с 10 записями, которые связаны с деталями инсульта 10 человек. Для демонстрации создадим DataFrame без CSV. В этом DataFrame 7 столбцов. «Пол», «Уровень_глюкозы», «женат», «возраст», «болезнь_сердца», «гипертензия» — это независимые атрибуты, а «Инсульт» — это метка класса или зависимый атрибут. Это означает, что инсульт человека зависит от этих независимых атрибутов.

Выход:

11. Отобразите независимые столбцы, используя метод select().

Выход:

12. Отобразите уникальные значения, присутствующие в целевом атрибуте (Stroke).

Выход:

13. Верните тип данных всех столбцов с помощью функции printSchema().

Выход:

Мы видим, что 4 столбца имеют строковый тип. Преобразуем их в категориальные числовые значения.

14. Давайте преобразуем строковые категориальные значения в числовые категориальные значения, используя StringIndexer в столбцах «Пол», «сердечная_болезнь», «гипер_напряжение» и «замужем», и запишем их в столбцы «Категорический_пол», «Категорическая_сердечная_болезнь», «Категорическая_гипер_тензия» и «Категорическая_замужем». Сохраните столбцы в фрейме данных indexed_data с помощью метода fit().

Выход:

15. Преобразуйте независимые столбцы в вектор с помощью векторного ассемблера. Имя вектора — «features».

16. Преобразуйте предыдущие данные в окончательный DataFrame с помощью функции transform() и отобразите их с помощью функции show().

Выход:

17. Подготовьте данные для обучения и тестирования, разбив их на 70-30. «Функции» хранятся в train_data, а «Stroke» — в test_data.

18. Подберите модель логистической регрессии и оцените ее.

Выход:

19. Используйте BinaryClassificationEvaluator для проверки точности модели. Мы видим, что наша модель верна на 100%.

Заключение

Вы можете предсказать проблему классификации реальных плиток, используя модель логистической регрессии в PySpark. Удаление нулевых/отсутствующих значений важно, поскольку они снижают оценку и точность модели. Предварительная обработка является необходимым шагом перед подгонкой любой модели машинного обучения. Убедитесь, что вы делаете этот шаг правильно и точно.