В этом руководстве объясняется перекрестная проверка и ее работа с использованием сервиса AWS.
Что такое перекрестная проверка?
Перекрестная проверка позволяет разработчикам сравнивать разные модели машинного обучения и получать представление об их работе в реальной жизни. Это помогает пользователю выяснить, какая модель машинного обучения (ML) или глубокого обучения (DL) будет работать лучше для определенных данных или сценария. Бывают ситуации, когда для одного набора данных можно использовать несколько моделей, здесь разработчики используют перекрестную проверку, чтобы получить подходящую модель для получения оптимизированных результатов:
Как работает перекрестная проверка?
Чтобы проверить модели ML в наборе данных, пользователю необходимо оценить особенности модели, что называется обучением алгоритма. Еще одна вещь, которую нужно проверить, — это оценка модели, чтобы определить, насколько хорошо она работает, и это называется тестированием модели. Однако не рекомендуется тестировать модель на всех данных, мы используем 75% данных для обучения и 25% для тестирования, чтобы получить лучшие результаты. Перекрестная проверка выполняет тестирование каждых 25% данных, чтобы проверить, какой блок работает лучше всего:
Что такое Amazon SageMaker?
Перекрестную проверку в AWS можно выполнять с помощью сервиса Amazon SageMaker, поскольку он предназначен для создания, обучения и развертывания моделей машинного обучения. Он помогает специалистам по обработке и анализу данных и разработчикам подготавливать данные для построения эффективных моделей ML или DL, объединяя специально созданные возможности. Эти возможности полезны для создания оптимизированных и точных моделей, которые со временем будут улучшаться:
Возможности Amazon SageMaker
Amazon SageMaker — это управляемый сервис, не требующий управления средами машинного обучения. Для обучения и построения моделей машинного обучения требуется много данных, поэтому он хорошо взаимодействует с сервисами Amazon S3 или Amazon Redshift для сбора данных. Из необработанных данных может быть сложно получить информацию, поэтому для построения моделей также требуются функции. Затем используйте данные для обучения моделей, а затем выполните тесты на них, используя каждые 25% данных, чтобы получить лучшие результаты/прогнозы:
Это все, что касается перекрестной проверки в AWS.
Заключение
Перекрестная проверка — это процесс получения оптимальной модели машинного обучения или глубокого обучения для получения лучших результатов. Он будет выполнять тестирование для каждого 25% раздела данных, чтобы понять, какой блок обеспечивает максимальный результат, что делает его подходящей моделью. AWS предоставляет сервис SageMaker для перекрестной проверки и создания моделей машинного обучения в облаке. В этом руководстве объясняется процесс перекрестной проверки и его работа в AWS.