Публикации по теме 'pyspark'
Настройка PySpark на AWS EC2
Создайте экземпляр EC2 (ubuntu) и подключите экземпляр к локальному терминалу на вашем компьютере.
Действия, которые необходимо выполнить после подключения удаленного экземпляра к вашему терминалу
## Загрузить Anaconda на виртуальную машину Ubuntu
команда 1 : wget http://repo.continuum.io/archive/Anaconda3–2020.11-linux-x86_64.sh
2020.11 — последняя версия на момент написания.
## Установить Анаконду
cmd2 : установить Anaconda3–2020.11-linux-x86_64.sh
## Проверьте, какой..
Ускорение и совершенствование вашей работы с помощью параллельных вычислений
Подробное руководство по многопроцессорности Python и PySpark mapPartition
В науке за каждым достижением стоит кропотливая работа. И вряд ли удача с одной попытки. Как специалист по данным, вы, вероятно, имеете дело с огромным объемом данных и вычислений, проводите повторяющиеся тесты и эксперименты в своей повседневной работе. Хотя вы не хотите превращать свою полезную, стимулирующую работу в утомительную, ожидая, что трудоемкая операция будет повторяться снова и снова, наблюдение за..
Прогнозирование оттока с использованием PySpark
Прогнозирование оттока клиентов в IBM Cloud
Sparkify - это вымышленный поставщик потоковой цифровой музыки, и пользователи Sparkify могут отменить свои подписки в любое время. Мы собираемся углубиться в проблемы оттока с помощью масштабируемого подхода к машинному обучению на больших данных.
Фон
В этом проекте я попытался понять поведение клиентов и определить клиентов, которые откажутся от своей подписки на бесплатном или платном уровне.
Я работаю менеджером по маркетинговой..
Прогнозирование оттока участников с помощью Spark MLlib
Одним из наиболее важных показателей для сервисов на основе подписки является отток участников. Понимание того, почему участники решают покинуть вашу службу, и принятие мер по предотвращению этого исхода может стать разницей между успешной и неудачной бизнес-моделью. Используя вымышленную компанию Sparkify, мы изучим концепцию оттока и попытаемся построить функциональную модель для выявления пользователей, которым это грозит.
Весь код для этого поста можно найти здесь .
Данные..
Прогноз оттока для службы потоковой передачи музыки (с PySpark)
1. Введение
Sparkify, вымышленный сервис потоковой передачи музыки, создан для имитации наборов данных, созданных такими компаниями, как Pandora или Spotify. Миллионы пользователей регулярно проигрывают свои любимые песни через такие типы сервисов, либо используя модель подписки премиум-класса, либо через бесплатный уровень, который воспроизводит рекламу. Пользователи могут повысить или понизить свой план подписки, но также могут полностью отменить его в любое время, поэтому важно..
Упрощение классификации изображений с помощью Spark Deep Learning
Упрощение классификации изображений с помощью Spark Deep Learning
Вступление
Мы в Linagora верим, что все следующее поколение программного обеспечения будет включать инновационные функции, основанные на искусственном интеллекте и машинном обучении (ML).
Два года назад Linagora приступила к разработке совместной платформы с открытым исходным кодом под названием OpenPaas . В этом контексте я начал разрабатывать инновационные функции на основе машинного обучения и искусственного..
Прогнозирование и оптимизация взаимодействия с потребителями с помощью машинного обучения
Показ контента только тем, кто хочет участвовать
Наша цель в Trulia — упростить домашний поиск, и мы используем науку о данных, чтобы помочь нам в этом. Мы поделились информацией о том, как мы используем компьютерное зрение для улучшения изображения в нужное время, и немного поделились тем, как Trulia привлекает потребителей с помощью своего домашнего рекомендательная система . Сегодня мы поговорим о том, как и почему Trulia создает модели прогнозирования вовлеченности..