Предшественник всего машинного обучения: веб-скрапинг: техника, инструменты и реализация (учебник...

Архив Bezdepbonusu707.06.20242 мин чтения

Предшественник всего машинного обучения: веб-скрапинг: техника, инструменты и реализация (учебник 1)

Это первая часть двух руководств по парсингу веб-страниц. По ссылке вторая часть:

Предшественник всего машинного обучения: парсинг веб-страниц: техника, инструменты и реализация (учебник...
ознакомьтесь с моей первой статьей об использовании ответа JSON для парсинга веб-страниц: среда.com

Веб-скрапинг. Это искусство идентификации и извлечения данных из Интернета.

Постановка задачи. Извлеките текст из последних 1000 твитов с хэштегом $ETH.X (Ethereum), размещенных на Stocktwits:

Решение:

Шаг 1. Определите веб-сайт, который будет использоваться:

https://stocktwits.com/symbol/ETH.X

Шаг 2. Являются ли данные частью содержимого HTML или отображаются с помощью вызова javascript для получения JSON? В этом случае выполняется вызов GET API.

Шаг 3. Определите вызов GET на вкладке сети и проверьте его соответствие содержимому на экране. Здесь вызов GET

https://api.stocktwits.com/api/2/streams/symbol/ETH.X.json?filter=top&limit=20

Но если мы будем неоднократно вызывать этот API, мы будем продолжать получать один и тот же JSON.

Шаг 4. Углубитесь в ответ.В JSON присутствует поле max, которое мы можем отправить в качестве параметра, чтобы получить выходные данные ниже этого значения. Это поле (макс.) обновляется при каждом вызове API, которое мы можем использовать при следующем вызове.

https://api.stocktwits.com/api/2/streams/symbol/ETH.X.json?filter=top&limit=20&max=469771667

Шаг 5. Вызовите окончательный API, как показано ниже, из кода. Полученный JSON можно проанализировать для получения соответствующей информации и дальнейшего сохранения.