Bezdepbonusu7Программирование: статьи и ответы

Python и данные

Pandas для начинающих: DataFrame, чтение файлов, фильтры, groupby и merge

Pandas - библиотека Python для работы с таблицами: она читает CSV и Excel, фильтрует, группирует и объединяет данные. В статье установим pandas, разберём DataFrame, read_csv и read_excel, фильтры, groupby, merge и сохранение результата.

Pandas для начинающих: DataFrame, чтение файлов, фильтры, groupby и merge
Содержание
  1. Что такое pandas и зачем он нужен
  2. Как установить pandas
  3. Создание DataFrame и Series
  4. Чтение CSV и Excel
  5. Выбор столбцов и фильтрация строк
  6. Пропуски в данных
  7. Группировка groupby
  8. Объединение таблиц merge
  9. Сохранение результата
  10. Что изменилось в pandas 3 и где работать
  11. Частые вопросы

Что такое pandas и зачем он нужен

Pandas - библиотека Python для работы с таблицами и временными рядами. Она читает данные из CSV, Excel, JSON и баз данных, чистит их, фильтрует, группирует, объединяет и сохраняет обратно. Если вы привыкли к Excel, то pandas - это "Excel в коде" для данных, которые не помещаются на экран или обрабатываются регулярно.

У библиотеки две основные структуры. Series - один столбец значений с индексом. DataFrame - таблица из нескольких столбцов, у каждого из которых может быть свой тип. Почти вся работа происходит с DataFrame.

Pandas построен поверх NumPy, поэтому быстро выполняет операции над целыми столбцами без циклов. Если хотите понять, что под капотом, посмотрите статью про основы NumPy.

Как установить pandas

Pandas ставится обычным менеджером пакетов pip. Современные версии (ветка 3.x) требуют Python 3.11 или новее, так что сначала проверьте версию командой python --version. Рекомендуется ставить в виртуальное окружение, чтобы не засорять систему.

ЗадачаКоманда
Создать окружениеpython -m venv .venv
Установить pandaspip install pandas
Поддержка Excel (xlsx)pip install openpyxl
Через condaconda install pandas
Обновитьpip install --upgrade pandas
Проверить версиюpython -c "import pandas as pd; print(pd.__version__)"

Установка скачивает сам pandas и NumPy. В Windows команды выполняют в PowerShell или командной строке, в Linux и macOS - в терминале. Дополнительные форматы подключают отдельными пакетами: для чтения xlsx нужен openpyxl, а для ускорения и Parquet - pyarrow.

Терминал с командой pip install pandas и проверкой версии
Установка pandas и проверка версии в терминале

Подключают библиотеку в коде строкой import pandas as pd. Сокращение pd стало общепринятым, его используют во всех учебниках и документации.

Если после установки появляется ошибка ModuleNotFoundError: No module named 'pandas', скорее всего, pip поставил пакет в одно окружение, а скрипт запускается в другом. Используйте запись python -m pip install pandas тем же интерпретатором, которым запускаете код.

Создание DataFrame и Series

Самый простой способ получить таблицу - собрать её из словаря: ключи становятся названиями столбцов. Этот набор данных используем в следующих примерах.


import pandas as pd

df = pd.DataFrame({
    "city": ["Москва", "Казань", "Москва", "Самара", "Казань"],
    "product": ["ноутбук", "мышь", "мышь", "ноутбук", "монитор"],
    "amount": [85000, 900, 1100, 78000, 21000],
})

print(df.head(3))     # первые 3 строки
print(df.shape)       # (5, 3): 5 строк, 3 столбца
df.info()             # типы столбцов и пропуски

Метод head() показывает начало таблицы, shape - размер, info() - типы данных и количество непустых значений. Отдельный столбец - это Series: df["amount"].

Метод df.describe() считает быстрые описательные статистики по числовым столбцам: среднее, минимум, максимум, квартили. Для первого знакомства с чужим файлом это самая полезная связка вместе с head() и info().

Чтение CSV и Excel

В реальной работе таблицу чаще загружают из файла. Для CSV используется read_csv, для Excel - read_excel.


import pandas as pd

# CSV: разделитель и кодировка часто нужны для русских файлов
df = pd.read_csv("sales.csv", sep=";", encoding="cp1251")

# Excel: имя листа и строка, с которой начинается таблица
df2 = pd.read_excel("report.xlsx", sheet_name="Продажи", header=0)

print(df.head())

Программа загрузит файлы в DataFrame и выведет первые строки. Для read_excel должен быть установлен openpyxl.

ПараметрЧто делает
sepРазделитель в CSV: запятая по умолчанию, в русских выгрузках Excel часто точка с запятой
encodingКодировка: utf-8 или cp1251, при "кракозябрах" попробуйте другую
usecolsКакие столбцы читать, ускоряет загрузку больших файлов
dtypeПринудительные типы, например коды как строки
parse_datesКакие столбцы превратить в даты
sheet_nameЛист Excel по имени или номеру

Если вместо текста видны странные символы, причина почти всегда в кодировке, о ней подробно написано в статье про кодировку UTF-8. Общие приёмы чтения и записи файлов описаны в материале про чтение и запись файлов в Python.

Выбор столбцов и фильтрация строк

Один столбец выбирают по имени, несколько - списком имён. Для фильтрации строк внутрь квадратных скобок передают условие. Оно возвращает маску из True и False, а pandas оставляет только строки с True.


print(df["city"])                      # один столбец (Series)
print(df[["city", "amount"]])          # несколько столбцов (DataFrame)

big = df[df["amount"] > 20000]         # строки с суммой больше 20000
print(big)

# несколько условий: & (и), | (или), каждое условие в скобках
moscow = df[(df["city"] == "Москва") & (df["amount"] > 1000)]
print(moscow)

# loc: строки по условию и нужные столбцы сразу
print(df.loc[df["city"] == "Казань", ["product", "amount"]])

Для таблицы выше первый фильтр оставит три строки: два ноутбука и монитор. Запомните, что вместо слов and и or в условиях нужны операторы & и |, а каждое сравнение берётся в скобки.

Полезные методы для условий: isin(["Москва", "Казань"]) проверяет вхождение в список, str.contains("мыш") ищет подстроку, between(1000, 50000) задаёт диапазон.

Новый столбец создают присваиванием, а сортируют методом sort_values.


df["amount_k"] = df["amount"] / 1000                     # сумма в тысячах
top = df.sort_values("amount", ascending=False).head(2)   # два самых дорогих заказа
print(top)

Для изменения значений по условию используйте df.loc[условие, "столбец"] = значение одним действием. Цепочки вида df[условие]["столбец"] = значение в новых версиях pandas не меняют исходную таблицу и приводят к ошибкам.

Пропуски в данных

В реальных файлах почти всегда есть пустые ячейки. Pandas отмечает их как NaN. Сначала посмотрите, где и сколько пропусков, а затем решите, что с ними делать.


print(df.isna().sum())               # число пропусков в каждом столбце
clean = df.dropna()                  # удалить строки с пропусками
df["amount"] = df["amount"].fillna(0)   # заменить пропуски нулями

Удалять или заполнять - зависит от смысла данных. Пропуск в сумме можно заменить нулём, а пропуск в идентификаторе заказа лучше удалить вместе со строкой.

Группировка groupby

Метод groupby делит таблицу на группы по значению столбца и считает для каждой группы итог. Это аналог сводной таблицы в Excel и конструкции GROUP BY в SQL.


# сумма продаж по городам
print(df.groupby("city")["amount"].sum())

# несколько показателей сразу с понятными именами
report = df.groupby("city").agg(
    total=("amount", "sum"),
    orders=("amount", "count"),
)
print(report)

Результат: у Москвы сумма 86100 и 2 заказа, у Казани 21900 и 2, у Самары 78000 и 1. Другие агрегаторы: mean, min, max, nunique. Часть функций удобно собрать в статье про 7 функций pandas для обработки данных.

Объединение таблиц merge

Метод merge соединяет две таблицы по общему столбцу, как JOIN в SQL. Принцип соединений разобран в статье про SQL JOIN, в pandas он тот же.


managers = pd.DataFrame({
    "city": ["Москва", "Казань", "Самара"],
    "manager": ["Иванов", "Петров", "Сидоров"],
})

result = df.merge(managers, on="city", how="left")
print(result)

В таблицу заказов добавится столбец manager. Параметр how задаёт тип соединения: inner (только совпавшие), left (все строки левой таблицы), right, outer. Для простого склеивания таблиц с одинаковыми столбцами друг под другом есть pd.concat([df1, df2]).

Сохранение результата

Готовую таблицу записывают методами to_csv и to_excel. По умолчанию pandas пишет в файл ещё и индекс строк, что обычно не нужно, поэтому добавляют index=False.


result.to_csv("result.csv", index=False, encoding="utf-8")
result.to_excel("result.xlsx", index=False, sheet_name="Итог")

После запуска в папке появятся два файла. Если CSV будут открывать в Excel на русской Windows, а кириллица отображается неверно, сохраняйте с encoding="utf-8-sig".

Что изменилось в pandas 3 и где работать

Ветка pandas 3.x принесла два заметных изменения. Режим copy-on-write стал единственным: срез или результат метода больше не меняет исходную таблицу неожиданно, а цепочечное присваивание перестало работать. Текстовые столбцы теперь хранятся в отдельном строковом типе str, а не в object. Для типового кода из этой статьи ничего менять не нужно.

Если проект застрял на старой версии, сначала обновитесь до 2.3 и устраните предупреждения, а затем переходите на 3.x. Проверить установленную версию можно командой pip show pandas.

Удобнее всего изучать pandas в интерактивной среде, где результат каждой команды виден сразу. Установка и работа в таких средах описаны в статье про Jupyter Notebook.

Частые вопросы

Как установить pandas?

Выполните команду pip install pandas в терминале, лучше внутри виртуального окружения. Для чтения файлов xlsx дополнительно поставьте openpyxl.

Что такое DataFrame в pandas?

Это двумерная таблица со столбцами разных типов и индексом строк. Ей можно пользоваться как таблицей Excel или таблицей базы данных.

Чем отличаются Series и DataFrame?

Series - один столбец данных с индексом, а DataFrame - набор таких столбцов. Выбрав столбец из DataFrame, вы получаете Series.

Как прочитать CSV с русскими буквами?

Укажите кодировку и разделитель: pd.read_csv("file.csv", sep=";", encoding="cp1251"). Если файл в UTF-8, параметр encoding можно не задавать.

Зачем нужны pandas и numpy вместе?

NumPy даёт быстрые массивы и математику, а pandas добавляет таблицы, названия столбцов, индексы и удобные операции. Pandas построен на NumPy и использует его внутри.

Какая версия Python нужна для pandas?

Для актуальной ветки 3.x нужен Python 3.11 или новее. Более старые версии pandas поддерживали и более ранние интерпретаторы.

Как отфильтровать строки в pandas по условию?

Передайте условие в квадратные скобки: df[df["amount"] > 1000]. Несколько условий объединяйте через & и | и берите каждое в скобки.

Источники

  • Installation, pandas
  • What's new in 3.0.0, pandas
  • IO tools (text, CSV, HDF5, ...), pandas
  • Group by: split-apply-combine, pandas

PythonPandas

Похожие материалы

Версии программ и команды проверены на дату публикации. Если что-то изменилось, сверяйтесь с официальной документацией. Нашли неточность? Напишите на admin@bezdepbonusu7.win.