Bezdepbonusu7Программирование: статьи и ответы

Python и данные

Jupyter Notebook для начинающих: установка, запуск и работа с ячейками

Jupyter Notebook это среда, где код на Python запускается по ячейкам, а результат и пояснения хранятся в одном файле .ipynb. Ниже показано, как установить Jupyter через pip или Anaconda, запустить его, работать с ячейками и горячими клавишами, подключить виртуальное окружение и когда вместо него взять JupyterLab или Google Colab.

Jupyter Notebook для начинающих: установка, запуск и работа с ячейками
Содержание
  1. Что такое Jupyter Notebook и для чего он нужен
  2. Установка Jupyter через pip
  3. Как запустить Jupyter
  4. Ячейки: code, markdown и raw
  5. Режимы и горячие клавиши
  6. Ядро и виртуальное окружение
  7. Google Colab как альтернатива
  8. Сохранение, экспорт и запуск в контейнере
  9. Частые вопросы

Что такое Jupyter Notebook и для чего он нужен

Jupyter Notebook это программа, которая открывается в браузере и позволяет писать код небольшими блоками (ячейками), запускать их по одному и сразу видеть результат: числа, таблицы, графики. Рядом с кодом можно писать пояснения обычным текстом, формулы и заголовки. Всё сохраняется в один файл с расширением .ipynb (внутри это обычный JSON).

Такой формат любят аналитики, студенты и исследователи: эксперимент можно воспроизвести блок за блоком, а готовый блокнот можно показать коллеге как отчёт. Блокноты хорошо подходят для знакомства с языком (учиться Python в Jupyter удобно с нуля), для анализа данных в библиотеке pandas и для машинного обучения. Для больших проектов и приложений удобнее обычный редактор или IDE.

Jupyter поддерживает не только Python. Название составлено из имён языков Julia, Python и R, а запускает код отдельная программа, которая называется ядром (kernel). Для Python это ядро IPython (пакет ipykernel).

Jupyter Notebook, JupyterLab и Notebook 7

У проекта Jupyter два основных интерфейса. Notebook это простой интерфейс из одного блокнота в одной вкладке браузера. JupyterLab это более полная среда: в ней открываются сразу несколько блокнотов, терминал, редактор текстовых файлов и обозреватель файлов в одном окне. Начиная с седьмой версии Notebook построен на тех же компонентах, что и JupyterLab, поэтому ячейки, меню и горячие клавиши у них очень похожи.

КритерийJupyter NotebookJupyterLabGoogle Colab
Где работаетна вашем компьютерена вашем компьютерев облаке Google
Установканужнанужнане нужна, достаточно аккаунта Google
Несколько файлов в окненет, каждый в своей вкладкеда, с терминалом и редакторомнет, один блокнот на вкладку
Видеокарта (GPU)если есть свояесли есть свояесть в бесплатной квоте с ограничениями
Файлына вашем дискена вашем дискевременное хранилище сессии и Google Диск

Установка Jupyter через pip

Самый простой путь, если Python уже установлен: поставить Jupyter как обычный пакет. Если Python у вас ещё нет, начните с инструкции как установить Python на Windows. Установку лучше выполнять внутри виртуального окружения (см. ниже), а не в системный Python.

Команды для JupyterLab и классического Notebook отличаются только именем пакета.

# JupyterLab (рекомендуется)
pip install jupyterlab

# или только Notebook
pip install notebook

Если после установки команда jupyter не находится, а pip выдаёт ошибку про внутреннюю команду, прочитайте разбор ошибки pip в Windows. На Windows запускайте через python -m pip install jupyterlab и python -m jupyterlab: так вы точно используете нужный интерпретатор.

Установка через Anaconda

Anaconda это большой дистрибутив для анализа данных: в него уже входят Python, Jupyter, pandas, NumPy, Matplotlib и менеджер окружений conda. Скачайте установщик с сайта Anaconda для вашей системы и пройдите мастер установки. После этого откройте Anaconda Navigator и нажмите кнопку Launch под плиткой Jupyter Notebook или JupyterLab.

Если нужен лёгкий вариант, используйте Miniconda и добавьте Jupyter командой conda install jupyterlab. Дистрибутив Anaconda занимает несколько гигабайт, поэтому для начала проще обойтись pip.

Как запустить Jupyter

Перейдите в папку, где будут лежать ваши блокноты, и запустите сервер из терминала. Папка, из которой вы запустили команду, станет корнем файлового обозревателя в браузере.

cd C:\projects\notebooks
jupyter lab          # откроет JupyterLab в браузере
jupyter notebook     # или классический интерфейс Notebook

Команда запустит локальный сервер, обычно на порту 8888, и откроет страницу вида http://localhost:8888/lab. В выводе терминала виден адрес с токеном: если браузер не открылся сам, скопируйте этот адрес вручную. Сервер работает, пока открыто окно терминала, закрыть его можно сочетанием Ctrl+C и подтверждением.

Установка и запуск JupyterLab командами в терминале PowerShell
Установка пакета и запуск сервера Jupyter
ПараметрЧто делает
--port 8899запустить на другом порту, если 8888 занят
--no-browserне открывать браузер автоматически
jupyter lab listпоказать запущенные серверы и их адреса (для notebook: jupyter notebook list)
jupyter --versionпоказать версии установленных компонентов

Не открывайте доступ к серверу Jupyter из интернета без пароля или токена: через него можно выполнить любой код на вашем компьютере.

Ячейки: code, markdown и raw

Блокнот состоит из ячеек. Чаще всего вы используете два типа. В ячейку типа Code вводят код, а по нажатию Shift+Enter он выполняется, и вывод появляется прямо под ячейкой. В ячейке типа Markdown пишут текст с разметкой: заголовки (# Заголовок), списки, ссылки, формулы в синтаксисе LaTeX. После выполнения она превращается в красиво оформленный текст.

Третий тип, Raw, хранит текст без обработки, он нужен для редких задач вроде конвертации. Тип ячейки переключается выпадающим списком на панели инструментов либо клавишами Y (код) и M (markdown) в командном режиме.

# ячейка Code
import pandas as pd

df = pd.DataFrame({"город": ["Москва", "Казань"], "жители_млн": [13.1, 1.3]})
df

Последнее выражение в ячейке автоматически печатается: достаточно написать df на последней строке, и Jupyter покажет таблицу с оформлением, без вызова print(). С самой библиотекой знакомит статья Pandas для начинающих.

Окно JupyterLab с меню, панелью инструментов и ячейками блокнота
Основные элементы интерфейса блокнота

Магические команды

В ячейках работают команды IPython, которые начинаются с символа % (на одну строку) или %% (на всю ячейку). Они не являются кодом Python и работают только в Jupyter.

%pip install requests     # установка пакета в окружение ядра
%timeit sum(range(1000))  # замер времени
%matplotlib inline        # графики прямо в блокноте (в новых версиях обычно включено)
!dir                      # команда оболочки (в Linux и macOS: !ls)

Для установки пакетов из блокнота используйте именно %pip install, а не !pip install: так пакет попадёт в то окружение, в котором работает ядро, а не в какое-нибудь другое.

Режимы и горячие клавиши

У ячейки два режима. В режиме редактирования (рамка вокруг ячейки с курсором внутри) вы печатаете код. В командном режиме (клавиша Esc) вы управляете самими ячейками: создаёте, удаляете, переносите. Вход в режим редактирования это Enter либо щелчок мышью по ячейке.

КлавишиРежимДействие
Esc / Enterлюбойперейти в командный режим / в режим редактирования
Shift+Enterобавыполнить ячейку и перейти к следующей
Ctrl+Enterобавыполнить ячейку и остаться на ней
Alt+Enterобавыполнить и вставить новую ячейку ниже
A / Bкомандныйвставить ячейку выше / ниже
D, D (два раза)командныйудалить выбранную ячейку
Zкомандныйотменить удаление ячейки
M / Yкомандныйсделать ячейку Markdown / Code
Shift+Mкомандныйобъединить выделенные ячейки
Ctrl+Shift+-редактированиеразделить ячейку по положению курсора
Ctrl+Sобасохранить блокнот
Tabредактированиеавтодополнение имени
Shift+Tabредактированиеподсказка по функции

Полный список находится в меню Settings, пункт Advanced Settings Editor, раздел Keyboard Shortcuts. Там же можно назначить свои сочетания.

Самая частая ошибка новичков это порядок выполнения. Jupyter помнит состояние переменных в памяти, а не по порядку ячеек сверху вниз. Если вы выполнили ячейки в разном порядке, результат блокнота нельзя воспроизвести. Перед отправкой блокнота коллеге выберите в меню Kernel пункт Restart Kernel and Run All Cells и убедитесь, что он отрабатывает целиком без ошибок.

Ядро и виртуальное окружение

Ядро это процесс, в котором выполняется ваш код. Оно хранит переменные между запусками ячеек. Если блокнот завис или нужно очистить память, в меню Kernel выберите Restart Kernel (все переменные пропадут, но код ячеек останется). Остановить зависшее вычисление можно кнопкой Interrupt (квадрат на панели) или пунктом Interrupt Kernel.

Чтобы у каждого проекта были свои версии библиотек, создайте для него отдельное окружение. Как это сделать, объяснено в статье про виртуальное окружение venv. После создания окружения Jupyter нужно научить его видеть: зарегистрируйте окружение как отдельное ядро.

python -m venv .venv
.venv\Scripts\activate                 # Windows (в Linux и macOS: source .venv/bin/activate)
pip install jupyterlab ipykernel pandas

python -m ipykernel install --user --name myproject --display-name "Python (myproject)"

После этого в JupyterLab при создании блокнота и в меню Kernel, Change Kernel появится вариант "Python (myproject)". Если вы поставили Jupyter внутрь активированного окружения и запускаете оттуда, дополнительная регистрация не нужна: ядро и так будет этим окружением.

Узнать, какой Python использует блокнот, можно двумя строками в ячейке.

import sys
print(sys.executable)

Путь в выводе должен вести в папку вашего окружения. Если вместо этого показан системный Python, у вас выбрано не то ядро, и импорт установленных пакетов будет заканчиваться ошибкой ModuleNotFoundError.

Google Colab как альтернатива

Google Colab это блокноты Jupyter, которые работают на серверах Google. Установка не требуется: заходите на colab.research.google.com под аккаунтом Google, нажимаете "Создать блокнот", и можно писать код. В Colab уже установлены популярные библиотеки для анализа данных и машинного обучения, а в бесплатном тарифе можно подключить GPU или TPU в пределах квоты.

У Colab есть особенности. Сессия временная: после простоя виртуальная машина отключается, а установленные пакеты и файлы в ней исчезают. Блокноты сохраняются на вашем Google Диске, но файлы данных нужно либо загружать заново, либо хранить на Диске. Подключить Диск можно из ячейки.

from google.colab import drive
drive.mount("/content/drive")

# файлы теперь доступны по пути /content/drive/MyDrive/
!pip install openpyxl

Для видеокарты откройте меню "Среда выполнения", "Сменить тип среды выполнения" и выберите нужный ускоритель. Colab удобен для учёбы, быстрых экспериментов и тяжёлых вычислений, если нет мощного компьютера. Если нужен постоянный доступ к своим файлам и работа без интернета, ставьте Jupyter локально. Про работу с базами в Colab есть заметка про подключение SQLite в Google Colab.

Сохранение, экспорт и запуск в контейнере

Блокнот сохраняется автоматически каждые несколько минут, а также по Ctrl+S. Файл .ipynb можно отправить коллеге: на GitHub такие файлы отображаются в браузере. Если нужен другой формат, используйте команду nbconvert, которая устанавливается вместе с Jupyter.

jupyter nbconvert --to html report.ipynb      # в HTML-страницу
jupyter nbconvert --to script report.ipynb    # в обычный файл .py

Для воспроизводимости среду с Jupyter иногда запускают в контейнере, чтобы у всех участников были одинаковые версии. Как это делается, показано в статье про запуск ноутбуков Jupyter в контейнерах Docker, а JupyterLab можно расширять готовыми фрагментами кода, как описано в материале про многоразовые фрагменты кода в JupyterLab.

Частые вопросы

Как установить Jupyter Notebook?

Выполните pip install jupyterlab или pip install notebook, либо установите дистрибутив Anaconda, в который Jupyter уже входит.

Как запустить Jupyter Notebook из консоли?

Перейдите в нужную папку и выполните jupyter notebook или jupyter lab. Сервер откроется в браузере по адресу localhost:8888.

Какое расширение у файлов Jupyter Notebook?

Расширение .ipynb. Внутри файла хранится JSON с кодом, текстом ячеек и сохранёнными результатами их выполнения.

Чем JupyterLab отличается от Jupyter Notebook?

JupyterLab объединяет в одном окне несколько блокнотов, терминал, редактор файлов и обозреватель. Notebook проще и открывает один блокнот на вкладку.

Как выполнить ячейку в Jupyter?

Нажмите Shift+Enter, чтобы выполнить ячейку и перейти к следующей, или Ctrl+Enter, чтобы остаться на ней.

Как подключить виртуальное окружение к Jupyter?

Установите в окружение пакет ipykernel и выполните python -m ipykernel install --user --name имя --display-name "Python (имя)". Ядро появится в списке при создании блокнота.

Можно ли работать с Jupyter онлайн без установки?

Да, Google Colab открывает блокноты Jupyter в браузере на серверах Google. Нужен только аккаунт Google, а файлы сохраняются на Google Диске.

Источники

  • Installation - JupyterLab documentation, Project Jupyter
  • The JupyterLab Interface, Project Jupyter
  • Jupyter Notebook documentation, Project Jupyter
  • IPython kernel for Jupyter, IPython

Python

Похожие материалы

Версии программ и команды проверены на дату публикации. Если что-то изменилось, сверяйтесь с официальной документацией. Нашли неточность? Напишите на admin@bezdepbonusu7.win.