Bezdepbonusu7Программирование: статьи и ответы

Кодирование данных

Base64: что это, как работает и как закодировать и раскодировать данные

Base64 - способ записать любые двоичные данные текстом из 64 безопасных символов: букв, цифр, плюса и слэша. Каждые 3 байта превращаются в 4 символа, поэтому результат на треть длиннее исходных данных. Это кодирование, а не шифрование: вернуть исходные данные может любой желающий.

Base64: что это, как работает и как закодировать и раскодировать данные
Содержание
  1. Как устроено кодирование Base64
  2. Ручное кодирование слова Man
  3. Зачем нужен знак равенства в конце
  4. Base64 и base64url: в чём разница
  5. Кодирование и декодирование в Python
  6. Base64 в JavaScript: btoa, atob и UTF-8
  7. Base64 в командной строке
  8. Где используется Base64 на практике
  9. Частые ошибки при работе с Base64
  10. Частые вопросы

Как устроено кодирование Base64

Компьютер хранит данные байтами, а байт - это 8 бит. Многие текстовые каналы (письмо, JSON, URL, заголовок HTTP) рассчитаны только на печатные символы, и произвольные байты в них портятся или вызывают ошибки. Base64 переписывает любые байты алфавитом из 64 безопасных символов.

Алфавит стандартного Base64 состоит из латинских букв A-Z (значения 0-25), a-z (26-51), цифр 0-9 (52-61) и двух знаков + (62) и / (63). Шестьдесят четыре символа - это ровно 6 бит на символ, потому что 2 в шестой степени равно 64.

Алгоритм работает группами. Берутся 3 байта (24 бита), перекладываются в четыре порции по 6 бит, и каждая порция заменяется символом алфавита по номеру. На три байта данных получается четыре символа, поэтому текст в Base64 примерно на треть (на 33%) длиннее исходных данных.

Ручное кодирование слова Man

Разберём короткий пример. Слово Man в ASCII состоит из трёх байтов, поэтому подходит ровно под одну группу. Посмотрите, как биты перераспределяются.

ШагЧто делаемРезультат
1Коды символов M, a, n77, 97, 110
2Те же коды в двоичном виде01001101 01100001 01101110
3Склеиваем 24 бита и режем по 6010011 010110 000101 101110
4Переводим порции в числа19, 22, 5, 46
5Ищем символы в алфавитеT, W, F, u

Итог кодирования: Man превращается в TWFu. Раскодирование идёт в обратную сторону: каждый символ даёт 6 бит, четыре символа дают 24 бита, которые режутся на три байта.

Схема кодирования слова Man в Base64 по группам бит
Три байта слова Man делятся на четыре группы по 6 бит и превращаются в строку TWFu

Зачем нужен знак равенства в конце

Если длина данных не кратна трём, последняя группа получается неполной. Недостающие биты добиваются нулями, а в конце строки ставится знак =, чтобы длина результата стала кратна четырём.

  • Остался 1 байт: он даёт два символа и два знака ==. Например, M превращается в TQ==.
  • Остались 2 байта: они дают три символа и один знак =. Например, Ma превращается в TWE=.
  • Длина кратна трём: никакого дополнения нет, как в примере TWFu.

Знак = не несёт данных, он только сообщает декодеру, сколько байтов в последней группе. Поэтому по числу знаков равенства в конце строки сразу видно, что исходные данные были не кратны трём байтам.

Base64 и base64url: в чём разница

Символы + и / в адресах и именах файлов имеют особый смысл: плюс превращается в пробел, а слэш разделяет части пути. Для таких случаев в RFC 4648 описан вариант base64url, где они заменены.

ПараметрBase64base64url
Символ 62+-
Символ 63/_
Знак = в концеобязателенчасто убирают
Где встречаетсяписьма, data URI, сертификатытокены JWT, ссылки, имена файлов

Байты 251, 255, 191 в обычном Base64 дают +/+/, а в base64url - -_-_. Если декодер получает строку из токена без знаков равенства, перед раскодированием их нужно вернуть до длины, кратной четырём.

Кодирование и декодирование в Python

В стандартной библиотеке есть модуль base64. Он работает с байтами, поэтому строку сначала переводят в байты методом encode, а результат превращают обратно в строку через decode. Подробнее о работе с текстом в статье про методы строк Python.

import base64

text = "Привет"

# строка -> байты UTF-8 -> Base64
encoded = base64.b64encode(text.encode("utf-8")).decode("ascii")
print(encoded)

# Base64 -> байты -> строка
decoded = base64.b64decode(encoded).decode("utf-8")
print(decoded)

# вариант для URL и токенов
print(base64.urlsafe_b64encode(b"Hello, World!").decode("ascii"))

Скрипт выведет 0J/RgNC40LLQtdGC, затем слово Привет, затем SGVsbG8sIFdvcmxkIQ==. Если передать в b64encode обычную строку, Python вернёт ошибку TypeError: функция принимает только байты.

Файлы кодируют так же, только читают их в двоичном режиме.

import base64

with open("photo.png", "rb") as f:
    data = base64.b64encode(f.read()).decode("ascii")

# готовая строка для вставки в HTML или CSS
uri = "data:image/png;base64," + data
print(uri[:60])

Префикс data:image/png;base64, превращает строку в data URI: браузер показывает картинку без отдельного запроса к серверу. Для больших файлов этот приём невыгоден, ведь размер вырастает на треть и страница не кэширует картинку отдельно.

Base64 в JavaScript: btoa, atob и UTF-8

В браузере есть функции btoa (кодирует) и atob (декодирует). С английским текстом они работают сразу, но символы вне диапазона Latin-1 вызывают ошибку.

console.log(btoa("Hello"));      // SGVsbG8=
console.log(atob("SGVsbG8="));   // Hello

// btoa("Привет") выбросит InvalidCharacterError

Чтобы закодировать кириллицу, сначала превращаем текст в байты UTF-8 через TextEncoder, затем собираем из байтов строку и отдаём её в btoa. При декодировании шаги идут в обратном порядке. Про саму кодировку читайте в статье про кодировку UTF-8.

function toBase64(text) {
  const bytes = new TextEncoder().encode(text);
  let binary = "";
  bytes.forEach((b) => { binary += String.fromCharCode(b); });
  return btoa(binary);
}

function fromBase64(b64) {
  const binary = atob(b64);
  const bytes = Uint8Array.from(binary, (c) => c.charCodeAt(0));
  return new TextDecoder().decode(bytes);
}

console.log(toBase64("Привет"));              // 0J/RgNC40LLQtdGC
console.log(fromBase64("0J/RgNC40LLQtdGC"));  // Привет

В Node.js удобнее класс Buffer: он сразу работает с UTF-8 и поддерживает вариант base64url.

const enc = Buffer.from("Привет", "utf8").toString("base64");
console.log(enc);                                    // 0J/RgNC40LLQtdGC
console.log(Buffer.from(enc, "base64").toString("utf8"));
console.log(Buffer.from("Hello, World!").toString("base64url"));

Данные в формате JSON тоже иногда хранят в Base64, например вложения в ответах API. О самом формате есть статья JSON: что это такое.

Base64 в командной строке

В Linux и macOS есть утилита base64. Флаг -n у echo нужен, чтобы в данные не попал перевод строки, иначе результат изменится.

echo -n "Hello, World!" | base64
# SGVsbG8sIFdvcmxkIQ==

echo "SGVsbG8sIFdvcmxkIQ==" | base64 --decode
# Hello, World!

base64 photo.png > photo.b64
base64 -w 0 photo.png      # GNU-версия: одной строкой без переносов

GNU-версия утилиты по умолчанию переносит строку каждые 76 символов, флаг -w 0 отключает перенос. Другие команды терминала описаны в статье основные команды Linux.

В Windows PowerShell тот же результат даёт .NET.

$bytes = [System.Text.Encoding]::UTF8.GetBytes("Привет")
[Convert]::ToBase64String($bytes)

$back = [Convert]::FromBase64String("0J/RgNC40LLQtdGC")
[System.Text.Encoding]::UTF8.GetString($back)

Для файлов в Windows есть команда certutil -encode исходный.bin результат.txt, но она добавляет к результату строки BEGIN и END, которые не входят в Base64.

Где используется Base64 на практике

  • Вложения в электронной почте (стандарт MIME), потому что почтовые протоколы рассчитаны на текст.
  • Картинки и шрифты в HTML и CSS через data URI.
  • Токены JWT: заголовок и тело закодированы в base64url, и их можно прочитать без ключа.
  • Базовая HTTP-авторизация: строка user:pass превращается в dXNlcjpwYXNz и уходит в заголовке Authorization.
  • Сертификаты и ключи в формате PEM, где между строками BEGIN и END лежит Base64.
  • Передача двоичных данных в API, которые принимают только JSON, как в любом веб-API.

Base64 не шифрует данные. Любой человек раскодирует строку за секунду, ключ не нужен. Нельзя хранить в Base64 пароли и секреты, считая их скрытыми: если в чужом заголовке видите dXNlcjpwYXNz, значит, видите открытые логин и пароль.

Частые ошибки при работе с Base64

  • Лишний перевод строки: echo без -n добавляет символ, и результат отличается от ожидаемого.
  • Кодирование строки вместо байтов: в Python нужен encode, в JavaScript - TextEncoder.
  • Потерянный плюс: при передаче в адресе + превращается в пробел, и декодирование ломается. Используйте base64url или экранируйте символ.
  • Отсутствие знаков равенства: декодер вроде b64decode в Python жалуется на неверное дополнение, поэтому недостающие = нужно вернуть.
  • Попытка декодировать не Base64: в строке есть символы вне алфавита, например пробелы или переносы из письма.

Если нужно быстро проверить строку, раскодируйте её в Python одной командой base64.b64decode(s) и посмотрите на результат: читаемый текст значит, что данные были текстовыми, а набор непонятных байтов - что внутри файл.

Частые вопросы

Что такое Base64 простыми словами?

Это способ записать произвольные байты обычным текстом из 64 символов (A-Z, a-z, 0-9, + и /). Нужен там, где можно передавать только печатные символы.

Как раскодировать Base64?

В терминале выполните base64 --decode, в Python - base64.b64decode(строка), в JavaScript - atob или Buffer.from(строка, "base64"). Если внутри текст, потом декодируйте байты как UTF-8.

Base64 - это шифрование?

Нет. У Base64 нет ключа, раскодировать строку может любой человек. Для защиты данных используют настоящие алгоритмы шифрования, например AES.

Зачем в конце Base64 стоит знак равенства?

Он дополняет последнюю неполную группу до четырёх символов. Один знак значит, что в группе было 2 байта, два знака - что 1 байт.

Чем base64url отличается от обычного Base64?

В нём плюс заменён на минус, слэш на подчёркивание, а знаки равенства часто опускают. Такой вариант безопасен для адресов и используется в токенах JWT.

Почему btoa в JavaScript не принимает кириллицу?

Функция btoa работает только с символами Latin-1. Сначала текст переводят в байты UTF-8 через TextEncoder, а потом кодируют.

Насколько Base64 увеличивает размер данных?

Примерно на 33%: каждые 3 байта превращаются в 4 символа. Если добавляются переносы строк, как в письмах, рост чуть больше.

Источники

  • RFC 4648: The Base16, Base32, and Base64 Data Encodings, IETF
  • Base64, MDN Web Docs
  • base64 - Base16, Base32, Base64, Base85 Data Encodings, Python Software Foundation

Версии программ и команды проверены на дату публикации. Если что-то изменилось, сверяйтесь с официальной документацией. Нашли неточность? Напишите на admin@bezdepbonusu7.win.