Что такое кодировка и зачем она нужна
Компьютер хранит всё в виде чисел, в том числе текст. Кодировка это таблица соответствия между символами и числами (а затем и байтами): буква "А" это одно число, "Б" другое, цифра "5" третье. Пока программа, записавшая файл, и программа, которая его читает, используют одну таблицу, текст выглядит нормально. Стоит им разойтись, и вместо слов появляются "кракозябры".
В начале эры компьютеров символов было мало, и хватало одного байта на букву. Так появились ASCII (128 знаков, только латиница), а затем десятки национальных расширений: для русского языка это Windows-1251, KOI8-R и CP866. Один и тот же байт в них означает разные буквы, а в одном файле нельзя было смешать, например, русский и китайский текст.
Unicode и UTF-8: в чём разница
Unicode решает проблему радикально: это единый список всех символов мира. Каждому символу присвоен уникальный номер, называемый кодовой точкой, например U+0410 для русской "А" или U+1F600 для смайлика. Unicode сам по себе только таблица номеров и не говорит, как записывать эти номера в файл.
Способы записи называются кодировками Unicode: UTF-8, UTF-16 и UTF-32. UTF-8 самая распространённая: ею пользуется подавляющее большинство сайтов, она стандарт для JSON, XML, исходного кода и Linux. Подробнее про формат данных читайте в статье JSON - что это такое: по спецификации JSON обмен данными ведётся именно в UTF-8.
Сколько байт занимает символ в UTF-8
UTF-8 использует переменную длину: чем больше номер символа, тем больше байт. Латиница и цифры занимают один байт и совпадают с ASCII, поэтому обычные английские тексты в UTF-8 и ASCII выглядят одинаково.
| Диапазон кодовых точек | Байт | Что входит | Пример (в hex) |
|---|---|---|---|
| U+0000 - U+007F | 1 | латиница, цифры, знаки препинания | A = 41 |
| U+0080 - U+07FF | 2 | кириллица, греческий, иврит, арабский | я = d1 8f |
| U+0800 - U+FFFF | 3 | китайский, японский, символ евро | € = e2 82 ac |
| U+10000 - U+10FFFF | 4 | эмодзи и редкие символы | 😀 = f0 9f 98 80 |
Каждая русская буква в UTF-8 занимает два байта, поэтому текст на русском в этой кодировке примерно вдвое больше, чем в Windows-1251, где буква занимает один байт. Для современных дисков и сетей эта разница несущественна, а выигрыш в совместимости огромен.
text = "Привет"
print(len(text)) # 6 символов
print(len(text.encode("utf-8"))) # 12 байт
print(len(text.encode("cp1251"))) # 6 байт
print(text.encode("utf-8").hex(" ")) # d0 9f d1 80 d0 b8 d0 b2 d0 b5 d1 82
Здесь Python сначала считает символы, а затем байты в двух кодировках. Обратите внимание: длина строки в символах и длина в байтах это разные числа, и это важно при ограничениях на размер поля в базе или в протоколе.
UTF-8 и Windows-1251: главные отличия
| Свойство | UTF-8 | Windows-1251 |
|---|---|---|
| Количество символов | все символы Unicode (более 150 тысяч) | 256, латиница и кириллица |
| Байт на русскую букву | 2 | 1 |
| Китайский, арабский, эмодзи | да | нет, заменяются на ? |
| Совместимость с ASCII | да, первые 128 знаков | да, первые 128 знаков |
| Где встречается | сайты, API, Linux, macOS, современные редакторы | старые сайты, документы 1С, часть выгрузок из Excel и банков |
Windows-1251 это однобайтовая кодировка, созданная Microsoft для кириллицы. Она не может записать ни один символ вне своего набора, поэтому любой современный проект выбирает UTF-8. Конвертация из старой кодировки в новую делается один раз, а дальше всё остаётся в UTF-8.
Слова "кодировка ANSI" в Блокноте Windows и в Excel исторически означают системную кодировку по умолчанию. В русской Windows это Windows-1251, и именно из-за этого файлы "в ANSI" и "в UTF-8" путают.
BOM: что это и нужен ли он
BOM (byte order mark, метка порядка байтов) это специальный символ U+FEFF в начале файла. В UTF-8 он записывается тремя байтами EF BB BF и служит подсказкой: "здесь UTF-8". Для UTF-16 BOM нужен, потому что в этой кодировке важен порядок байтов. UTF-8 порядка байтов не имеет, и BOM для неё необязателен, а часто и вреден.
Вот где он мешает: в скриптах оболочки Linux (первая строка с shebang перестаёт распознаваться), в PHP (лишние байты выводятся до заголовков), в JSON (парсер ругается на неожиданный символ) и в файлах, обрабатываемых разными утилитами.
С другой стороны, без BOM старые версии Excel не распознают UTF-8 в CSV и показывают кракозябры. Правило такое: для сайтов, кода и данных сохраняйте UTF-8 без BOM, а для CSV, который будет открываться двойным щелчком в Excel, используйте UTF-8 с BOM.
# Python: прочитать файл и убрать BOM, если он есть
with open("data.csv", encoding="utf-8-sig") as f:
text = f.read()
# записать файл в UTF-8 с BOM (для Excel)
with open("out.csv", "w", encoding="utf-8-sig", newline="") as f:
f.write("имя;город\nАнна;Москва\n")
Кодек utf-8-sig при чтении сам пропускает BOM, а при записи добавляет его. Параметр newline="" нужен при записи CSV, чтобы не появлялись лишние пустые строки на Windows.
Откуда берутся кракозябры
Кракозябры (по-научному "mojibake") появляются, когда текст записан в одной кодировке, а прочитан в другой. Каждая кодировка разбирает байты по-своему, и результат зависит от того, какая именно пара вовлечена.
| Записано в | Прочитано как | Результат для слова "Мир" |
|---|---|---|
| UTF-8 | Windows-1251 | РњРёСЂ |
| Windows-1251 | UTF-8 | три символа-заменителя в виде ромбов с вопросом |
| UTF-8 | CP866 или KOI8-R | псевдографика и случайные буквы |
| UTF-8 | Latin-1 (ISO-8859-1) | пары символов, начинающиеся с Ð или Ñ |
Узнаваемый признак: вид "РњРёСЂ" с чередованием заглавных Р и С говорит о том, что исходный UTF-8 прочитали как Windows-1251. Такое случается чаще всего. Если же вместо букв стоят ромбики с вопросительным знаком, значит, данные не декодировались, а испорченные байты уже заменены, и вернуть исходный текст не получится.
Простую порчу вида "UTF-8 прочитали как Windows-1251" можно исправить обратным преобразованием, если текст ещё не был потерян.
broken = "РњРёСЂ"
fixed = broken.encode("cp1251").decode("utf-8")
print(fixed) # Мир
Как исправить кракозябры
Сначала определите, где именно разошлись кодировки: файл, программа, соединение с базой или заголовок сервера. Дальше способы зависят от места.
В текстовом файле и редакторе
В VS Code кодировка текущего файла показана в правой части строки состояния. Нажмите на неё и выберите "Reopen with Encoding", чтобы перечитать файл в другой кодировке, или "Save with Encoding", чтобы пересохранить. В Блокноте Windows используйте "Файл - Сохранить как" и выпадающий список "Кодировка". В Linux перекодировать файл можно утилитой iconv.
file -i old.txt # определить кодировку
iconv -f cp1251 -t utf-8 old.txt > new.txt # из Windows-1251 в UTF-8
В Python
Всегда указывайте кодировку явно при открытии файла. Раньше на Windows open() без этого параметра использовал системную кодировку (cp1251 в русской версии), и один и тот же скрипт по-разному работал на разных машинах. Если вы только начинаете, установите Python по инструкции из статьи как установить Python на Windows.
# чтение и запись
with open("notes.txt", encoding="utf-8") as f:
text = f.read()
with open("notes.txt", "w", encoding="utf-8") as f:
f.write(text)
# файл в старой кодировке
with open("old.txt", encoding="cp1251") as f:
text = f.read()
# pandas: CSV из бухгалтерской программы
import pandas as pd
df = pd.read_csv("export.csv", encoding="cp1251", sep=";")
Работу с таблицами подробно разбирает статья Pandas для начинающих. Если Python жалуется на UnicodeDecodeError, значит, файл не в той кодировке, которую вы указали: попробуйте cp1251, utf-8-sig или определите кодировку утилитой file.
В Excel
Двойной щелчок по CSV в Excel открывает файл в системной кодировке, и UTF-8 без BOM превращается в кракозябры. Есть два надёжных способа. Первый: при сохранении выбрать "CSV UTF-8 (разделитель - запятая)", этот формат записывается с BOM.
Второй: не открывать файл двойным щелчком, а использовать на вкладке "Данные" команду "Из текста или CSV", где в поле "Источник файла" можно выбрать "65001: Юникод (UTF-8)". Особенности CSV и других форматов описаны в статье про форматы данных CSV, Parquet и Feather.
В браузере и на сайте
Браузеру нужно знать кодировку страницы. Её сообщают двумя способами: заголовком ответа Content-Type: text/html; charset=utf-8 и тегом в начале документа. Заголовок имеет приоритет над тегом, поэтому проверьте оба места.
<!DOCTYPE html>
<html lang="ru">
<head>
<meta charset="utf-8">
<title>Страница</title>
</head>
Тег meta charset должен находиться в первых 1024 байтах документа, лучше сразу после открывающего head. На сервере кодировку задают так: в nginx директивой charset utf-8;, в Apache строкой AddDefaultCharset UTF-8 в файле .htaccess. Сам файл при этом должен быть действительно сохранён в UTF-8, иначе указание кодировки не поможет.
В MySQL
В MySQL кодировка задаётся на трёх уровнях: база, таблица и соединение. Для полноценного UTF-8 используйте utf8mb4. Старая кодировка utf8 (она же utf8mb3) хранит не больше 3 байт на символ, поэтому эмодзи и редкие иероглифы в ней не сохраняются или обрезают строку.
-- новая база
CREATE DATABASE app CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
-- перевести существующую таблицу
ALTER TABLE users CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
-- соединение (если клиент сам не выставил)
SET NAMES utf8mb4;
Команда ALTER TABLE ... CONVERT TO меняет и кодировку, и преобразует уже хранящиеся данные, поэтому перед её запуском сделайте копию таблицы. Общие приёмы работы с запросами собраны в статье SQL запросы с примерами.
Не пытайтесь "лечить" кракозябры в базе простой сменой кодировки таблицы: если в таблице уже лежат испорченные данные (текст записали через соединение в неверной кодировке), перекодировка закрепит порчу. Сначала выясните, в какой кодировке данные записаны на самом деле, и только затем конвертируйте.
Как сохранить файл в UTF-8
- В Блокноте Windows: "Файл", "Сохранить как", внизу в поле "Кодировка" выберите "UTF-8" (без BOM) или "UTF-8 с BOM".
- В VS Code: нажмите на кодировку в строке состояния, выберите "Save with Encoding" и затем "UTF-8".
- В PyCharm: "File", "Settings", "Editor", "File Encodings", установите "UTF-8" для проекта и файлов свойств.
- В PowerShell:
Get-Content old.txt -Encoding Default | Set-Content new.txt -Encoding UTF8(Windows PowerShell 5.1: UTF8 пишет файл с BOM; в PowerShell 7 вместо Default используют ansi, а для записи utf8NoBOM). - В Linux и macOS:
iconvили командаfile -iдля проверки результата.
После сохранения откройте файл в другой программе и убедитесь, что кириллица читается. Это проверка за минуту, которая экономит часы поиска причины позже. Для тех, кто изучает язык с нуля, полезно просмотреть план обучения Python на три месяца: работа с кодировками файлов обычно встречается уже в первых проектах.
