Bezdepbonusu7Программирование: статьи и ответы

Кодировки и текст

Кодировка UTF-8: как работает, чем отличается от Windows-1251 и как лечить кракозябры

Кодировка UTF-8 это способ записать символы Unicode в байты: латиница занимает один байт, кириллица два, эмодзи четыре. Ниже разобрано, чем она отличается от Windows-1251, зачем нужен BOM и как исправить кракозябры в Python, Excel, браузере и MySQL.

Кодировка UTF-8: как работает, чем отличается от Windows-1251 и как лечить кракозябры
Содержание
  1. Что такое кодировка и зачем она нужна
  2. Unicode и UTF-8: в чём разница
  3. UTF-8 и Windows-1251: главные отличия
  4. BOM: что это и нужен ли он
  5. Откуда берутся кракозябры
  6. Как исправить кракозябры
  7. Как сохранить файл в UTF-8
  8. Частые вопросы

Что такое кодировка и зачем она нужна

Компьютер хранит всё в виде чисел, в том числе текст. Кодировка это таблица соответствия между символами и числами (а затем и байтами): буква "А" это одно число, "Б" другое, цифра "5" третье. Пока программа, записавшая файл, и программа, которая его читает, используют одну таблицу, текст выглядит нормально. Стоит им разойтись, и вместо слов появляются "кракозябры".

В начале эры компьютеров символов было мало, и хватало одного байта на букву. Так появились ASCII (128 знаков, только латиница), а затем десятки национальных расширений: для русского языка это Windows-1251, KOI8-R и CP866. Один и тот же байт в них означает разные буквы, а в одном файле нельзя было смешать, например, русский и китайский текст.

Unicode и UTF-8: в чём разница

Unicode решает проблему радикально: это единый список всех символов мира. Каждому символу присвоен уникальный номер, называемый кодовой точкой, например U+0410 для русской "А" или U+1F600 для смайлика. Unicode сам по себе только таблица номеров и не говорит, как записывать эти номера в файл.

Способы записи называются кодировками Unicode: UTF-8, UTF-16 и UTF-32. UTF-8 самая распространённая: ею пользуется подавляющее большинство сайтов, она стандарт для JSON, XML, исходного кода и Linux. Подробнее про формат данных читайте в статье JSON - что это такое: по спецификации JSON обмен данными ведётся именно в UTF-8.

Сколько байт занимает символ в UTF-8

UTF-8 использует переменную длину: чем больше номер символа, тем больше байт. Латиница и цифры занимают один байт и совпадают с ASCII, поэтому обычные английские тексты в UTF-8 и ASCII выглядят одинаково.

Диапазон кодовых точекБайтЧто входитПример (в hex)
U+0000 - U+007F1латиница, цифры, знаки препинанияA = 41
U+0080 - U+07FF2кириллица, греческий, иврит, арабскийя = d1 8f
U+0800 - U+FFFF3китайский, японский, символ евро€ = e2 82 ac
U+10000 - U+10FFFF4эмодзи и редкие символы😀 = f0 9f 98 80

Каждая русская буква в UTF-8 занимает два байта, поэтому текст на русском в этой кодировке примерно вдвое больше, чем в Windows-1251, где буква занимает один байт. Для современных дисков и сетей эта разница несущественна, а выигрыш в совместимости огромен.

text = "Привет"
print(len(text))                       # 6 символов
print(len(text.encode("utf-8")))       # 12 байт
print(len(text.encode("cp1251")))      # 6 байт
print(text.encode("utf-8").hex(" "))   # d0 9f d1 80 d0 b8 d0 b2 d0 b5 d1 82

Здесь Python сначала считает символы, а затем байты в двух кодировках. Обратите внимание: длина строки в символах и длина в байтах это разные числа, и это важно при ограничениях на размер поля в базе или в протоколе.

UTF-8 и Windows-1251: главные отличия

СвойствоUTF-8Windows-1251
Количество символоввсе символы Unicode (более 150 тысяч)256, латиница и кириллица
Байт на русскую букву21
Китайский, арабский, эмодзиданет, заменяются на ?
Совместимость с ASCIIда, первые 128 знаковда, первые 128 знаков
Где встречаетсясайты, API, Linux, macOS, современные редакторыстарые сайты, документы 1С, часть выгрузок из Excel и банков

Windows-1251 это однобайтовая кодировка, созданная Microsoft для кириллицы. Она не может записать ни один символ вне своего набора, поэтому любой современный проект выбирает UTF-8. Конвертация из старой кодировки в новую делается один раз, а дальше всё остаётся в UTF-8.

Слова "кодировка ANSI" в Блокноте Windows и в Excel исторически означают системную кодировку по умолчанию. В русской Windows это Windows-1251, и именно из-за этого файлы "в ANSI" и "в UTF-8" путают.

BOM: что это и нужен ли он

BOM (byte order mark, метка порядка байтов) это специальный символ U+FEFF в начале файла. В UTF-8 он записывается тремя байтами EF BB BF и служит подсказкой: "здесь UTF-8". Для UTF-16 BOM нужен, потому что в этой кодировке важен порядок байтов. UTF-8 порядка байтов не имеет, и BOM для неё необязателен, а часто и вреден.

Вот где он мешает: в скриптах оболочки Linux (первая строка с shebang перестаёт распознаваться), в PHP (лишние байты выводятся до заголовков), в JSON (парсер ругается на неожиданный символ) и в файлах, обрабатываемых разными утилитами.

С другой стороны, без BOM старые версии Excel не распознают UTF-8 в CSV и показывают кракозябры. Правило такое: для сайтов, кода и данных сохраняйте UTF-8 без BOM, а для CSV, который будет открываться двойным щелчком в Excel, используйте UTF-8 с BOM.

# Python: прочитать файл и убрать BOM, если он есть
with open("data.csv", encoding="utf-8-sig") as f:
    text = f.read()

# записать файл в UTF-8 с BOM (для Excel)
with open("out.csv", "w", encoding="utf-8-sig", newline="") as f:
    f.write("имя;город\nАнна;Москва\n")

Кодек utf-8-sig при чтении сам пропускает BOM, а при записи добавляет его. Параметр newline="" нужен при записи CSV, чтобы не появлялись лишние пустые строки на Windows.

Откуда берутся кракозябры

Кракозябры (по-научному "mojibake") появляются, когда текст записан в одной кодировке, а прочитан в другой. Каждая кодировка разбирает байты по-своему, и результат зависит от того, какая именно пара вовлечена.

Записано вПрочитано какРезультат для слова "Мир"
UTF-8Windows-1251РњРёСЂ
Windows-1251UTF-8три символа-заменителя в виде ромбов с вопросом
UTF-8CP866 или KOI8-Rпсевдографика и случайные буквы
UTF-8Latin-1 (ISO-8859-1)пары символов, начинающиеся с Ð или Ñ

Узнаваемый признак: вид "РњРёСЂ" с чередованием заглавных Р и С говорит о том, что исходный UTF-8 прочитали как Windows-1251. Такое случается чаще всего. Если же вместо букв стоят ромбики с вопросительным знаком, значит, данные не декодировались, а испорченные байты уже заменены, и вернуть исходный текст не получится.

Простую порчу вида "UTF-8 прочитали как Windows-1251" можно исправить обратным преобразованием, если текст ещё не был потерян.

broken = "РњРёСЂ"
fixed = broken.encode("cp1251").decode("utf-8")
print(fixed)   # Мир

Как исправить кракозябры

Сначала определите, где именно разошлись кодировки: файл, программа, соединение с базой или заголовок сервера. Дальше способы зависят от места.

В текстовом файле и редакторе

В VS Code кодировка текущего файла показана в правой части строки состояния. Нажмите на неё и выберите "Reopen with Encoding", чтобы перечитать файл в другой кодировке, или "Save with Encoding", чтобы пересохранить. В Блокноте Windows используйте "Файл - Сохранить как" и выпадающий список "Кодировка". В Linux перекодировать файл можно утилитой iconv.

file -i old.txt                              # определить кодировку
iconv -f cp1251 -t utf-8 old.txt > new.txt   # из Windows-1251 в UTF-8

В Python

Всегда указывайте кодировку явно при открытии файла. Раньше на Windows open() без этого параметра использовал системную кодировку (cp1251 в русской версии), и один и тот же скрипт по-разному работал на разных машинах. Если вы только начинаете, установите Python по инструкции из статьи как установить Python на Windows.

# чтение и запись
with open("notes.txt", encoding="utf-8") as f:
    text = f.read()

with open("notes.txt", "w", encoding="utf-8") as f:
    f.write(text)

# файл в старой кодировке
with open("old.txt", encoding="cp1251") as f:
    text = f.read()

# pandas: CSV из бухгалтерской программы
import pandas as pd
df = pd.read_csv("export.csv", encoding="cp1251", sep=";")

Работу с таблицами подробно разбирает статья Pandas для начинающих. Если Python жалуется на UnicodeDecodeError, значит, файл не в той кодировке, которую вы указали: попробуйте cp1251, utf-8-sig или определите кодировку утилитой file.

В Excel

Двойной щелчок по CSV в Excel открывает файл в системной кодировке, и UTF-8 без BOM превращается в кракозябры. Есть два надёжных способа. Первый: при сохранении выбрать "CSV UTF-8 (разделитель - запятая)", этот формат записывается с BOM.

Второй: не открывать файл двойным щелчком, а использовать на вкладке "Данные" команду "Из текста или CSV", где в поле "Источник файла" можно выбрать "65001: Юникод (UTF-8)". Особенности CSV и других форматов описаны в статье про форматы данных CSV, Parquet и Feather.

В браузере и на сайте

Браузеру нужно знать кодировку страницы. Её сообщают двумя способами: заголовком ответа Content-Type: text/html; charset=utf-8 и тегом в начале документа. Заголовок имеет приоритет над тегом, поэтому проверьте оба места.

<!DOCTYPE html>
<html lang="ru">
<head>
  <meta charset="utf-8">
  <title>Страница</title>
</head>

Тег meta charset должен находиться в первых 1024 байтах документа, лучше сразу после открывающего head. На сервере кодировку задают так: в nginx директивой charset utf-8;, в Apache строкой AddDefaultCharset UTF-8 в файле .htaccess. Сам файл при этом должен быть действительно сохранён в UTF-8, иначе указание кодировки не поможет.

В MySQL

В MySQL кодировка задаётся на трёх уровнях: база, таблица и соединение. Для полноценного UTF-8 используйте utf8mb4. Старая кодировка utf8 (она же utf8mb3) хранит не больше 3 байт на символ, поэтому эмодзи и редкие иероглифы в ней не сохраняются или обрезают строку.

-- новая база
CREATE DATABASE app CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

-- перевести существующую таблицу
ALTER TABLE users CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

-- соединение (если клиент сам не выставил)
SET NAMES utf8mb4;

Команда ALTER TABLE ... CONVERT TO меняет и кодировку, и преобразует уже хранящиеся данные, поэтому перед её запуском сделайте копию таблицы. Общие приёмы работы с запросами собраны в статье SQL запросы с примерами.

Не пытайтесь "лечить" кракозябры в базе простой сменой кодировки таблицы: если в таблице уже лежат испорченные данные (текст записали через соединение в неверной кодировке), перекодировка закрепит порчу. Сначала выясните, в какой кодировке данные записаны на самом деле, и только затем конвертируйте.

Как сохранить файл в UTF-8

  1. В Блокноте Windows: "Файл", "Сохранить как", внизу в поле "Кодировка" выберите "UTF-8" (без BOM) или "UTF-8 с BOM".
  2. В VS Code: нажмите на кодировку в строке состояния, выберите "Save with Encoding" и затем "UTF-8".
  3. В PyCharm: "File", "Settings", "Editor", "File Encodings", установите "UTF-8" для проекта и файлов свойств.
  4. В PowerShell: Get-Content old.txt -Encoding Default | Set-Content new.txt -Encoding UTF8 (Windows PowerShell 5.1: UTF8 пишет файл с BOM; в PowerShell 7 вместо Default используют ansi, а для записи utf8NoBOM).
  5. В Linux и macOS: iconv или команда file -i для проверки результата.

После сохранения откройте файл в другой программе и убедитесь, что кириллица читается. Это проверка за минуту, которая экономит часы поиска причины позже. Для тех, кто изучает язык с нуля, полезно просмотреть план обучения Python на три месяца: работа с кодировками файлов обычно встречается уже в первых проектах.

Частые вопросы

Что такое кодировка UTF-8 простыми словами?

Это способ записывать любые символы мира в виде байтов. Латинские буквы занимают 1 байт, русские 2, китайские иероглифы 3, эмодзи 4.

Чем UTF-8 отличается от Unicode?

Unicode это таблица всех символов с номерами, а UTF-8 один из способов записать эти номера в файл. Есть и другие способы: UTF-16 и UTF-32.

Чем UTF-8 отличается от Windows-1251?

Windows-1251 однобайтовая и умеет только кириллицу и латиницу, а UTF-8 охватывает все языки и эмодзи, но русская буква в ней занимает 2 байта вместо одного.

Как сохранить файл в кодировке UTF-8?

В Блокноте выберите в окне Сохранить как поле Кодировка и значение UTF-8, в VS Code используйте команду Save with Encoding в строке состояния, в Python укажите encoding="utf-8" при open().

Что такое BOM и нужен ли он в UTF-8?

BOM это три байта EF BB BF в начале файла, которые подсказывают, что файл в UTF-8. Для сайтов и кода он не нужен и мешает, а Excel для CSV часто требует его, чтобы распознать UTF-8.

Почему вместо русских букв отображаются РњРёСЂ?

Текст записан в UTF-8, а программа прочитала его как Windows-1251. Откройте файл с правильной кодировкой или перекодируйте: в Python broken.encode("cp1251").decode("utf-8").

Как открыть CSV в UTF-8 в Excel без кракозябр?

Используйте на вкладке Данные команду Из текста или CSV и выберите источник файла 65001 Юникод (UTF-8) либо сохраняйте файл как CSV UTF-8 с BOM.

Источники

UTF-8Unicode

Похожие материалы

Версии программ и команды проверены на дату публикации. Если что-то изменилось, сверяйтесь с официальной документацией. Нашли неточность? Напишите на admin@bezdepbonusu7.win.