Словарь

Кодировка: почему вместо букв кракозябры

Подробнее

• В UTF-8 русская буква занимает два байта, в Windows-1251 — один. Поэтому текст, записанный в UTF-8 и прочитанный как однобайтовый, распадается на пары неверных символов.
• BOM — три служебных байта в начале файла, по которым программа понимает, что перед ней UTF-8. Без них приходится угадывать.
• Цифры и латиница совпадают почти во всех кодировках, поэтому ломается только кириллица — числа при этом читаются нормально.

Частые ошибки

• ✕Считать, что данные испорчены: байты в файле не меняются от того, как их показали.
• ✕Пересохранять файл поверх оригинала, не убедившись, что кодировка выбрана верно, — вот это уже портит данные по-настоящему.
• ✕Открывать CSV двойным щелчком и удивляться результату: при таком открытии кодировку не спрашивают.

Как это влияет на выгрузку

Термин важен не сам по себе, а тем, что меняется в итоговой таблице. Ниже — практические следствия для колонок и проверок.

• Для CSV кодировка — обязательный параметр импорта, и указывать её лучше явно.
• XLSX этой проблемы лишён: кодировка внутри формата задана, и угадывать нечего.
• Если файл прошёл через промежуточную обработку, BOM мог быть срезан — тогда кракозябры возвращаются.

Связанные термины

• CSV
• Типы колонок в Excel
• XLSX