Частные зоны использования

В Unicode область частного использования ( PUA ) представляет собой диапазон кодовых точек , которым по определению не будут назначены символы стандартом. ^[1] Определены три области частного использования: одна в базовой многоязыковой плоскости ( U+E000–U+F8FF ) и по одной в плоскостях 15 и 16 , и почти покрывающих их ( U+F0000–U+FFFFD , U+100000–U+10FFFD ). Они намеренно оставлены неопределенными, чтобы третьи стороны могли назначать свои собственные символы, не конфликтуя с назначениями Консорциума Unicode. В соответствии с Политикой стабильности Unicode ^[2] области частного использования останутся выделенными для этой цели во всех будущих версиях Unicode.

Назначения для символов области частного использования не обязательно должны быть «частными» в смысле строго внутренних для организации; ряд схем назначения были опубликованы несколькими организациями. Такая публикация может включать шрифт, который поддерживает определение (показ глифов), и программное обеспечение, использующее символы частного использования (например, графический символ для функции «печати документа»). По определению, несколько частных сторон могут назначать разные символы одной и той же кодовой точке, в результате чего пользователь может увидеть один частный символ из установленного шрифта там, где предполагался другой.

Согласно определению Unicode, кодовые точки в зонах частного использования не являются несимволами, зарезервированными или неназначенными. Их категория — « Other, private use (Co)», и имена символов не указаны. Репрезентативные глифы не предоставляются, а семантика символов оставлена ​​на усмотрение частного соглашения.

Символам частного использования назначаются кодовые точки Unicode, интерпретация которых не указана в настоящем стандарте и использование которых может определяться частным соглашением между сотрудничающими пользователями. Эти символы предназначены для частного использования и не имеют определенной, интерпретируемой семантики, за исключением частного соглашения. ... Для символов частного использования не предоставляются таблицы, поскольку любые такие символы по своей природе определены только вне контекста настоящего стандарта. ^[3]

В базовой многоязычной плоскости (плоскость 0) блок под названием «Зона частного использования» имеет 6400 кодовых точек.

Плоскости 15 и 16 почти ^{[примечание 1]} полностью назначены двум дополнительным областям частного использования, Supplementary Private Use Area-A и Supplementary Private Use Area-B соответственно. В UTF-16 подмножество высоких суррогатов (U+DB80..U+DBFF) используется для этих и только этих плоскостей и называется High Private Use Surrogates .

В Unicode есть три блока PUA. ^[3]

В Unicode 1.0.0 область частного использования простиралась от U+E800 до U+FDFF (т.е. не включала U+E000..E7FF, но дополнительно включала диапазон U+F900..FDFF, который сейчас занят идеографами совместимости CJK , алфавитными формами представления и арабскими формами представления-A ). ^[7] Это было изменено на U+E000..F8FF в Unicode 1.0.1, ^[4] и оставалось таковым в Unicode 1.1. ^[8] Вопреки заблуждению, диапазон U+D800..DFFF (зарезервированный для суррогатов UTF-16 со времен Unicode 2.0) не был включен в диапазон частного использования какой-либо версии Unicode 1.x.

Исторически плоскости E0 (224) через FF (255) и группы 60 (96) через 7F (127) Универсального набора кодированных символов (т. е. U+E00000 через U+FFFFFF и U+60000000 через U+7FFFFFFF) также были обозначены как частное использование. Эти диапазоны были удалены из указанных диапазонов частного использования, когда UCS была ограничена семнадцатью плоскостями, достижимыми в UTF-16. ^[9]

Многие люди и учреждения создали коллекции символов для PUA. Некоторые из этих соглашений о частном использовании опубликованы, поэтому другие разработчики PUA могут ориентироваться на неиспользуемые или менее используемые кодовые точки, чтобы предотвратить наложения. Несколько символов и сценариев, ранее закодированных в соглашениях о частном использовании, фактически были полностью закодированы в Unicode, что потребовало сопоставления из PUA с другими кодовыми точками Unicode.

Одно из наиболее известных и широко применяемых соглашений PUA поддерживается ConScript Unicode Registry (CSUR). CSUR, который официально не одобрен и не связан с Unicode Consortium, обеспечивает сопоставление для сконструированных письменностей, таких как Klingon pIqaD и Ferengi script (Star Trek), Tengwar и Cirth (курсивные и рунические письменности Дж. Р. Р. Толкиена), Visible Speech Александра Мелвилла Белла и алфавит доктора Сьюза из On Beyond Zebra . Ранее CSUR кодировал нерасшифрованные символы Phaistos , а также алфавиты Shavian и Deseret , которые все были приняты для официального кодирования в Unicode.

Другое общее соглашение PUA поддерживается Medieval Unicode Font Initiative (MUFI). Этот проект пытается поддержать все аббревиатуры писцов, лигатуры, предкомпозитные символы , символы и альтернативные формы букв , встречающиеся в средневековых текстах, написанных латинским алфавитом. Явная цель MUFI — экспериментально определить, какие символы необходимы для представления этих текстов, и официально закодировать эти символы в Unicode. Начиная с версии Unicode 5.1, в официальную кодировку Unicode было включено 152 символа MUFI. ^{[ требуется обновление ]}

Некоторые согласованные коллекции символов PUA существуют частично или полностью, потому что Консорциум Unicode не спешит их кодировать. Некоторые, например, непредставленные языки, скорее всего, будут закодированы в будущем. Некоторые необычные случаи, такие как вымышленные языки, находятся за пределами обычной сферы действия Unicode, но явно не исключены принципами Unicode и могут появиться в конечном итоге (например, системы письма Star Trek и Tolkien). В других случаях предлагаемая кодировка нарушает один или несколько принципов Unicode и, следовательно, вряд ли когда-либо будет официально признана Unicode — в основном, когда пользователи хотят напрямую кодировать альтернативные формы, лигатуры или комбинации базовый символ-плюс-диакритический знак (например, схема TUNE).

• Эмодзи — это кодировка для символов изображений или эмотиконов, используемых в японских беспроводных сообщениях и веб-страницах. С Unicode 6.0 и более поздними версиями многие из них были закодированы в блоке Miscellaneous Symbols And Pictographs и в других местах SMP .
• GB/T 20542-2006 («Расширение набора тибетских кодированных символов A») и GB/T 22238-2008 («Расширение набора тибетских кодированных символов B») — это китайские национальные стандарты , которые используют PUA для кодирования предварительно составленных тибетских лигатур .
• GB 18030 и GBK используют PUA для временного кодирования символов, отсутствовавших в стандартах Unicode на момент публикации (большинство из них были закодированы с тех пор).
• Институт эстонского языка использует PUA для кодирования латинских и кириллических составных символов ^[10], не имеющих кодировки Unicode.
• Проект Free Tengwar Font Project использует иное сопоставление из реестра ConScript Unicode , которое в основном соответствует дискуссионной статье Майкла Эверсона от 2001-03-07 по Tengwar, но отличается в некоторых деталях.
• Стандарт MARC 21 использует PUA для кодирования восточноазиатских символов, присутствующих в MARC-8 ^[11], которые не имеют кодировки Unicode.
• SIL Corporate PUA использует PUA для кодирования символов, используемых в языках меньшинств, которые еще не приняты в Unicode.
• Проект шрифтов STIX использует PUA для предоставления всеобъемлющего набора шрифтов математических символов и алфавитов, многие из которых теперь также доступны в SMP, например, в блоке математических буквенно-цифровых символов .
• Новая кодировка тамильского языка Unicode (TUNE) ^[12] — это предлагаемая схема кодирования тамильского языка , которая устраняет выявленные недостатки текущей кодировки Unicode.

Неформально диапазон U+F000 через U+F8FF известен как Corporate Use Area. Это происходит из ранних версий Unicode, которые определяли "End User Zone" (Зону конечного пользователя), простирающуюся от U+E000 вверх, и "Corporate Use Zone" (Зону корпоративного использования), простирающуюся от U+F8FF вниз, при этом граница между ними оставалась неопределенной. ^[8]

• В Adobe Glyph List для некоторых глифов использовался PUA. ^[13]
• Apple перечисляет диапазон из 1280 символов в своей документации для разработчиков ^[14] от U+F400 до U+F8FF в пределах PUA для использования Apple. Из них используются только 311, в диапазоне U+F700–U+F8FF ( NeXT ( NeXTSTEP и OPENSTEP ) и Apple ( macOS AppKit )). ^[15]
  • Одним из них является U+F8FF, логотип Apple , который обычно поддерживается 8-битными наборами Apple.
• WGL4 использует PUA (U+F001 и U+F002) для кодирования дубликатов лигатур fi (U+FB01) fl (U+FB02). ^[16]
• Несуществующая функция Microsoft Services For Macintosh использовала U+F001 — U+F029 в качестве замены специальных символов, разрешенных в HFS , но запрещенных в NTFS , и U+F02A для логотипа Apple. ^{[17] [18]}
• В старых версиях своего компонента RichEdit Microsoft сопоставляла U+F020–U+F0FF в пределах PUA с символьными шрифтами. Для любого символа в этом диапазоне RichEdit отображал символ из символьного шрифта вместо конечного пользовательского символа (EUDC) ^{[19] [20]}
• AutoCAD ^{[ требуется пояснение ]} использует U+F8FC–U+F8FE для ⌀ (знак диаметра), ± ( знак плюс–минус ) и ° (знак градуса) соответственно.
• Некоторые шрифты размещают логотип Windows в U+F000.
• Число U+F000— это последовательность цифр, начинающаяся с 13 или 18 в некоторых видеоиграх, таких как Agar.io.
• В Ubuntu отображается U+E0FFкак логотип «Circle Of Friends» ^[21] и U+F200представляет собой «ubuntu» в шрифте Ubuntu с надстрочным текстом «Circle Of Friends» (это само по себе U+F0FF). ^[22]
• Шрифт 3270 включает логотип Debian в U+F100.
• В шрифте Linux LibertineU+E000 изображен Тукс , талисман Linux.
• Значок шрифта Font Awesome использует PUA для отображения различных глифов.
• Powerline, плагин строки состояния для Vim , использует U+E0A0–U+E0A2 и U+E0B0–U+E0B3 для дополнительных символов рисования рамок . ^{[23] [24] [25]}
• На шрифте Fira Sans , используемом в Firefox OS , U+E003отображается логотип Mozilla (голова динозавра).
• Lotus Multi-Byte Character Set (LMBCS), кодировка и набор символов, используемые внутри Lotus / IBM Lotus 1-2-3 , Symphony , SmartSuite , Notes , Domino, а также ряда сторонних продуктов, таких как Microsoft Works , использует некоторые символы ( U+F862- U+F89Fи U+F8FB- U+F8FE) в области частного использования для символов, не определенных в Unicode. Из них, U+F8FBкак известно, зарезервирован для символа валюты крона ("Kr"), а U+F8FCи U+F8FDбыли позже сопоставлены с U+FB02( fl ) и U+FB01( fi ) соответственно. Кроме того, когда коды UTF-16 встроены в LMBCS, коды UTF-16, соответствующие U+F601through, U+F6FFзаменяются кодами UTF-16, которые содержали бы нулевые байты , поскольку LMBCS разработан так, чтобы не содержать встроенных нулевых байтов. ^{[26] [27]}
• IBM зарезервировала несколько идентификаторов кодовых страниц для кодовых страниц PUA: кодовая страница 1446 для общей плоскости 15, кодовая страница 1447 для общей плоскости 16, кодовая страница 1448 для общей BMP PUA, кодовая страница 1445 (IBM AFP PUA № 1) для плоскости 15 с распределениями IBM в U+FFF00–U+FFFFD, ^{[28] [29]} и кодовая страница 1449 (IBM default PUA) для BMP PUA с распределениями IBM в U+F83D–U+F8FF. ^{[30] [31]}
• Файловая система Windows использует блок U+F000to U+F0FFдля экранирования специальных символов .
• NetApp преобразует символы в именах файлов, разрешенные в Unix, но недопустимые для клиентов SMB, в символы PUA. ^[32]
• Шрифт Chirp от TwitterU+E000 предоставляет несколько дополнительных иконок, например , которая соответствует левой стрелке вниз, U+EA00которая соответствует птице Twitter и U+F8FFкоторая соответствует логотипу Apple, возможно, для совместимости со шрифтами Apple. ^[33]

Концепция резервирования определенных кодовых точек для частного использования основана на аналогичном более раннем использовании в других наборах символов. В частности, многие устаревшие символы в восточноазиатских письменностях продолжают использоваться в определенных именах или других ситуациях, и поэтому некоторые наборы символов для этих письменностей допускают использование символов частного использования (таких как определяемые пользователем плоскости CNS 11643 или гайдзи в некоторых японских кодировках). Стандарт Unicode ссылается на эти использования под названием «Определение конечного пользователя» (EUCD). ^[3]

Кроме того, блок управления C1 содержит два кода, предназначенных для частного использования «функций управления» по ECMA-48 : 0x91 частного использования один (PU1) и 0x92 частного использования два (PU2). ^{[34] [35]} Unicode включает их в U+0091 <control-0091> и U+0092 <control-0092> но определяет их как управляющие символы (категория Cc), а не как символы частного использования (категория Co). ^{[5] [36]}

Кодировки, не имеющие областей частного использования, но имеющие более или менее неиспользуемые области, такие как ISO/IEC 8859 и Shift JIS , стали свидетелями неконтролируемых вариантов этих кодировок. ^[37] Что касается Unicode, компании-разработчики программного обеспечения могут использовать области частного использования для своих желаемых дополнений.