Японский язык в EBCDIC

Несколько взаимно несовместимых версий расширенного двоично-десятичного кода обмена ( EBCDIC ) использовались для представления японского языка на компьютерах, включая варианты, определенные Hitachi , Fujitsu , IBM и другими. Некоторые из них являются кодировками переменной ширины , использующими коды сдвига блокировки для переключения между однобайтовыми и двухбайтовыми режимами. ^[1] В отличие от других локалей EBCDIC, строчные основные латинские буквы часто не сохраняются в своих обычных местах. ^[2]

Символы, которые присутствуют в двухбайтовом японском коде, используемом IBM с EBCDIC, но не присутствуют в первом издании JIS X 0208 , также повлияли на расширения поставщиков, обнаруженные в некоторых не-EBCDIC кодировках, таких как кодовая страница IBM 932 («DBCS-PC») и кодовая страница Windows 932. [ ^3]

Подобно JIS X 0201 (который сам включен в Shift JIS ), японские кодировки EBCDIC часто включают набор однобайтовых катакан . Несколько различных вариантов однобайтового кода EBCDIC используются в японской локали разными поставщиками; определенный поставщик может также определить два различных однобайтовых кода, один из которых предпочтителен для полуширинной катаканы , а другой — для латинского алфавита . Варианты EBCDIC, предпочитаемые определенным поставщиком для использования с катаканой, иногда называются EBCDIK , что означает Extended Binary-Coded Decimal Interchange Kana code . ^{[1] [4]}

Кодовые страницы, включающие полуширинную кана, являются исключением из инвариантного набора символов EBCDIC IBM, который определяет набор символов, которые обычно кодируются одинаково во всех кодовых страницах EBCDIC. В частности, они иногда включают символы катаканы в кодовых точках, которые используются для строчных букв основного латинского алфавита в инвариантном наборе. ^[2] Кодировка строчных букв, когда символы катаканы включены в эти места, и кодировка символов катаканы, когда строчные буквы сохраняются в своих обычных местах, могут различаться у разных поставщиков, как показано ниже.

Microsoft Windows реализует два японских однобайтовых варианта EBCDIC с номерами кодовых страниц на 20000 выше, чем номера кодовых страниц IBM для его вариантов, как кодовые страницы 20290 (документировано как IBM290«IBM EBCDIC Japanese Katakana Extended») ^[5] и 21027 («Extended/Ext Alpha Lowercase»). Кодовая страница 21027, реализованная в Windows, является неполной реализацией, в ней отсутствуют двусторонние сопоставления для нескольких букв и каны ^[6] и в настоящее время она устарела. ^[5]

Кодовые страницы IBM были позже обновлены, чтобы включить знак евро в 0xE1, сохранив свои исходные номера CPGID, но получив новые номера CCSID. Таким образом, CCSID 290 относится к исходной версии кодовой страницы 290, в то время как версия кодовой страницы 290 со знаком евро также известна как CCSID 8482. ^[7] Аналогично, CCSID 1027 относится к исходной версии кодовой страницы 1027, в то время как версия CPGID 1027 со знаком евро получила CCSID 5123. ^[8]

Наряду с версиями двухбайтовой японской кодовой страницы DBCS-Host IBM (CPGID 300, CCSID 300 или 16684) в качестве двухбайтового компонента, кодовая страница IBM 290 используется в качестве однобайтового компонента многобайтовой кодовой страницы IBM-930 ^{[9] [10]} и (как обновленный для Европы CCSID 8482) обновленной версии IBM-1390. ^{[11] [12]} Кодовая страница IBM 1027 используется в качестве однобайтового компонента многобайтовой кодовой страницы IBM-939 ^{[13] [14]} и (как обновленный для Европы CCSID 5123) обновленной версии IBM-1399. ^{[15] [16]}

В следующей таблице соответствие инвариантному набору отмечено зеленым цветом; столкновение с инвариантным набором отмечено красным цветом.

Для японского языка с EBCDIC используются три двухбайтовых кода символов: ^{[31] [32] [3]} IBM code page 300 (также называемая IBM Kanji или IBM Japanese DBCS-Host) от IBM , ^[33] KEIS от Hitachi , ^[31] и JEF от Fujitsu . ^[17] Это кодировки DBCS-Host, использующие различные коды сдвига для переключения между однобайтовым EBCDIC и двухбайтовым режимами. ^[1] Коды от 0x41 до 0xFE (используемые для графических символов в EBCDIC) используются парами для представления символов из сетки 190×190; код 0x40 ( пробел в EBCDIC) используется вдвойне как идеографический пробел , но не как часть любого другого двухбайтового кода. ^{[1] [33]}

В версии кода DBCS-Host от IBM код 0x0Fпереключается в однобайтовый режим, а код 0x0Eпереключается в двухбайтовый режим, ^{[1] [9] [13] [11] [15]} что схоже с двухбайтовыми кодами EBCDIC от IBM для других языков CJK , ^[1] такими как версия EBCDIC Johab для корейского языка . ^[34] В отличие от KEIS и JEF, макет кодовой страницы IBM 300 не связан с JIS X 0208 , и преобразование между ними должно выполняться с помощью таблицы; ^[31] однако, ее набор символов обновлялся с последующими пересмотрами JIS X 0208, чтобы оставаться надмножеством набора JIS X 0208. ^[3] Старшие байты 0x41–0x44 используются для символов, не являющихся кандзи, старшие байты 0x45–0x68 используются для символов кандзи, а старшие байты 0x69–0x89 используются для UDC ( определяемых пользователем символов ). ^[33]

Существование японского кода DBCS-Host от IBM имело влияние за пределами систем EBCDIC, поскольку IBM также определила варианты Shift JIS («DBCS-PC», определенный в чистой двухбайтовой кодовой странице 301 и используемый в кодовой странице переменной ширины 932 и 942 ) и EUC-JP , которые кодируют весь репертуар кодовой страницы IBM 300, включая 28 некандзи и 360 кандзи в дополнение к тем, которые изначально были включены в JIS X 0208 (хотя некандзи, поскольку знак ∵, а не знак￢, были позже добавлены в JIS X 0208 в 1983 году). Они называются символами «IBM-selected» и включены в качестве расширений, например, в кодовую страницу Windows 932. [ ^3]

В некоторые более новые версии кодовой страницы IBM-300 добавлены дополнительные кандзи со старшими байтами от 0xB8 до 0xD5 и дополнительные не-кандзи со старшими байтами от 0xD6 до 0xE9. ^[33] Эта редакция обновила набор для JIS X 0213 , включая знак евро , и, сохранив CPGID 300, получила новый CCSID 16684. ^[35] Кодовые страницы IBM-930 (с кодовой страницей 290 в качестве однобайтового набора), ^[9] IBM-931 (с кодовой страницей 37 в качестве однобайтового набора) и IBM-939 (с кодовой страницей 1027 в качестве однобайтового набора) ^[13] исключают эти дополнения, в то время как IBM-1390 (с версией знака евро кодовой страницы 290 / CCSID 8482) ^[11] и IBM-1399 (с версией знака евро кодовой страницы 1027 / CCSID 5123) ^[15] включают их.

В Hitachi KEIS ^[31] (Расширенная информационная система обработки кандзи) последовательность 0x0A 0x41переключается в однобайтовый режим, а последовательность 0x0A 0x42переключается в двухбайтовый режим. ^[a] Символы JIS X 0208 кодируются с использованием тех же байтовых последовательностей, которые использовались для их кодирования в EUC-JP , т. е. оба байта находятся между 0xA1 и 0xFE включительно. Это приводит к дублированию кодировок для идеографического пространства — 0x4040 согласно структуре кода DBCS-Host и 0xA1A1, как в EUC-JP. Однако диапазон ведущих байтов расширяется обратно до 0x59, из которых ведущие байты 0x81–A0 предназначены для определяемых пользователем символов, ^[1] а остальные используются для определяемых корпорацией символов, включая как кандзи, так и не-кандзи. ^[3]

В Fujitsu JEF ^[17] (Japanese-processing Extended Feature) 0x29переключается в однобайтовый режим и 0x28переключается в двухбайтовый режим. Аналогично KEIS, коды JIS X 0208 представлены так же, как в EUC-JP. ^[1] В отличие от KEIS, редакция JIS X 0208, используемая в этой зоне JEF, является исходным JIS C 6226:1978. ^{[31] [17]} Диапазон ведущих байтов расширен обратно до 0x41, при этом 0x80–A0 назначены для определения пользователем; ведущим байтам 0x41–7F назначены номера строк от 101 до 163 для целей kuten , хотя строка 162 (ведущий байт 0x7E) не используется. ^{[1] [3]} Строки с 101 по 148 используются для расширенных кандзи, а строки с 149 по 163 используются для расширенных не-кандзи. ^[3]