NIEMOpen

NIEMOpen ( neemopen ), часто называемый NIEM, возник как фреймворк обмена информацией на основе XML в Соединенных Штатах , но перешел в открытый проект OASIS . Эта инициатива формализует назначение NIEM в качестве официального стандарта в национальной и международной политике и закупках. Совет управляющих проекта NIEMOpen недавно одобрил первый стандарт в рамках этого нового проекта; Спецификацию атрибутов целевых показателей соответствия (CTAS) версии 3.0. Ожидается, что полная коллекция стандартов NIEMOpen будет готова к концу 2024 года.

NIEM предлагает общий словарь, который позволяет эффективно обмениваться информацией между различными государственными и частными организациями. В настоящее время NIEM разрабатывает метамодель NIEM и общий формат модели, которые могут быть выражены в любой сериализации данных, поддерживаемой NIEM, включая, помимо прочего, JSON .

Сформированный из межведомственного партнерства, NIEM стал представлять собой совместное партнерство агентств и организаций на всех уровнях власти (федеральном, государственном, племенном и местном) в дополнение к частной промышленности. Цель этого партнерства заключается в эффективном и действенном обмене критически важной информацией в ключевых точках принятия решений во всем правосудии , общественной безопасности , управлении чрезвычайными ситуациями и стихийными бедствиями , разведке , Министерстве обороны США и внутренней безопасности предприятия. NIEM предназначен для разработки, распространения и поддержки стандартов и процессов обмена информацией в масштабах предприятия, которые позволят юрисдикциям автоматизировать обмен информацией.

Сегодня NIEMOpen спонсируется Управлением J6 Объединенного штаба Министерства обороны США, Управлением науки и технологий Министерства внутренней безопасности (DHS S"&"T), Информационными службами уголовного правосудия ФБР (CJIS) ФБР США, Equivant, Научно-исследовательским институтом Georgia Tech, Национальной ассоциацией информационных систем правосудия, sFractal Consulting LLC, Институтом IJIS, Министерством транспорта США и Управлением по управлению данными и аналитике Вирджинии. NIEM обеспечивает рабочее и совместное партнерство между правительственными учреждениями, операционными специалистами, разработчиками систем и органами стандартизации в федеральных, государственных, местных, племенных, территориальных, международных и частных организациях.

NIEM был определен как ключевой фактор для совместного управления и контроля всех доменов (JADC2) . NIEM упоминается в JADC2 Reference Architecture (RA) Version 3.0 Enclosure D (JADC2 Capability Development and Analytical Framework) в рамках принципов Application and services, Interface and Data & Information. JADC2 Reference Design (RD) Version 1.0, Standard View 2 (StdV-2). ^[1]

NIEM в последнее время называли Национальной моделью обмена информацией. Этот межведомственный правительственный проект был результатом проекта Глобальной модели данных правосудия XML (GJXDM) Министерства юстиции США . Как межведомственный проект он был расширен и включил другие федеральные и государственные агентства, такие как Управление директора национальной разведки , Министерство обороны США , Федеральное бюро расследований , Техас , Флорида , Нью-Йорк , Пенсильвания и другие.

NIEM призван облегчить создание автоматизированных систем обмена информацией в масштабах предприятия, которые можно единообразно разрабатывать, централизованно обслуживать, быстро идентифицировать и обнаруживать, а также эффективно использовать повторно.

Следующие ключевые концепции необходимы для понимания цели, архитектуры, процессов и других возможностей NIEM, а также для создания общей базы знаний, с помощью которой можно будет развивать способность эффективно использовать NIEM.

Компоненты данных. Основополагающим строительным блоком NIEM является компонент данных. Компоненты данных — это основные элементы бизнес-данных, которые представляют объекты и концепции реального мира. Информация, которой обмениваются агентства, может быть разбита на отдельные компоненты, например, информацию о людях, местах, материальных вещах и событиях. Компоненты, которые часто и единообразно используются на практике, указаны в NIEM и затем могут повторно использоваться специалистами для обмена информацией, независимо от характера их бизнеса или операционного контекста их обмена, при условии, что они семантически согласованы.

Документация пакета обмена информацией. Информация, которой обычно или повсеместно обмениваются участвующие домены, может быть организована в пакеты обмена информацией (IEP) в форме XML-схем. Примером такого сбора информации являются данные, связанные с арестом. Данные, подлежащие обмену, включают не только описательные и персональные идентификационные данные, касающиеся арестованного лица (т. е. компонент «лицо», описанный выше), но также информацию о предполагаемом правонарушении лица, месте совершения правонарушения, арестовавшем сотруднике и т. д. IEP представляет собой набор данных, которые фактически передаются между агентствами для определенной деловой цели (например, инициирование документа о предъявлении обвинения местным прокурором). Он включает в себя фактический экземпляр XML, который доставляет полезную нагрузку или информацию. Дополнительная информация относительно этого конкретного обмена может быть дополнительно задокументирована в форме документации пакета обмена информацией (IEPD), которая также содержит данные, описывающие структуру, содержание и другие артефакты обмена информацией. IEP поддерживает определенный набор бизнес-требований в операционной обстановке.

Ядро NIEM. Компоненты данных в информационном обмене, которые являются универсально общими и понятными для всех (или почти всех) доменов, определяются как универсальные компоненты (например, лицо, адрес и организация). Чтобы стать универсальным компонентом, необходим консенсус всех доменов относительно семантики и структуры компонента. Набор универсальных компонентов NIEM стабилен (после установления) и относительно невелик.

Домены. Для целей NIEM домен относится к бизнес-предприятию, в целом отражающему агентства, подразделения правительства, операционные функции, службы и информационные системы, которые организованы или связаны для достижения общих целей. Домены NIEM организованы для облегчения управления, и каждый из них обладает некоторой мерой постоянства. Каждый домен традиционно включает сплоченную группу распорядителей данных, которые являются экспертами по предметной области (SMEs), имеют определенный уровень полномочий в доменах, которые они представляют, и участвуют в процессах, связанных с гармонизацией конфликтов и разрешением неоднозначностей компонентов данных.

Сообщества по интересам. Сообщества по интересам (COI) — это совместные группы пользователей, которые обмениваются информацией для достижения общих целей, интересов, миссий или бизнес-процессов и, следовательно, должны иметь общий словарь для информации, которой они обмениваются. COI повторно используют компоненты данных и артефакты, найденные в NIEM, для документирования своих обменов информацией. Один или несколько COI могут координировать работу для разработки нового контента домена, поскольку они выявляют пробелы в компонентах данных, необходимых для документирования обменов информацией.

Соответствие NIEM. Существуют правила соответствия NIEM , которые служат руководством для агентств, использующих NIEM для внедрения обмена информацией. Получатели грантов, разрабатывающие межведомственные обмены на основе XML, должны соблюдать язык специальных условий, содержащийся в гранте, и следовать соответствующим рекомендациям по внедрению NIEM.

Офис управления NIEM (NMO) осуществляет следующие функции:

• Объединить заинтересованные стороны, агентства, а также домены и COI, которые они представляют, для определения требований к обмену информацией в повседневных оперативных и чрезвычайных ситуациях;
• Разработать стандарты обмена информацией, общий лексикон и онлайн-репозиторий документации пакетов обмена информацией и компонентов данных, которые поддерживают обмен информацией;
• Предоставлять технические инструменты, процессы и методологии для поддержки анализа, разработки, обнаружения, распространения и повторного использования стандартов и документов обмена; а также
• Предоставлять услуги по обучению, технической помощи, коммуникации, работе с общественностью и поддержке внедрения для обмена информацией на основе NIEM.

NIEM — это постоянно развивающаяся программа, и к ней постоянно присоединяются новые агентства и COI. По мере того, как к ней присоединяются новые заинтересованные стороны, им необходимо получать информацию для понимания и получения знаний об основных возможностях NIEM и о том, как участвовать в обмене информацией NIE. В 2022 году NIEM создал серию обучающих видеороликов на NIEM.gov/learn, которая включает в себя техническое глубокое погружение и предназначена для поддержки разработчиков и реализаторов. Ежемесячные пользователи могут зарегистрироваться на виртуальные обучающие сессии, которые включают предварительно записанные видео в дополнение к живому сеансу с экспертом NIEM, который ответит на вопросы в режиме реального времени. NIEM.gov предоставляет письменные учебные материалы, такие как брифинги и документацию по процессам на NIEM GitHub, а также другие ресурсы, такие как справочная служба и база знаний по национальным стандартам обмена информацией. Обучение предоставляет знания и ноу-хау, необходимые заинтересованным сторонам для использования инструментов и других возможностей, предоставляемых NIEM. Инструменты и возможности обучения NIEM более подробно описаны ниже. Другие учебные материалы, такие как брифинги для руководителей, маркетинговые материалы и брифинги для конференций и семинаров, предлагаются время от времени и адаптируются в зависимости от аудитории. Выборка онлайн-материалов также доступна как на главном веб-сайте NIEM.gov, так и на таких ресурсах, как Youtube.com (поиск по NIEM training).

Веб-сайт NIEM служит основным средством, с помощью которого NIEM может предоставлять последнюю документацию и загрузки тем, кто интересуется NIEM. Он также служит отправной точкой для тех, кто хочет связаться с персоналом NIEM с вопросами, поддержкой и запросами информации. По мере развития связанных проектов, инструментов и ресурсов поддержки вокруг NIEM веб-сайт будет расширяться как центр для этих дополнительных ресурсов.

NIEM использует стандартные конструкции и методы XML-схемы , такие как роли, ассоциации и дополнения из отраслевых стандартов, таких как язык XML-схем Консорциума Всемирной паутины (W3C) .

Схемы ссылок NIEM представляют собой набор взаимосвязанных схем, которые определяют компоненты данных NIEM. Каждая схема определяет свое собственное целевое пространство имен. Схемы в наборе ссылок могут импортировать друг друга по пространству имен для использования (или повторного использования) компонентов, которые они определяют. В общем случае схемы ссылок домена импортируют схемы из Ядра. Набор схем ссылок NIEM представляет собой полный набор компонентов данных в NIEM.

С архитектурой NIEM связаны следующие виды XML-схем:

• Справочные схемы NIEM: Схемы, содержащие контент, созданный или одобренный руководящими комитетами NIEM, периодически выпускаются в дистрибутивах схем.
• Подмножество схем: NIEM-совместимая схема, содержащая только те части эталонных схем, которые необходимы для поддержки конкретного обмена.
• Поддержка схем: NIEM включает три специальные схемы: appinfo, structures и proxy, для аннотирования и структурирования NIEM-совместимых схем.
• Схема расширения: совместимая с NIEM схема, которая добавляет контент, специфичный для домена или приложения, к базовой модели NIEM.
• Схема обмена: совместимая с NIEM схема, которая определяет документ в определенном обмене.
• Схема ограничений: NIEM-совместимая схема, которая добавляет дополнительные ограничения к NIEM-совместимым экземплярам, ​​но которая, как предполагается, проверяется совместно с существующими NIEM-совместимыми или подмножественными схемами. Схема ограничений не должна проверять ограничения, которые применяются другими схемами.
• Схемы списков кодов: NIEM-совместимая схема, предоставляющая список приемлемых значений, которыми будет ограничен элемент данных.

Единственными обязательными схемами для проверки являются схемы ссылок NIEM или правильное подмножество, однако спецификация IEPD требует, чтобы IEPD включал схему обмена (вместе с схемами ссылок или подмножествами), чтобы считаться полным IEPD. Схемы NIEM могут импортировать дополнительные схемы, такие как схемы кодовых таблиц, по мере необходимости. Необязательная схема расширения может использоваться для добавления расширенных типов и свойств для компонентов, не содержащихся в NIEM, но которые необходимы для обмена.

Правила именования и проектирования для NIEM задокументированы в NIEM NDR, который определяет модель данных, компоненты XML и данные XML для использования с NIEM и обеспечивает основу для соответствия NIEM . Текущая версия — NDR v5.0, выпущенная 18 декабря 2020 года.

NIEM основан на нескольких концепциях из Международной организации по стандартизации (ISO) 11179 , которая содержит рекомендации по именованию и определению элементов данных, а также информацию о метаданных, полученных об элементах данных. Часть 5 стандарта ISO 11179 устанавливает методологию наименования элементов в словарях данных.

Соглашение об именовании NIEM NDR, основанное на стандарте ISO 11179, использует класс объекта, свойство и термины представления для составления многокомпонентного имени, как показано на рисунке ниже:

Термин класса объекта: представляет объект, к которому применимо свойство. В NIEM мы интерпретируем этот объект как объект реального мира. (Класс объекта относится к группе объектов, которые имеют одни и те же атрибуты, операции, методы, отношения и семантику.)

Термин свойства: определяет свойство, которое представляет элемент данных (например, фамилия, дата истечения срока действия, рост, общая сумма).

Термин представления: описывает форму представленных данных. Эти термины были получены из терминов представления ISO 11179 и включают в себя сумму, код, дату, время, индикатор, меру, имя, число, процент, изображение, количество, скорость и время.

Термин-квалификатор: Термины класса объекта и свойства могут иметь квалификаторы, т. е. слово или слова, которые помогают определить и дифференцировать имя элемента.

Ниже кратко описаны концепции и механизмы технического моделирования и схемы NIEM, которые поддерживают создание новых компонентов данных, соответствующих определенным требованиям, и повторное использование существующих компонентов данных NIEM. Более подробную информацию можно найти в Руководстве пользователя NIEM и NIEM NDR.

Модель данных NIEM использует концепции, происходящие из объектно-ориентированного программирования (ООП). ООП определяет класс как определенную сущность в модели данных, которая может представлять объект реального мира, но также может представлять любой концептуальный объект , такой как отношения и сообщения. Говорят, что свойства объекта описывают объект. Когда схемы XML NIEM генерируются из модели данных NIEM, классы модели данных представляются как типы схем XML, а свойства модели данных представляются как элементы и атрибуты XML.

Существует два подхода к расширению модели данных NIEM для использования в схемах обмена информацией и документах.

• Создание новых типов NIEM для представления новых концепций
• Добавление новых данных к существующим типам NIEM для расширения существующих концепций

Специализация используется, когда базовый класс объектов (тип) содержит или может быть подразделен на более конкретный подкласс. Когда это возможно, подкласс, полученный из базового класса, наследует свойства более общего базового или родительского класса. Этот механизм используется для совместного или повторного использования свойств между общим компонентом данных и его специализацией. Например, тип (или класс) транспортного средства идентифицируется как компонент данных со свойствами идентификационного номера транспортного средства (VIN), марки и модели. Тип (или класс) грузовика является специализацией транспортного средства и, таким образом, наследует свойства транспортного средства, но также имеет свои собственные характерные свойства, такие как длина кузова грузовика. Специализация не зависит от времени и обычно используется только тогда, когда базовый класс и подкласс всегда существуют.

Роль — это особый тип, который представляет определенную функцию, цель, контекст или действие для сущности. Роли, как правило, зависят от времени и, следовательно, являются временными. Новый тип может быть создан для роли, когда роль имеет определенные данные, связанные с ней и ее собственным жизненным циклом. Тип роли имеет свойство RoleOf, которое указывает, какой объект принимает эту роль. Одна сущность может принимать несколько ролей. Например, множество различных сущностей могут принимать роль оружия. Поэтому, если транспортное средство используется в качестве оружия (чтобы попытаться ранить или убить человека), то экземпляр WeaponType будет содержать свойство RoleOf, которое ссылается на экземпляр транспортного средства, используемый в качестве оружия. WeaponType (роль) может также содержать свойства, которые описывают вовлеченных лиц и действия, даты и время участия, а также то, как сущность использовалась в качестве оружия.

Тип ассоциации — это объект, представляющий связь между компонентами данных. Например, два экземпляра PersonType, Abigail и Bob, могут ссылаться на MarriageAssociationType, чтобы представить тот факт, что они женаты. MarriageAssociationType может содержать собственные свойства, такие как дата брака, количество детей, дата развода, смерть одного из супругов и т. д.

Расширение типа данных NIEM позволяет добавлять информацию, специфичную для домена или модели, к концепции, воплощенной в типе NIEM, без создания нового типа NIEM. Было бы непрактично и громоздко включать все возможные свойства, специфичные для доменной модели, в схемы NIEM Core для общего использования. Вместо этого разработчики моделей доменов должны иметь возможность определять данные для своего использования независимо от общих определений. Кроме того, эти данные должны быть применимы к самому объекту данных NIEM и повторно использоваться в нескольких обменах. Подход расширения, встроенный в NIEM, использует конструкции XML-схемы для повторного использования существующих представлений XML-схемы для модели данных, позволяя дополнять их новой информацией.

NIEM использует несколько методов из XML Schema, чтобы обеспечить по мере необходимости замену элементов для уже существующих свойств NIEM и в уже существующие типы NIEM. Методы замены элементов позволяют заменять новые элементы XML Schema, представляющие производные свойства NIEM, которые могут использоваться там, где ожидаются родительские свойства.

Существует три метода XML-схем, которые поддерживают использование NIEM для замены элементов:

• использование групп замещения
• создание абстрактных, бестиповых элементов и
• использование абстрактных элементов в справочных схемах.

Помимо добавления новых типов и свойств NIEM в NIEM, можно адаптировать существующие внешние (не NIEM) пространства имен для использования в фреймворке NIEM. Это позволяет использовать внешние стандарты в NIEM IEPD, не требуя, чтобы сами внешние стандарты были NIEM-совместимыми. Цель здесь — разрешить использование внешних стандартных компонентов точно так, как они были определены.

Метаданные или данные о данных определяют информацию, которая поддерживает фактическое содержимое экземпляров XML. Функция метаданных обеспечивает механизм для присоединения структурированных свойств, которые описывают происхождение или источник (когда сообщалось, кто сообщал, насколько надежно и т. д.) данных экземпляра к любому компоненту данных модели (тип или объект, свойство, ассоциация, роль или дополнение) в любом пространстве имен. Она позволяет расширять наборы метаданных дополнительными свойствами для локальных требований и позволяет повторять свойства метаданных.

NIEM представил концепцию словарей модели обмена корпоративной информацией (EIEM), чтобы позволить разработчикам NIEM размещать локальные коллекции компонентов, специфичных для их собственного предприятия. Обычно они могут быть получены из модели данных предприятия (EDM), а затем экспортированы и рефакторированы как компоненты XML, соответствующие NIEM NDR. Информацию о создании словарей EIEM см. в разделе «Инструменты» ниже.

NIEM предоставляет справочный набор инструментов, свободно доступных с каждым релизом NIEM. Инструменты реализуют все структурные и контентные особенности релиза, включая NIEM NDR. Четко определенные интерфейсы и выходные продукты NIEM также поддерживают разработку независимых сторонних инструментов. Примеры поддержки сторонних инструментов приведены ниже.

Электронная таблица словаря данных NIEM XML является осязаемым представлением всего словаря данных NIEM. Она включает все имена элементов, которые иерархически организованы в основных компонентах данных (лицо, свойство, организация и т. д.) с гиперссылками на связанные элементы. Эта электронная таблица также предоставляет информацию о типе представляемых данных (дата, целое число, строка и т. д.) и точное, контекстно-богатое определение каждого компонента словаря.

Инструмент генерации подмножества схемы (SSGT) позволяет пользователям выполнять поиск по модели данных NIEM, просматривать информацию об элементах и ​​типах NIEM и создавать пользовательское подмножество XML-схемы для выпуска NIEM. Модель данных NIEM содержит более 12 000 элементов и представляет более дюжины доменов; подмножества позволяют пользователям, разрабатывающим IEPD, выбирать только то, что им нужно, на основе конкретных требований обмена. С помощью этого инструмента пользователи могут:

• Найдите и изучите модель данных NIEM.
• Создайте подмножество схемы, содержащее компоненты, необходимые для обмена.
• Загрузите текущее подмножество в виде zip-файла (перейдите в раздел «Создать документы» -> «Сохранить схему подмножества в файл »).
• Возобновите редактирование предыдущего подмножества (перейдите в Параметры -> Загрузить список желаний и загрузите файл wantlist.xml , содержащийся в ранее загруженном подмножестве).
• Переключайтесь между любыми версиями NIEM (перейдите в Параметры -> Изменить версию на ).
• Загрузите уже сгенерированные подмножества из каждого домена.

Conformance Testing Assistant (ConTesA) позволяет пользователю тестировать схемы NIEM XML на соответствие автоматизированным правилам из правил именования и проектирования NIEM (NDR). Это важный первый шаг в проверке соответствия NIEM . Пользователи могут загрузить одну схему NIEM XML или zip-файл (обычно представляющий IEPD) и просмотреть или загрузить результаты в виде отчета о соответствии.

Movement позволяет пользователю искать и изучать содержимое последнего выпуска NIEM. Он обеспечивает удобный интерфейс и более умные результаты поиска. Он также имеет открытый исходный код: сообщество, вдохновившее его создание, может внести свой вклад.

Инструмент миграции позволяет пользователю обновить подмножество релиза NIEM XML Schema, сгенерированное SSGT, до следующего релиза. Можно запустить несколько миграций для обновления до непоследовательного релиза.

Другие инструменты, разработанные сообществом NIEM, см. в каталоге инструментов NIEM.

По состоянию на декабрь 2022 года ^{[обновлять]}текущей версией является NIEM 5.2. Она была выпущена 23 декабря 2022 года и содержит незначительные изменения. ^[2] В NIEM 5.2 примечательны следующие изменения в содержании и инструментах. Изменения в спецификациях и инструментах отражены ниже:

• Биометрический домен
  • Добавлен и изменен контент для поддержки требований государственных, местных, племенных и территориальных (SLTT) агентств по отчетности об инцидентах в киберпространстве (CIRR) и требований к отчетности об инцидентах в киберфизических системах (CPS).
• Домен обучения и развития (новый)
  • Добавлен контент о курсах, разделах курсов, студентах и ​​вакансиях.
• Домен правосудия
  • Обновлены коды Национального центра криминальной информации (NCIC) ФБР.
• Домен военных операций
  • Добавлено содержание минимальных необходимых метаданных (MEM).
  • Добавлен контент в формате текста сообщений США (USMTF) в качестве поддомена с информацией о военных операциях, миссиях, ресурсах, готовности и обучении.
• Коды округов FIPS
  • Обновлены трехзначные и пятизначные коды округов FIPS.
• Коды семейств языков ISO 639-5
  • Добавлен набор кодов семейства языков ISO 639-5.

• Правила наименования и проектирования NIEM (NDR), 5.0
• Спецификация пакета документации по обмену информацией NIEM (IEPD), 5.0
  • Новое название предыдущей спецификации описания пакета модели (MPD), 3.0.1.
  • Упрощает артефакты и структуру IEPD.
• Спецификация NIEM JSON, 5.0
• Спецификация соответствия NIEM, 5.0
• Спецификация списков кодов NIEM, 5.0

• Инструмент генерации подмножества схем (SSGT): добавлена ​​новая версия 5.2
• Движение: Текущая версия (5.0) заменена новой версией 5.2.
• Помощник по тестированию соответствия (ConTesA): добавлена ​​поддержка правил NDR 5.0 Schematron
• Инструмент миграции: добавлена ​​поддержка миграции подмножеств SSGT 5.1 в подмножества 5.2.

• Выпуск NIEM 5.2 Production — 23 декабря 2022 г.
• Выпуск NIEM 5.1 Production – 23 декабря 2021 г. ^{[3] [4]}
• Выпуск NIEM 5.0 Production — 22 декабря 2020 г. ^{[5] [6]}
• Выпуск NIEM 4.2 – 1 октября 2019 г. ^{[7] [8]}
• Выпуск NIEM 4.1 Production – 1 августа 2018 г. ^{[9] [10]}
• Выпуск NIEM 4.0 – 28 июня 2017 г. ^[5]
• Выпуск NIEM 3.1 Production – 29 мая 2015 г. ^[11]
• Выпуск NIEM 3.0 – 21 октября 2013 г. ^[12]
• Выпуск NIEM 2.1 Production – 28 сентября 2009 г.
• Выпуск NIEM 2.0 – 31 июля 2007 г.
• Выпуск NIEM 1.0 – 1 ноября 2006 г.
• НИЭМ 0.3 – 12 апреля 2006 г.
• НИЭМ 0.2.1 — 24 февраля 2006 г.
• НИЭМ 0.2 - 23 декабря 2005 г.
• НИЭМ 0.1 – 11 октября 2005 г.

• Правила соответствия NIEM
• Модель данных XML глобального правосудия (GJXDM)
• ИСО/МЭК 11179
• Публикация метаданных
• Реестр метаданных
• Универсальное ядро ​​(UCore)

• [1]
• [2]
• Официальный сайт NIEMOpen.org
• Официальный сайт NIEM.gov
• Инструмент модели обмена информацией в сфере правосудия (JIEM)
• Grid-ML XML Schema Viewer — инструмент для просмотра и поиска схем NIEM
• Стандарты обмена данными