Оценка

В общем смысле , оценка — это систематическое определение и оценка заслуг, ценности и значимости субъекта с использованием критериев, регулируемых набором стандартов . Она может помочь организации, программе, дизайну, проекту или любому другому вмешательству или инициативе оценить любую цель, реализуемую концепцию/предложение или любую альтернативу, чтобы помочь в принятии решений ; или сформировать степень достижения или ценности в отношении цели и задач и результатов любого такого действия, которое было завершено. ^[1]

Основная цель оценки, помимо получения информации о предыдущих или существующих инициативах, заключается в том, чтобы дать возможность для размышлений и помочь в определении будущих изменений. ^[2] Оценка часто используется для характеристики и оценки субъектов интереса в широком диапазоне человеческих предприятий, включая начало периода месяцев

Оценка — это структурированная интерпретация и придание смысла прогнозируемым или фактическим воздействиям предложений или результатов. Она рассматривает исходные цели, а также то, что прогнозируется или что было достигнуто и как это было достигнуто. Таким образом, оценка может быть формативной , то есть иметь место во время разработки концепции или предложения, проекта или организации с намерением улучшить ценность или эффективность предложения, проекта или организации . Она также может быть суммирующей , извлекающей уроки из завершенного действия или проекта или организации в более поздний момент времени или обстоятельств. ^[3]

Оценка по своей сути является теоретически обоснованным подходом (явно или нет), и, следовательно, любое конкретное определение оценки должно быть адаптировано к ее контексту – теории, потребностям, цели и методологии самого процесса оценки. Сказав это, оценка была определена как:

• Систематическое, строгое и тщательное применение научных методов для оценки дизайна, внедрения, улучшения или результатов программы. Это ресурсоемкий процесс, часто требующий ресурсов, таких как оценка экспертных знаний, труда, времени и значительного бюджета ^[4]
• «Критическая оценка, максимально объективная, степени, в которой услуга или ее составные части выполняют поставленные цели» (Сент-Леже и Вордсворт-Белл). ^{[5] [ неудачная проверка ]} Основное внимание в этом определении уделяется получению объективных знаний и научному или количественному измерению предопределенных и внешних концепций.
• «Исследование, призванное помочь некоторой аудитории оценить достоинства и ценность объекта» (Stufflebeam). ^{[5] [ неудачная проверка ]} В этом определении основное внимание уделяется фактам, а также оценочным суждениям о результатах и ​​ценности программ.

Основной целью оценки программы может быть «определение качества программы путем формулирования суждения» Марта Юрто, Сильвен Уль, Стефани Монжиа (2009). ^[6] Альтернативная точка зрения заключается в том, что «проекты, оценщики и другие заинтересованные стороны (включая спонсоров) будут иметь потенциально разные идеи о том, как лучше всего оценить проект, поскольку у каждого может быть свое определение «заслуги». Таким образом, суть проблемы заключается в определении того, что имеет ценность». ^[5] С этой точки зрения оценка «является спорным термином», поскольку «оценщики» используют термин оценка для описания оценки или исследования программы, в то время как другие просто понимают оценку как синоним прикладного исследования.

Существуют две функции, учитывающие цель оценки. Формативные оценки предоставляют информацию об улучшении продукта или процесса. Суммативные оценки предоставляют информацию о краткосрочной эффективности или долгосрочном воздействии для принятия решения о принятии продукта или процесса. ^[7]

Не все оценки служат одной и той же цели, некоторые оценки выполняют функцию мониторинга, а не фокусируются исключительно на измеримых результатах программы или результатах оценки, и полный список типов оценок будет сложно составить. ^[5] Это связано с тем, что оценка не является частью единой теоретической структуры, ^[8] опираясь на ряд дисциплин, которые включают теорию управления и организации , анализ политики , образование , социологию , социальную антропологию и социальные изменения . ^[9]

Тем не менее, строгое соблюдение набора методологических предположений может сделать область оценки более приемлемой для основной аудитории, но это соблюдение будет работать на то, чтобы помешать оценщикам разрабатывать новые стратегии для решения множества проблем, с которыми сталкиваются программы. ^[9] Утверждается, что только меньшинство отчетов об оценке используется оценщиком (клиентом) (Data, 2006). ^[6] Одним из оправданий этого является то, что «когда результаты оценки оспариваются или их использование не удается, это происходит потому, что заинтересованные стороны и клиенты находят выводы слабыми или гарантии неубедительными» (Fournier and Smith, 1993). ^[6] Некоторые причины такой ситуации могут заключаться в неспособности оценщика установить набор общих целей с оценщиком или в создании чрезмерно амбициозных целей, а также в неспособности пойти на компромисс и включить культурные различия людей и программ в цели и процесс оценки. ^[5] Ни одна из этих проблем не связана с отсутствием определения оценки, а скорее с попытками оценщиков навязать клиентам предвзятые понятия и определения оценок. Основная причина плохого использования оценок, возможно, ^{[ кем? ]} связана с отсутствием адаптации оценок к потребностям клиента, из-за предопределенной идеи (или определения) того, что такое оценка, а не того, что нужно клиенту (House, 1980). ^[6] Разработка стандартной методологии оценки потребует разработки применимых способов постановки и формулирования результатов вопросов об этике, таких как агент-принципал, конфиденциальность, определение заинтересованных сторон, ограниченная ответственность; и вопросы «могли бы деньги быть потрачены более разумно».

Этот раздел может потребовать очистки для соответствия стандартам качества Википедии . Причина очистки не указана. Пожалуйста, помогите улучшить этот раздел, если можете. ( Март 2012 ) ( Узнайте, как и когда удалить это сообщение )

В зависимости от интересующей темы существуют профессиональные группы, которые проверяют качество и строгость процессов оценки.

Оценка программ и проектов с точки зрения их ценности и воздействия в контексте их реализации может быть этически сложной. Оценщики могут столкнуться со сложными, культурно-специфическими системами, устойчивыми к внешней оценке. Кроме того, организация проекта или другие заинтересованные стороны могут быть заинтересованы в конкретном результате оценки. Наконец, сами оценщики могут столкнуться с проблемами « конфликта интересов (COI) » или столкнуться с помехами или давлением, чтобы представить выводы, которые поддерживают конкретную оценку.

Общие профессиональные кодексы поведения , определяемые организацией-работодателем, обычно охватывают три широких аспекта поведенческих стандартов и включают межколлективные отношения (такие как уважение к разнообразию и конфиденциальности ), операционные вопросы (должная компетентность , точность документации и надлежащее использование ресурсов) и конфликты интересов ( непотизм , принятие подарков и другие виды фаворитизма). ^[10] Однако требуются конкретные руководящие принципы, относящиеся к роли оценщика, которые могут быть использованы при управлении уникальными этическими проблемами. Объединенный комитет по стандартам оценки образования разработал стандарты для оценки программ, персонала и студентов. Стандарты Объединенного комитета разбиты на четыре раздела: полезность, осуществимость, уместность и точность. Различные европейские учреждения также подготовили свои собственные стандарты, более или менее связанные с теми, которые были разработаны Объединенным комитетом. Они предоставляют руководящие принципы относительно обоснования оценочных суждений на основе систематического исследования, компетентности и честности оценщика, уважения к людям и внимания к общему и общественному благосостоянию. ^[11]

Американская ассоциация оценки создала набор руководящих принципов для оценщиков. ^[12] Порядок этих принципов не подразумевает приоритет среди них; приоритет будет зависеть от ситуации и роли оценщика. Принципы звучат следующим образом:

• Систематическое исследование : оценщики проводят систематические, основанные на данных исследования относительно всего, что оценивается. Это требует качественного сбора данных, включая обоснованный выбор показателей, что придает достоверность выводам. ^[13] Выводы заслуживают доверия, когда они наглядно основаны на доказательствах, надежны и действительны. Это также относится к выбору используемой методологии , чтобы она соответствовала целям оценки и предоставляла надежные данные. Кроме того, полезность выводов имеет решающее значение, так как информация, полученная в результате оценки, является всеобъемлющей и своевременной и, таким образом, служит для обеспечения максимальной выгоды и использования для заинтересованных сторон . ^[10]
• Компетентность: оценщики обеспечивают компетентную работу для заинтересованных сторон . Это требует, чтобы команды по оценке включали соответствующее сочетание компетенций, чтобы для процесса оценки был доступен разнообразный и соответствующий опыт, и чтобы оценщики работали в рамках своих возможностей. ^[10]
• Целостность / Честность : оценщики обеспечивают честность и целостность всего процесса оценки. Ключевым элементом этого принципа является свобода от предвзятости в оценке, и это подчеркивается тремя принципами: беспристрастность, независимость и прозрачность.

Независимость достигается путем обеспечения независимости суждений, которая поддерживается таким образом, что выводы оценки не находятся под влиянием или давлением другой стороны, и избегания конфликта интересов, таким образом, что оценщик не имеет заинтересованности в конкретном заключении. Конфликт интересов является предметом обсуждения, особенно когда финансирование оценок предоставляется определенными органами, заинтересованными в выводах оценки, и это рассматривается как потенциальное нарушение независимости оценщика. Хотя признается, что оценщики могут быть знакомы с агентствами или проектами, которые они должны оценить, независимость требует, чтобы они не были вовлечены в планирование или реализацию проекта. Декларация об интересах должна быть сделана, когда указаны какие-либо выгоды или связь с проектом. Независимость суждений должна поддерживаться в отношении любого давления, оказываемого на оценщиков, например, со стороны спонсоров проекта, желающих изменить оценки таким образом, чтобы проект казался более эффективным, чем могут подтвердить выводы. ^[10]

Беспристрастность относится к выводам, являющимся справедливой и тщательной оценкой сильных и слабых сторон проекта или программы. Это требует принятия надлежащего вклада от всех заинтересованных сторон, вовлеченных в процесс, и представления выводов без предвзятости и с прозрачной, пропорциональной и убедительной связью между выводами и рекомендациями. Таким образом, оценщики должны ограничить свои выводы доказательствами. Механизмом обеспечения беспристрастности является внешний и внутренний обзор. Такой обзор требуется для существенных (определяемых с точки зрения стоимости или чувствительности) оценок. Обзор основан на качестве работы и степени, в которой обеспечивается демонстрируемая связь между выводами и рекомендациями. ^[10]

Прозрачность требует, чтобы заинтересованные стороны знали причину оценки, критерии, по которым происходит оценка, и цели, к которым будут применяться результаты. Доступ к оценочному документу должен быть облегчен за счет того, что результаты должны быть легко читаемыми, с четкими объяснениями методологий оценки, подходов, источников информации и понесенных затрат. ^[10]

• Уважение к людям: Оценщики уважают безопасность , достоинство и самоуважение респондентов, участников программы , клиентов и других заинтересованных сторон, с которыми они взаимодействуют . Это особенно актуально в отношении тех, на кого повлияют результаты оценки. ^[13] Защита людей включает в себя обеспечение информированного согласия от лиц, участвующих в оценке, сохранение конфиденциальности и обеспечение защиты личности тех, кто может предоставить конфиденциальную информацию для оценки программы. ^[14] Оценщики этически обязаны уважать обычаи и убеждения тех, на кого влияют оценка или мероприятия программы. Примерами того, как такое уважение проявляется, являются уважение местных обычаев, например, дресс-кода, уважение частной жизни людей и минимизация требований к времени других. ^[10] Если заинтересованные стороны хотят высказать возражения против результатов оценки, такой процесс должен осуществляться через местный офис организации по оценке, а процедуры подачи жалоб или запросов должны быть доступными и понятными.
• Обязанности по общему и общественному благосостоянию : Оценщики формулируют и учитывают разнообразие интересов и ценностей , которые могут быть связаны с общим и общественным благосостоянием. Доступ к документам оценки широкой общественности должен быть облегчен, чтобы обеспечить обсуждение и обратную связь. ^[10]

Кроме того, международные организации, такие как МВФ и Всемирный банк, имеют независимые функции оценки. Различные фонды, программы и агентства Организации Объединенных Наций имеют сочетание независимых, полунезависимых и самооценочных функций, которые организовались в общесистемную Группу оценки ООН (UNEG), ^[13] которая работает вместе для укрепления функции и установления норм и стандартов ООН для оценки. Существует также группа оценки в рамках ОЭСР-КСР, которая стремится улучшить стандарты оценки развития. ^[15] Независимые подразделения оценки основных многонациональных банков развития (МБР) также создали Группу сотрудничества по оценке ^[16] для усиления использования оценки для большей эффективности и подотчетности МБР, обмена уроками из оценок МБР и содействия гармонизации и сотрудничеству в оценке.

Слово «оценка» имеет различные коннотации для разных людей, поднимая вопросы, связанные с этим процессом, которые включают; какой тип оценки следует проводить; почему должен быть процесс оценки и как оценка интегрируется в программу с целью получения больших знаний и осведомленности? Существуют также различные факторы, присущие процессу оценки, например; критически исследовать влияния в рамках программы, которые включают сбор и анализ относительной информации о программе.

Майкл Куинн Паттон обосновал концепцию, согласно которой процедура оценки должна быть направлена ​​на:

• Деятельность
• Характеристики
• Результаты
• Вынесение суждений о программе
• Повышение его эффективности,
• Обоснованные программные решения

Основываясь на другой точке зрения оценки Томсона и Хоффмана в 2003 году, можно столкнуться с ситуацией, в которой процесс не может считаться целесообразным; например, в случае, если программа непредсказуема или несостоятельна. Это может включать в себя отсутствие последовательной рутины; или заинтересованные стороны не могут достичь соглашения относительно цели программы. Кроме того, влиятельный человек или менеджер, отказывающийся включать соответствующие, важные центральные вопросы в оценку

Существует несколько концептуально различных способов размышления, проектирования и проведения оценочных усилий. Многие из используемых сегодня подходов к оценке вносят действительно уникальный вклад в решение важных проблем, в то время как другие каким-то образом совершенствуют существующие подходы.

Две классификации подходов к оценке, предложенные Хаусом ^[17] и Стаффлбимом и Вебстером ^[18], можно объединить в управляемое количество подходов с точки зрения их уникальных и важных основополагающих принципов. ^{[ необходимо разъяснение ]}

Хаус считает, что все основные подходы к оценке основаны на общей идеологии под названием либеральная демократия . Важные принципы этой идеологии включают свободу выбора, уникальность личности и эмпирическое исследование , основанное на объективности . Он также утверждает, что все они основаны на субъективистской этике, в которой этическое поведение основано на субъективном или интуитивном опыте личности или группы. Одной из форм субъективистской этики является утилитаристская , в которой « благо » определяется тем, что максимизирует единую, явную интерпретацию счастья для общества в целом. Другой формой субъективистской этики является интуитивистская / плюралистическая , в которой не предполагается единой интерпретации «благо», и такие интерпретации не должны быть явно заявлены или обоснованы.

Эти этические позиции имеют соответствующие эпистемологии — философии получения знаний . Объективистская эпистемология связана с утилитаристской этикой; в целом она используется для получения знаний, которые могут быть внешне проверены (межсубъективное соглашение) посредством публично представленных методов и данных . Субъективистская эпистемология связана с интуиционистской/плюралистической этикой и используется для получения новых знаний, основанных на существующих личных знаниях, а также опыте, который (явно) или не (неявно) доступен для публичного ознакомления. Затем Хаус делит каждый эпистемологический подход на две основные политические перспективы. Во-первых, подходы могут принимать элитарную перспективу, фокусируясь на интересах менеджеров и профессионалов; или они также могут принимать массовую перспективу, фокусируясь на потребителях и подходах , предполагающих участие .

Стаффлбим и Вебстер помещают подходы в одну из трех групп в соответствии с их ориентацией на роль ценностей и этических соображений. Политическая ориентация продвигает позитивный или негативный взгляд на объект независимо от того, какова его фактическая ценность и может ли она быть — они называют это псевдооценкой . Ориентация вопросов включает подходы, которые могут или не могут дать ответы, конкретно связанные со ценностью объекта — они называют это квазиоценкой. Ориентация ценностей включает подходы, в первую очередь направленные на определение ценности объекта — они называют это истинной оценкой.

Если рассматривать вышеуказанные концепции одновременно, можно выделить пятнадцать подходов к оценке с точки зрения эпистемологии, основной перспективы (от Хауса) и ориентации. ^[18] Представлены два псевдооценочных подхода, политически контролируемые и исследования связей с общественностью. Они основаны на объективистской эпистемологии с точки зрения элиты. Шесть квазиоценочных подходов используют объективистскую эпистемологию. Пять из них — экспериментальные исследования, системы управленческой информации , программы тестирования, исследования, основанные на целях, и контент-анализ — принимают элитарную перспективу. Подотчетность принимает массовую перспективу. Включены семь истинных подходов к оценке. Два подхода, ориентированные на принятие решений и политические исследования, основаны на объективистской эпистемологии с точки зрения элиты. Исследования, ориентированные на потребителя, основаны на объективистской эпистемологии с точки зрения масс. Два подхода — аккредитация/сертификация и исследования знатоков — основаны на субъективистской эпистемологии с точки зрения элиты. Наконец, исследования, ориентированные на противника и клиента, основаны на субъективистской эпистемологии с точки зрения масс.

Следующая таблица используется для обобщения каждого подхода с точки зрения четырех атрибутов — организатора, цели, сильных и слабых сторон. Организатор представляет основные соображения или сигналы, которые практикующие специалисты используют для организации исследования. Цель представляет желаемый результат исследования на самом общем уровне. Сильные и слабые стороны представляют другие атрибуты, которые следует учитывать при принятии решения об использовании подхода для конкретного исследования. В следующем описании подчеркиваются различия между подходами, сгруппированными вместе.

Политически контролируемые и пиар- исследования основаны на объективистской эпистемологии с точки зрения элиты . ^{[ необходимо разъяснение ]} Хотя оба эти подхода стремятся исказить интерпретации ценностей об объекте, они функционируют по-разному. Информация , полученная в ходе политически контролируемых исследований, раскрывается или скрывается для удовлетворения особых интересов держателя, тогда как пиар-информация создает положительный образ объекта независимо от фактической ситуации. Несмотря на применение обоих исследований в реальных сценариях, ни один из этих подходов не является приемлемой практикой оценки.

Как группа, эти пять подходов представляют собой весьма уважаемую коллекцию дисциплинированных исследовательских подходов. Они считаются квазиоценочными подходами, поскольку конкретные исследования законно могут фокусироваться только на вопросах знания, не затрагивая никаких вопросов ценности. Такие исследования по определению не являются оценками. Эти подходы могут производить характеристики, не производя оценок, хотя конкретные исследования могут производить и то, и другое. Каждый из этих подходов хорошо служит своей предполагаемой цели. Они обсуждаются примерно в порядке степени, в которой они приближаются к идеалу объективиста.

• Экспериментальное исследование является наилучшим подходом для определения причинно-следственных связей между переменными . Потенциальная проблема с использованием этого подхода в качестве оценочного подхода заключается в том, что его строго контролируемая и стилизованная методология может быть недостаточно отзывчивой к динамически меняющимся потребностям большинства программ социальных услуг.
• Системы управленческой информации (MIS) могут предоставить подробную информацию о динамических операциях сложных программ. Однако эта информация ограничена легко поддающимися количественной оценке данными, которые обычно доступны через регулярные интервалы времени.
• Программы тестирования знакомы практически каждому, кто учился в школе, служил в армии или работал в крупной компании. Эти программы хороши для сравнения отдельных лиц или групп с выбранными нормами в ряде предметных областей или с набором стандартов производительности. Однако они фокусируются только на производительности тестируемого и могут неадекватно отражать то, чему учат или чего ожидают.
• Подходы, основанные на целях, связывают результаты с заранее определенными целями, позволяя делать суждения об уровне их достижения. Часто оказывается, что цели не являются важными, или они фокусируются на результатах, которые слишком узки, чтобы обеспечить основу для определения ценности объекта.
• Контент-анализ — это квазиоценочный подход, поскольку суждения контент-анализа не обязательно должны основываться на ценностных утверждениях. Вместо этого они могут основываться на знаниях. Такой контент-анализ не является оценкой. С другой стороны, когда суждения контент-анализа основаны на ценностях, такие исследования являются оценками.

• Подотчетность популярна среди избирателей , поскольку она призвана обеспечить точный учет результатов, которые могут улучшить качество продуктови услуг . Однако этот подход может быстро превратить практиков и потребителей в противников , если он реализуется жестко.

• Ориентированные на принятие решений исследования призваны обеспечить базу знаний для принятия и защиты решений. Этот подход обычно требует тесного сотрудничества между оценщиком и лицом, принимающим решения, что делает его восприимчивым к коррупции и предвзятости .
• Политические исследования предоставляют общее руководство и направление по широким вопросам, определяя и оценивая потенциальные затраты и выгоды конкурирующих политик . Недостатком является то, что эти исследования могут быть искажены или подорваны политически мотивированными действиями участников.

• Потребительские исследования используются для оценки относительных достоинств товаров и услуг на основе обобщенных потребностей и ценностей, а также всеобъемлющего спектра эффектов. Однако этот подход не обязательно помогает практикам улучшить свою работу, и для этого требуется очень хороший и заслуживающий доверия оценщик.

• Программы аккредитации / сертификации основаны на самообучении и экспертной оценке организаций, программ и персонала. Они опираются на знания, опыт и экспертные знания квалифицированных лиц, которые используют установленные руководящие принципы для определения того, следует ли одобрять заявителя для выполнения определенных функций. Однако, если не используются стандарты, основанные на производительности, характеристики заявителей и выполняемые ими процессы часто переоцениваются по сравнению с показателями результатов или эффектов.
• Исследования знатоков используют высоко отточенные навыки людей, близко знакомых с предметом оценки, чтобы критически охарактеризовать и оценить его. Такой подход может помочь другим увидеть программы в новом свете, но трудно найти квалифицированного и беспристрастного знатока.

• Состязательный подход фокусируется на выявлении плюсов и минусов спорных вопросов посредством квазисудебных разбирательств . Это помогает обеспечить сбалансированное представление различных точек зрения на вопросы, но также может препятствовать дальнейшему сотрудничеству и усиливать враждебность между спорящими сторонами, если появятся «победители» и «проигравшие».

• Исследования, ориентированные на клиента, рассматривают конкретные проблемы и заботы практиков и других клиентов исследования в определенной обстановке. Эти исследования помогают людям понять действия и ценности, вовлеченные с разных точек зрения. Однако такой отзывчивый подход может привести к низкой внешней достоверности и благоприятному предубеждению по отношению к тем, кто участвовал в исследовании.

Оценка методологически разнообразна. Методы могут быть качественными или количественными и включают в себя тематические исследования , обзорные исследования , статистический анализ , построение моделей и многое другое, например:

• Мониторинг и оценка — это процесс, используемый правительствами, международными организациями и НПО для оценки текущей или прошлой деятельности.
• Оценка — это процесс сбора и анализа конкретной информации в рамках оценки.
• Оценка компетентности — это средство, с помощью которого учителя могут определить способности своих учеников другими способами, помимо стандартизированного теста.
• Образовательная оценка — это оценка, которая проводится специально в образовательной среде.
• Имманентная оценка , противопоставляемая Жилем Делёзом оценочному суждению
• Оценка производительности — термин из области языкового тестирования. Он противопоставляется оценке компетентности.
• Оценка программы по сути представляет собой набор философий и методов, позволяющих определить, «работает» ли программа.
• Модель оценки обучения Дональда Киркпатрика
• Рейтинг
• Эффективно обновляемая нейронная сеть Функция оценки на основе нейронной сети
• Метрическая фиксация

• Ссылки на ресурсы по оценке и анализу — список ссылок на ресурсы по нескольким темам
• Глоссарии
• Коллекция ссылок на портал оценки - коллекция ссылок на оценку с информацией о журналах оценки, распространении, проектах, обществах, обучающих текстах, книгах и многом другом.
• Бесплатные ресурсы по методам оценки и социальных исследований
• Введение и обсуждение мониторинга и оценки программ и проектов развития
• Базовое руководство по оценке программ, Джин Шакман
• BetterEvaluation — веб-сайт и библиотека ресурсов с общедоступной информацией о том, как правильно проводить, управлять и использовать оценку.