Конференция и лаборатории Форума Оценки
| Конференция и лаборатории Форума Оценки | |
|---|---|
 Разблокировка доступа к информации | |
| Аббревиатура | КЛЮЧ |
| Дисциплина | поиск информации |
| Подробности публикации | |
| Издатель | Труды семинара Springer и CEUR |
| История | 2000 (ранее известный как Форум межъязыковой оценки с 2000 по 2009) ( 2000 ) |
| Частота | ежегодный |
| Веб-сайт | www.clef-initiative.eu |
Конференция и лаборатории Форума по оценке (ранее Форум по оценке межъязыковых данных ), или CLEF , является организацией, продвигающей исследования в области многоязычного доступа к информации (в настоящее время сосредоточенной на европейских языках ). Ее конкретные функции заключаются в поддержании базовой структуры для тестирования систем поиска информации и создании хранилищ данных для исследователей, которые могут использоваться при разработке сопоставимых стандартов . [1] Организация проводит конференцию каждый сентябрь в Европе с момента проведения первого учредительного семинара в 2000 году. С 1997 по 1999 год TREC , аналогичная оценочная конференция, ежегодно организуемая в США, включала направление для оценки межъязыкового IR для европейских языков. Это направление координировалось совместно NIST и группой европейских волонтеров, которая росла с годами. В конце 1999 года некоторые участники приняли решение перенести деятельность в Европу и организовать ее независимо. Целью было расширить охват на большее количество языков и сосредоточиться на более широком круге вопросов, включая оценку одноязычной системы для языков, отличных от английского. На протяжении многих лет CLEF поддерживался рядом различных проектов и инициатив, финансируемых ЕС. [2]
CLEF 2019 ознаменовал 20-ю годовщину конференции, и это событие было отмечено публикацией книги [3] об уроках, извлеченных за 20 лет оценочной деятельности.
Структура КЛЭФ
До 2010 года [4] CLEF был организован как семинар, совмещенный с Европейской конференцией по электронным библиотекам , состоящий из ряда оценочных лабораторий или треков, подобно TREC. В 2010 году CLEF перешел к самостоятельно организованной конференции с оценочными лабораториями, лабораторными семинарами и основным треком конференции. В 2012 году INEX, семинар по поиску и доступу к структурированному тексту, ранее ежегодно организуемый в Schloß Dagstuhl , объединился с CLEF, став одной из его оценочных лабораторий.
Перед каждой конференцией CLEF участники оценочных лабораторий получают набор сложных задач. Задачи предназначены для проверки различных аспектов систем поиска информации и поощрения их развития. Группы исследователей предлагают и организуют кампании для выполнения этих задач, а результаты используются в качестве эталонов для оценки состояния дел в конкретных областях., [5] [6]
В начале CLEF был сосредоточен в основном на довольно типичных задачах поиска информации, но затем перешел к более конкретным задачам. Например, задача интерактивного поиска изображений 2005 года работала с иллюстрированием научно-популярных текстов с использованием изображений из Flickr [7] , а задача медицинского поиска 2010 года была сосредоточена на поиске изображений компьютерной томографии, МРТ и рентгенографии. [8] В 2017 году CLEF включил ряд задач, например, на определение биологических видов по фотографиям или видеоклипам, на стилистический анализ авторства и на доступ к информации, связанной со здоровьем.
Список семинаров и конференций CLEF
| Год | Расположение | Примечание | Труды | Редакторы | |
|---|---|---|---|---|---|
| 2000 | Лиссабон | Составление мастерской | Межъязыковой поиск и оценка информации: семинар Форума межъязыковой оценки (CLEF 2000) | Кэрол Энн Питерс | |
| 2001 | Дармштадт | Оценка систем поиска информации на разных языках: Второй семинар Форума по оценке информации на разных языках (CLEF 2001), пересмотренные документы | Кэрол Энн Питерс и Мартин Брашлер и Хулио Гонсало и Мартин Клюк | ||
| 2002 | Рим | Достижения в области кросс-языкового информационного поиска: Третий семинар Форума по кросс-языковой оценке (CLEF 2002), пересмотренные документы | Кэрол Энн Питерс и Мартин Брашлер и Хулио Гонсало и Мартин Клюк | ||
| 2003 | Тронхейм | Сравнительная оценка многоязычных систем доступа к информации: Четвертый семинар Форума по оценке межъязыковых систем (CLEF 2003), Пересмотренные избранные доклады | Кэрол Энн Питерс и Мартин Брашлер и Хулио Гонсало и Мартин Клюк | ||
| 2004 | Ванна | Многоязычный информационный доступ к тексту, речи и изображениям: Пятый семинар Форума по оценке языка (CLEF 2004), пересмотренные избранные доклады | Кэрол Энн Питерс, Пол Клоф, Хулио Гонсало, Гарет Дж. Ф. Джонс, Мартин Клюк и Бернардо Маньини | ||
| 2005 | Вена | Доступ к многоязычным информационным хранилищам: Шестой семинар Форума по оценке кросс-языков (CLEF 2005). Пересмотренные избранные статьи | Кэрол Энн Питерс, Фред Си Гей, Хулио Гонсало, Гарет Дж. Ф. Джонс, Мартин Клак, Бернардо Маньини, Хеннинг Мюллер и Маартен де Рийке | ||
| 2006 | Аликанте | Оценка многоязычного и многомодального поиска информации: Седьмой семинар Форума по оценке кросс-языков (CLEF 2006). Пересмотренные избранные статьи | Кэрол Энн Питерс и Клаф, П. и Фред С. Гей и Юсси Карлгрен и Бернардо Маньини и Дуг Оард и Маартен де Рийке и М. Штемпфхубер | ||
| 2007 | Будапешт | Достижения в области многоязычного и мультимодального поиска информации: Восьмой семинар Форума по оценке кросс-языков (CLEF 2007). Пересмотренные избранные статьи | Кэрол Энн Питерс и Джийкоун, В. и Мандл, Т. и Хеннинг Мюллер и Оард, Д.В. и Пеньяс, А. и Петрас, В. и Сантос, Д. | ||
| 2008 | Орхус | Системы оценки многоязычного и мультимодального доступа к информации: Девятый семинар Форума по оценке межъязыковых систем (CLEF 2008). Пересмотренные избранные доклады | Кэрол Энн Питерс и Деселерс Т. и Никола Ферро и Хулио Гонсало и Гарет Дж. Ф. Джонс и Куримо М. и Мандл Т. и Пеньяс А. | ||
| 2009 | Корфу | Оценка многоязычного доступа к информации. Том I. Эксперименты по извлечению текста — Десятый семинар Форума по оценке языка (CLEF 2009). Пересмотренные избранные статьи | Кэрол Энн Питерс и Ди Нунцио, ГМ, и Куримо, М. и Мандл, Т. и Мостефа, Д. и Пеньяс, А. и Рода, Г. | ||
| 2010 | Падуя | Первая конференция | Оценка многоязычного и мультимодального доступа к информации. Труды Международной конференции Форума по межъязыковой оценке (CLEF 2010) | Маристелла Агости , Никола Ферро, Кэрол Энн Питерс, Маартен де Рийке и Алан Смитон | |
| 2011 | Амстердам | Оценка многоязычного и мультимодального доступа к информации. Труды Второй международной конференции Форума по межъязыковой оценке (CLEF 2011) | Форнер П. и Хулио Гонсало, Кекяляйнен Дж. и Лалмас М. и Маартен де Рийке | ||
| 2012 | Рим | Оценка доступа к информации. Многоязычие, мультимодальность и визуальная аналитика. Труды Третьей международной конференции Инициативы CLEF (CLEF 2012) | Катарчи Т., Форнер П., Химстра Д., Пеньяс А. и Сантуччи Г. | ||
| 2013 | Валенсия | Оценка доступа к информации, многоязычие, мультимодальность и визуализация. Труды Четвертой международной конференции Инициативы CLEF (CLEF 2013) | Форнер, П., Хеннинг Мюллер, Паредес, Р., Россо, П. и Штайн, Б. | ||
| 2014 | Шеффилд | Оценка доступа к информации — многоязычие, мультимодальность и взаимодействие. Труды пятой международной конференции инициативы CLEF (CLEF 2014) | Каноулас, Э., Лупу, М., Клаф, П., Сандерсон, М., Холл, М., Ханбери, А., Томс, Э. | ||
| 2015 | Тулуза | Экспериментальный IR встречает многоязычие, мультимодальность и взаимодействие. Труды Шестой международной конференции Ассоциации CLEF (CLEF 2015) | Мот Дж. и Савой Дж. и Яап Кампс и Пинель-Совагнат К. и Гарет Дж. Ф. Джонс и СанХуан Э. и Каппеллато Л. и Никола Ферро | ||
| 2016 | Эвора | Экспериментальный IR встречает многоязычие, мультимодальность и взаимодействие. Труды Седьмой международной конференции Ассоциации CLEF (CLEF 2016) | Фур, Н. и Куарежма, П. и Гонсалвес, Т. и Ларсен, Б. и Балог, К. и Макдональд, К. и Каппеллато, Л. и Никола Ферро | ||
| 2017 | Дублин | Экспериментальный IR встречает многоязычие, мультимодальность и взаимодействие. Труды Восьмой международной конференции Ассоциации CLEF (CLEF 2017) | Гарет Дж. Ф. Джонс и Лоулесс, С. и Хулио Гонсало и Келли, Л. и Лоррейн Гурио и Томас Мандл и Каппеллато, Л. и Никола Ферро | ||
| 2018 | Авиньон | Экспериментальный IR встречает многоязычие, мультимодальность и взаимодействие. Труды Девятой международной конференции Ассоциации CLEF (CLEF 2018) | Патрис Белло, Шираз Трабелси, Жозиан Мот, Фионн Мурта, Цзян-Юн Ни, Лор Сулье, Эрик СанХуан, Линда Каппеллато и Никола Ферро | ||
| 2019 | Лугано | Экспериментальный IR встречает многоязычие, мультимодальность и взаимодействие. Труды Десятой международной конференции Ассоциации CLEF (CLEF 2019) | Фабио Крестани, Мартин Брашлер, Жак Савой, Андреас Раубер, Хеннинг Мюллер, Давид Лосада, Гундула Хейнац, Линда Каппеллато и Никола Ферро | ||
| 2020 | Салоники (виртуально из-за COVID-19) | Экспериментальный IR встречает многоязычие, мультимодальность и взаимодействие. Труды одиннадцатой международной конференции Ассоциации CLEF (CLEF 2020) | Ави Арампацис, Евангелос Канулас, Теодора Цикрика, Стефанос Врочидис, Хидео Джохо, Кристина Лиома, Карстен Эйкхофф, Орели Невеоль, А., Линда Каппеллато и Никола Ферро | ||
| 2021 | Бухарест (виртуально из-за COVID-19) | Экспериментальный IR встречает многоязычие, мультимодальность и взаимодействие. Труды Двенадцатой международной конференции Ассоциации CLEF (CLEF 2021) | К. Сельчук Кандан, Богдан Ионеску, Лоррейн Гурио, Биргер Ларсен, Хеннинг Мюллер, Алексис Жоли, Мария Майстро, Флорина Пирой, Гульельмо Фаджиоли и Никола Ферро |
Ссылки
- ^ Питерс, Кэрол; Брашлер, Мартин; Шукри, Халид; Гонсало, Хулио; Клак, Майкл. Будущее оценки для систем кросс-языкового поиска информации . Второй семинар Форума по кросс-языковой оценке, CLEF 2001. CiteSeerX 10.1.1.109.7647 .
- ^ Питерс, Кэрол и Мартин Брашлер. «Европейское исследовательское письмо: межъязыковая системная оценка: кампании CLEF». Журнал Ассоциации информационной науки и технологий 52.12 (2001): 1067-1072.
- ^ Ферро, Никола; Питерс, Кэрол (2019). Оценка информационного поиска в меняющемся мире — уроки, извлеченные за 20 лет CLEF . том 41 из серии «Информационный поиск». Том 41. Springer International Publishing, Германия. doi : 10.1007/978-3-030-22948-1. ISBN 978-3-030-22947-4.
- ^ История CLEF до 2010 года
- ^ "Специальный выпуск о CLEF". Информационный поиск . 7 (1–2). 2004. doi :10.1023/B:INRT.0000009472.59294.f6.
- ^ Фредрик С. Гей, Норико Кандо и Кэрол Питерс «Межъязыковой поиск информации: путь вперед» в журнале Information Processing & Management, т. 41, № 3, стр. 415-431, май 2005 г., doi : 10.1016/j.ipm.2004.06.006
- ^ Карлгрен, Юсси ; Гонсало, Хулио; Клаф, Пол (2006). Обзор iclef 2006: Поиск в репозитории обмена фотографиями flickr www . Седьмой семинар Форума по межъязыковой оценке CLEF 2006..
- ^ Мюллер, Хеннинг (20 мая 2010 г.). «Задача медицинского поиска». ImageCLEF — межъязыковые оценки поиска изображений . Получено 27 мая 2010 г.
Внешние ссылки
- Домашняя страница CLEF
- История CLEF до 2010 года
