Вебалайзер

Webalizer — это программное обеспечение для анализа веб-журналов , которое генерирует веб-страницы анализа из журналов доступа и использования. Это один из наиболее часто используемых инструментов администрирования веб-серверов. Он был инициирован Брэдфордом Л. Барреттом в 1997 году. Статистика, обычно сообщаемая Webalizer, включает хиты, посещения, рефереры, страны посетителей и объем загруженных данных. Эту статистику можно просматривать графически и представлять по различным временным интервалам, например, по дням, часам или месяцам.

Анализ трафика веб-сайта производится путем группировки и агрегации различных элементов данных, собранных веб-сервером в виде файлов журнала, пока посетитель веб-сайта просматривает веб-сайт. Webalizer анализирует файлы журнала веб-сервера, извлекая такие элементы, как IP-адреса клиентов, пути URL, время обработки, пользовательские агенты, рефереры и т. д., и группируя их для создания HTML-отчетов.

Веб-серверы регистрируют HTTP-трафик, используя различные форматы файлов. Распространенными форматами файлов являются Common Log Format (CLF), Apache Custom Log Format и Extended Log File Format. Пример строки журнала CLF показан ниже.

192.168.1.20 - - [26/дек/2006:03:09:16 -0500] "GET HTTP/ 1.1" 200 1774

Apache Custom Log Format можно настроить для регистрации большинства параметров HTTP, включая время обработки запроса и размер самого запроса. Формат пользовательского журнала контролируется строкой формата. Типичная конфигурация формата журнала Apache показана ниже.

LogFormat "%a %l \"%u\" %t %m \"%U\" \"%q\" %p %>s %b %D \"%{Referer}i\" \"%{User-Agent}i\"" my_custom_log Журналы CustomLog /access_log my_custom_log    

Веб-сервер Microsoft Internet Information Services (IIS) регистрирует HTTP-трафик в формате W3C Extended Log File Format. Аналогично формату Apache Custom Log, журналы IIS могут быть настроены для записи таких расширенных параметров, как время обработки запроса. Расширенные журналы W3C можно распознать по наличию одной или нескольких строк формата, например, показанной ниже.

#Поля: дата время s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) sc-status sc-bytes cs-bytes время-занято

Webalizer может обрабатывать файлы журналов CLF, Apache и W3C Extended, а также файлы журналов HTTP-прокси, созданные серверами Squid . Другие форматы файлов журналов обычно преобразуются в CLF для анализа. Кроме того, журналы, сжатые с помощью GZip (.gz) или BZip2 (.bz2), могут обрабатываться напрямую без необходимости распаковки перед использованием.

Webalizer — это приложение командной строки, которое запускается из командной строки операционной системы . Типичная команда показана ниже.

webalizer -p -F clf -n en.wikipedia.org -o отчеты logfiles/access_log

Эта команда указывает Webalizer проанализировать файл журнала access_log, запустить в инкрементальном режиме (-p), интерпретировать журнал как файл журнала CLF (-F), использовать доменное имя en.wikipedia.org для ссылок на отчеты (-n) и создать выходной подкаталог текущего каталога. Используйте параметр -h, чтобы увидеть полный список параметров командной строки.

Помимо параметров командной строки, Webalizer может быть настроен через параметры файла конфигурации. По умолчанию Webalizer считывает файл webalizer.conf и интерпретирует каждую строку как инструкцию по обработке. В качестве альтернативы, указанный пользователем файл может быть предоставлен с помощью параметра -c.

Например, если веб-мастер хочет игнорировать все запросы, поступающие от определенной группы хостов, он или она может использовать параметр IgnoreSite, чтобы отклонить все записи журнала с IP-адресом, соответствующим указанному шаблону:

ИгнорироватьСайт 192.168.0.*

Существует более сотни доступных параметров конфигурации, что делает The Webalizer высоконастраиваемым приложением для анализа веб-трафика. Полный список параметров конфигурации см. в файле README, который поставляется с каждым исходным или бинарным дистрибутивом.

По умолчанию Webalizer создает два вида отчетов — годовой сводный отчет и подробный ежемесячный отчет, по одному за каждый анализируемый месяц.

Годовой отчет-резюме содержит такую ​​информацию, как количество хитов, запросов файлов и страниц, хостов и посещений, а также ежедневные средние значения этих счетчиков за каждый месяц. Отчет сопровождается годовым графиком-резюме.

Каждый из ежемесячных отчетов формируется в виде одной HTML-страницы, содержащей ежемесячный сводный отчет (с указанием общего числа обращений, запросов файлов и страниц, посещений, хостов и т. д.), ежедневный отчет (группировка этих счетчиков по каждому дню месяца), агрегированный почасовой отчет (группировка счетчиков за один и тот же час каждого дня), отчет по URL (группировка собранной информации по URL), отчет по хостам (по IP-адресу), отчеты по URL входа и выхода веб-сайта (показываются наиболее распространенные URL первого и последнего посещения), отчет по реферерам (группировка сторонних URL-адресов, ведущих на анализируемый веб-сайт), отчет по строке поиска (группировка элементов по поисковым терминам, используемым в таких поисковых системах, как Google), отчет по агенту пользователя (группировка по типу браузера) и отчет по стране (группировка по стране происхождения хоста).

Каждый из стандартных отчетов HTML, описанных выше, содержит только самые популярные записи для каждого элемента (например, 20 самых популярных URL-адресов). Фактическое количество строк для каждого отчета контролируется конфигурацией. Webalizer также может быть настроен на создание отдельного отчета для каждого элемента, в котором будет перечислен каждый отдельный элемент, например, все посетители веб-сайта, все запрошенные URL-адреса и т. д.

В дополнение к HTML-отчетам, Webalizer может быть настроен на создание дамп-файлов с разделителями-запятыми, которые перечисляют все данные отчета в текстовом файле. Дамп-файлы могут быть импортированы в приложения электронных таблиц или базы данных для дальнейшего анализа.

HTML-отчеты могут быть созданы на более чем 30 языках, включая каталонский, хорватский, чешский, датский, голландский, английский, эстонский, финский, французский, галисийский, немецкий, греческий, венгерский, исландский, индонезийский, итальянский, японский, корейский, латышский, малайский, норвежский, польский, португальский, португальский (Бразилия), румынский, русский, сербский, упрощенный китайский, словацкий, словенский, испанский, шведский, турецкий, украинский.

Для создания отчетов на другом языке требуется отдельный двоичный файл веб-бализатора, скомпилированный специально для этого языка.

• Сгенерированная статистика не делает различий между посетителями-людьми и роботами. В результате все сообщаемые показатели выше, чем те, которые связаны только с людьми. Многие веб-мастера утверждают, что webalizer выдает крайне нереалистичные цифры посещений, которые иногда на 200–900% выше данных, выдаваемых веб-статистикой на основе Javascript, такой как Google Analytics или StatCounter .
• Сообщаемое количество обращений слишком велико для менеджеров загрузок с сегментированными загрузками; каждые 206 «частичных загрузок» учитываются как одно обращение.
• Нет анализа строки запроса. Динамически сгенерированные веб-сайты не могут быть перечислены отдельно (например, страницы PHP с аргументами).

• Список программного обеспечения для веб-аналитики

• Официальный сайт (архивная копия)