access.log einer Webseite analysieren

1

Wo finde ich das access.log meiner Webseite?

Logfiles sind Dateien, in denen Aktivitäten auf Ihrem Server aufgezeichnet werden. Jeder Webspace hat auf unseren Servern ein eigenes access.log. Dieses Log finden Sie entweder direkt unter /log (Shell-Benutzer im Jailkit) oder unter ../../log aus dem Startverzeichnis eines Shell-Benutzers ohne Jailkit. Im ISPConfig Ihres Servers finden Sie unter Webseiten => Shell-Benutzer => Benutzername => Chroot Shell, ob Sie einen Shell-Benutzer mit oder ohne Jailkit haben.
Auf dem Linux-Dateisystem können Sie mit dem Befehl cd durch die Ordner navigieren.

cd ../../log    ## für Shell-Benutzer ohne Jailkit (aus dem Startverzeichnis)
cd /log/        ## für Shell-Benutzer mit Jailkit

Weiterführende Informationen zum cd-Befehl finden Sie z.B. auf HowtoForge.

2

Logfiles auflisten

Verwenden Sie den Befehl ls, um die Dateien anzeigen zu lassen. Eine sortierte Liste finden Sie, wenn Sie beispielsweise ls -lah verwenden. Unter Umständen finden Sie einige .log, .log.1 und .log.*.gz-Dateien. Die aktuellsten Daten befinden sich immer im access.log, welche wir auch für die weiteren Beispiele verwenden werden.
Das access.log enthält immer das Protokoll des aktuellen Tages. Im access.log.1 befindet sich in der Regel das Protokoll des Vortags. Die Dateien mit der Endung .log.*.gz sind gzip-komprimierte Dateien. In diesem einfachen Teil werden wir nur die .log-Dateien behandeln.

ls            ## listet die Inhalte des Verzeichnisses in alphabetischer Reihenfolge auf.
ls -lah       ## listet die Inhalte des Verzeichnisses in alphabetischer Reihenfolge auf, einschließlich versteckter Dateien, und zeigt detaillierte Informationen in einer für Menschen leicht verständlichen Form an.

Weiterführende Informationen zum ls-Befehl finden Sie auf HowtoForge.

3

Die ersten Zeilen ausgeben lassen mit head

Da access.log-Dateien einfache Text-Dateien sind, können Sie deren Inhalt mit sehr einfachen Mitteln ausgeben lassen.

head access.log          ## gibt die ersten 10 Zeilen der Datei aus.
head -n20 access.log     ## gibt die ersten 20 Zeilen der Datei aus. Der Wert für -nXX kann frei angepasst werden.

Weiterführende Informationen zum head-Befehl finden Sie auf HowtoForge.

4

Die letzten Zeilen ausgeben lassen mit tail

tail access.log           ## gibt die letzten 10 Zeilen der Datei aus.
tail -n 20 logfile.log    ## gibt die letzten 20 Zeilen der Datei aus. Der Wert für -nXX kann frei angepasst werden.

Weiterführende Informationen zum tail-Befehl finden Sie auf HowtoForge.

5

access.log in Echtzeit überwachen

tail -f access.log          ## gibt die letzten 10 Zeilen der Datei aus und zeigt in Echtzeit weitere, dazukommende Einträge an.
tail -f -n20 access.log     ## gibt die letzten 20 Zeilen der Datei aus und zeigt in Echtzeit weitere, dazukommende Einträge an.

## Die Ausgabe kann durch Drücken von STRG+C beendet werden.

6

Das gesamte Log ausgeben lassen mit cat|zcat

Mit den Anwendungen cat oder zcat lässt sich das gesamte Log ausgeben. zcat kann gzip-komprimierte Dateien (z.B. xxxx.log.gz) ausgeben.

cat access.log                 ## gibt das gesamte Log aus.
zcat yyyymmdd-access.log.gz    ## gibt den Inhalt einer komprimierten Log-Datei im .gz-Format aus, ohne die Datei zuvor manuell dekomprimieren zu müssen.

Weiterführende Informationen zum cat-Befehl sowie zum zcat-Befehl finden Sie auf HowtoForge.

7

Spezifische Einträge im access.log suchen

Die Anwendung grep sucht nach einem Begriff oder Muster in einer Datei.

grep "error" access.log     ## sucht nach dem Begriff "error" in der Datei access.log.
grep -i "error" access.log  ## sucht nach dem Begriff "error" in der Datei access.log und ignoriert dabei Groß-/Kleinschreibung.
zgrep "error" yyyymmdd-access.log.gz   ## sucht nach dem Begriff "error" in der gzip-komprimierten Datei yyyymmdd-access.log.gz

8

Im access.log blättern

Die Anwendung less können Sie nutzen, um die gesamte Datei zu laden und darin mit den Pfeiltasten oder dem Scrollrad zu blättern.

less access.log

## Zum Verlassen von less drücken Sie einfach die Taste Q auf der Tastatur.

9

access.log spaltenweise, nach Trennsymbol sortiert, mit awk ausgeben lassen

awk ist ein bei Admins beliebtes und sehr mächtiges Werkzeug, mit dem man Inhalte einer Datei verarbeiten kann.

awk '{print$1}' access.log                      ## gibt alle Einträge im access.log aus und filtert dabei nur die erste Spalte, getrennt nach Leerzeichen, wobei $1 die erste Spalte ist. Das Ergebnis ist eine Liste, die alle IP-Adressen enthält, die im access.log enthalten sind.
awk '{print$1" "$2" "$4" "$5}' access.log       ## gibt die IP-Adresse, die aufgerufenen Domainnamen und den Timestamp der Anfrage aus.
awk -F '"' '{print$1}' access.log               ## filtert die Spalten nach " und das Ergebnis ist dabei fast identisch.

10

Befehle kombinieren

Befehle lassen sich ebenfalls kombinieren, um das jeweilige Resultat noch weiter zu verarbeiten. Zum Kombinieren von Befehlen wird | (der Pipe-Operator) genutzt. Man leitet dadurch das Resultat des ersten Kommandos an das nachfolgende Kommando weiter.

tail -n 100 access.log | grep "error"

Durch tail -n 100 logfile.log erhalten wir nur die letzten 100 Zeilen aus dem access.log und das Resultat wird an die Anwendung code>grep weitergegeben, um darin nach dem String error zu suchen.

1

IP-Adressen extrahieren

awk '{print$1}' access.log                            ## gibt alle IP-Adressen im access.log aus.
awk '{print$1}' access.log | sort | uniq -c | sort -n ## gibt eine Liste aller IP-Adressen und deren Häufigkeiten im access.log zurück. Wenn man noch ein | tail dranhängt, dann erhält man nur die 10 häufigsten IP-Adressen aus dem access.log gefiltert.

2

Nach einer spezifischen IP-Adresse im access.log suchen

grep "192.168.1.1" access.log     ## durchsucht die Datei access.log nach Zeilen, die die Zeichenfolge 192.168.1.1 enthalten.
grep -c  "192.168.1.1" access.log ## gibt zurück, wie oft 192.168.1.1 im access.log auffindbar ist.

Dieser Befehl durchsucht die Datei logfile.log nach Zeilen, die die Zeichenfolge „192.168.1.1“ enthalten.

In diesem speziellen Fall sucht grep nach jeder Instanz der IP-Adresse „192.168.1.1“ in der Datei. Jede Zeile, die diese IP-Adresse enthält, wird vollständig auf dem Bildschirm oder im Terminal ausgegeben. Dies ist nützlich, um spezifische Einträge oder Aktivitäten zu finden, die mit dieser IP-Adresse verbunden sind, wie zum Beispiel Zugriffe auf einen Webserver, Fehlermeldungen, Sicherheitsverletzungen oder jegliche andere Log-Einträge, die diese IP-Adresse enthalten könnten.

3

Alle Aufrufe der IP-Adresse mit den meisten Aufrufen ausgeben lassen

grep $(awk '{print$1}' access.log | sort | uniq -c | sort -n | tail -1 | awk '{print$2}') access.log

4

Eindeutige IP-Adressen ausgeben lassen

awk '{print$1}' access.log | sort | uniq         ## gibt die eindeutigen IP-Adressen aus.
awk '{print$1}' access.log | sort | uniq | wc -l ## gibt Anzahl der eindeutigen IP-Adressen aus.

1

Anzahl der eindeutigen IP-Adressen je Stunde im access.log

logx=access.log; for std in {00..23}; do echo -e "${logx} - Stunde: ${std} - Uniq-IPs: $(zgrep ":${std}:..:.." ${logx} | awk '{print$1}' | sort | uniq | wc -l)"; done; echo -e "Uniq-IPs gesamt in ${logx}:$(zcat -f ${logx} |awk '{print$1}' | sort | uniq | wc -l)\n"

2

Anzahl der eindeutigen IP-Adressen je Stunde in allen access.log Dateien der jeweiligen Webseite

for log in $(ls *access.log* | sort); do for std in {00..23}; do echo -e "${log} - Stunde: ${std} - Uniq-IPs: $(zgrep ":${std}:..:.." ${log} | awk '{print$1}' | sort | uniq | wc -l)"; done; echo -e "Uniq-IPs gesamt in ${log}:$(zcat -f ${log} |awk '{print$1}' | sort | uniq | wc -l)\n"; done

3

Anzahl der Aufrufe je Stunde im access.log

logx=access.log; for std in {00..23}; do echo -e "${log} - Stunde: ${std} - Aufrufe: $(zgrep -c "${std}:..:.." ${log})"; done; echo -e "Aufrufe in ${log} gesamt: $(zcat -f ${log} | wc -l)\n"

4

Anzahl der Aufrufe je Stunde in allen access.log Dateien der jeweiligen Webseite

for log in $(ls *-access.log* access.log | sort); do for std in {00..23}; do echo -e "${log} - Stunde: ${std} - Aufrufe: $(zgrep -c -E "${std}:..:.." ${log})"; done; echo -e "Aufrufe in ${log} gesamt: $(zcat -f ${log} | wc -l)\n"; done

5

Details zu den 25 meisten IP-Adressen im access.log ausgeben lassen

Achtung: Hierzu ist ein Shell-Benutzer ohne Jailkit notwendig.

Es werden einige, auf dem Server vorhandene Werkzeuge genutzt und miteinander verkettet, um daraus Informationen der 25 häufigsten IP-Adressen aus dem access.log zu extrahieren.

log="access.log" && for ip in $(cut -d ' ' -f 1 ${log} | sort | uniq -c | sort -n | tail -n25 | awk '{print$2}'); do 
echo -e "\n===========================
IP: ${ip}
ReverseIP: $(dig -x ${ip} +short)
Aufrufe Gesamt: $(grep ${ip} -c ${log})
$(for x in GET POST HEAD PUT; do xn=$(grep ${ip} ${log}| grep -c "${x} "); [[ ${xn} != "0" ]] && echo -e "- ${x}: ${xn}\n UserAgents:\n$(grep ${ip} ${log} | grep "${x} "| cut -d' ' -f12- | sort | uniq -c | sort -n)\n"; done)
Gehoert zu:
$(whois ${ip} | awk '/org-name:|OrgName:|netname:|role:/{$1=""; print$0}' | sed -e 's/^[ \t]*//')
===========================\n"; done