Bash Snippets - 4

Zur Suchmaschinenoptimierung gehört zuallererst die Diagnose:
Mit welchen Suchbegriffen kommen die Leute auf welche meiner Seiten. Die (Google-)Suchbegriffe sind Teil des Refererstrings im Apache Logfile. Das ist aber im Allgemeinen lang und unübersichtlich.

Folgendes Bashskript extrahiert die gewünschten Daten aus Logfiles.
Voraussetzung: Leserechte auf das Logfile (z.B. access_log).

Geolocation oder Geotargeting ist das Schließen auf den geographischen Standort aus einer IP-Adresse. Zwar kann wegen dynamisch zugeteilter IP's, der Verwendung von NAT oder Proxis usw., die Zuordnung nie 100%-ig genau sein, meist kommt man aber ungefähr in die richtige Richtung (Provider, Netz...).

Für besonders Neugierige gibt es auch die Möglichkeit, die IP nicht nur einem Land, sondern einer Stadt zuzuordnen (incl. Längen- und Breitengrad). http://www.maxmind.com/, wo das Projekt GeoIP zuhause ist, bietet zum Beispiel online so einen Dienst an. Noch praktischer wäre natürlich ein lokales Shellskript.

Und so wirds gemacht:

In der Shell gibt es immer mehrere Wege zum Ziel. Zeichen oder Substrings ersetzen kann man z.B. entweder mit sed oder der Bash selbst. Was zum Beispiel öfter mal benötigt wird, ist das Ersetzen von Leerzeichen in Variablen, damit sie als Teil eines Linuxpfades dienen können.

Leerzeichen ersetzen:
Mit sed sähe das dann so aus:
Ergebnis bei beiden: hallo_welt_und_so_weiter

Nur hinten ersetzen:
Auch praktisch an der Bashmethode ist die Möglichkeit, die Ersetzung nur am Anfang (#) oder Ende (%) durchzuführen.
Mit sed geht das natürlich auch:
Ergebnis bei beiden: txtdatei-txt.html

Voranstellen:
Man könnte auch etwas voranstellen.
Das selbe Beispiel mit sed:
Erbebnis bei beiden: bak_einedatei.txt

Welche Methode die bessere ist, hängt vom Kontext ab. Keine Frage, sed ist bei weitem vielseitiger, aber für so einfache Dinge wie hier gezeigt, ist eine Subshell (wie sed sie öffnen würde) gar nicht nötig.
Ein Nachteil der Bashmethode: sie funktioniert nur mit Variablen, um etwas in einem beliebigen Text zu ersetzen, ist sed geeigneter.

Wie man Zahlenkolonnen mit (g)awk formatiert, wurde im Beitrag Zahlenkolonnen-formatieren-mit-gawk.html schon gezeigt. Wenn es nur um die Formatierung geht, und nicht gerechnet werden muss, geht das noch einfacher mit dem Bashbuiltin printf.
Die Ausgangsdatei fürs erste Beispiel sei die "datei.txt":

13,5 556,987
14,56 13,1
15,356 345,2
16,106 2,7
17,1 3,99
18,41 4,342
19,14 345,2
20,21 20,1
21,18 4,5
22,01 77,2
23,1 94,627

Diese unordentliche Liste von Fließkommazahlen kann schön formatiert werden mit:
Immer vorausgesetzt, dass eure Umgebungsvariable $LANG bzw. $LC_NUMERIC mit den in der Datei verwendeten Kommazeichen (Punkt oder Beistrich) übereinstimmt. Ist das nicht der Fall, gibt printf die Fehlermeldung "...invalid number" aus.
Was es mit den Anweisungen "%7.2f" usw. auf sich hat, lest bitte im oben genannten gawk-Beitrag nach (oder in der Manpage zu "sprintf"). Dann muss ich das hier nicht wiederholen. Gerundet wird übrigens korrekt.

In der "datei2.txt" werden Punkte als Kommazeichen verwendet. Damit die Zahlen korrekt als solche erkannt werden, mein $LANG ist ja "de_DE.UTF-8", muss ich also die zuständige Umgebungsvariable setzen:

Viele Shellprogramme haben Optionen, die das Verhalten des Programmes anpassen. Aber wie wird sowas umgesetzt? Am einfachsten mit dem Bashbuiltin getopts (nicht zu verwechseln mit dem Programm "getopt", das etwas Ähnliches macht).

Ein einfaches Beispiel: ein Skript mit vier Optionen.
Obiges Skript hat vier Optionen -a, -b, -c und -h für einen Hilfetext.  Alle Optionen dürfen gleichzeitig gesetzt werden, auch mehrfach und zwar immer in beliebiger Reihenfolge. Keine der Optionen erfordert einen Parameter. Nur wenn eine unbekannte Option, etwa -x gesetzt wird, tritt ein Fehler auf, das Skript wird dann sofort beendet und ein kleiner Hilfetext ausgegeben.

Sollen sich die Optionen gegenseitig ausschließen, muss das extra geprüft werden. Z.B. mit einem Counter:

Mit snmpget kann mit "HOST-RESOURCES-MIB::hrSystemDate.0" die Systemzeit eines Hosts abgefragt werden.
Das Problem ist das Ausgabeformat, mit dem kein anderes Programm etwas anfangen kann.
Ein Beispiel: 2009-1-31,12:1:3.0,+1:0
Für Menschen ist es lesbar, aber an date und co. kann man das so nicht übergeben, deshalb...
$rdate_s ist ein Unix Timestamp, mit dem dann z.B. gerechnet oder etwas verglichen werden kann.
Zum Einsatz kommt (mal wieder) printf, das die einstelligen Monat, Tag, usw. -Ausgaben vorne mit "0" auffüllt.

Datenbanken rechnen gerne und sind dabei effizient, MySQL ist da keine Ausnahme.
Wäre es nicht interessant, in der Bash auf die Schnelle eine Liste aller (lokalen) Datenbanken incl. ihrer Größe zu bekommen, in MB, ordentlich gerundet und zwar ohne die interaktive MySQL Shell zu öffnen?
Na klar!
Etwas sprechendere Tabellenheader wären auch nicht schlecht:
Das Ergebnis schaut dann ungefähr so aus:

+--------------------+-----------+
| Database           | Size (MB) |
+--------------------+-----------+
| copper             |    0.0491 |
| gallery2           |    0.1633 |
| information_schema |    0.0039 |
| joomla             |    0.6255 |
| mysql              |    0.2599 |
| redaxo             |    0.0715 |
| wiki               |    2.5833 |
| wordpress          |    0.3367 |
| xoops              |    0.3042 |
+--------------------+-----------+

Oder die Größe einer bestimmten Datenbank (hier "wiki"), diesmal ohne Tabellenheader:
Ergebnis:

+--------+
| 2.5833 |
+--------+

Voraussetzung: mindestens MySQL 5.0.irgendwas (2?).
Damit ließe sich z.B. die Größe einer Datenbank automatisiert überwachen.