Bash Snippets - 5

(G)awk kann Zahlenkolonnen schick formatieren, sodass z.B. die Kommastellen sauber untereinander platziert werden. Die Ausgangsdatei, datei.txt, hat folgenden Inhalt:

13.5 556.987
14.56 13.1
15.356 345.2
416.106 2.7
17.1 3.99
18.41 4.342
139.14 345.2
20.21 20.1
621.18 4.5
22.01 77.2
23.1 94.627

Das sieht nicht so toll aus... Mit Müh und Not kann man zwei Spalten mit Fließkommazahlen erkennen, jeweils durch ein Leerzeichen getrennt. Gawk wirds richten:

Find ist ein Wunderwuzi unter den Shellprogrammen. Der Name ist Programm, mit find wird gefunden, nicht einfach nur gesucht.

Ein einfaches Beispiel:
Wo in meinem Homeordner liegt die Datei "test.pdf"?
Ihr habt vor ein paar Minuten eilig etwas gespeichert, habt aber den Namen der Datei und den Pfad sofort vergessen.
Irgendwo in eurem Homeordner, irgendein Name, vor ein paar Minuten...
Die Optionen im Einzelnen:
~ -- rekursiv in meinem Homeordner
-type f -- eine Datei (kein Ordner...)
! -path '*/.*' -- ohne Dateien oder Ordner, die mit Punkt beginnen.
-mmin -10 -- nicht älter als 10 Minuten
-ls -- lange Anzeige (wie ls -l)

Das war noch lange nicht alles...

Die Bash hat selbst kein urldecode oder urlencode. Das kann aber recht einfach nachgebaut werden. Ist php installiert, hilft der Umweg über den Aufruf der PHP-Funktionen mit "php -r" (=direktes Ausführen von PHPcode in der Shell ohne Apache o.ä.).

Beispiel zum Encodieren:
Ergebnis: Start%3A+%231%2C+Zeichen+%7B13%2F24%7D+Ende%28%29%3B

Beispiel zum Decodieren:
Ergebnis: Start: #1, Zeichen {13/24} Ende();

Das funktioniert, ist aber nicht besonders komfortabel. Wir wissen uns aber zu helfen:

In der Linux Shell (Bash) gibt es einige Möglichkeiten, Rechenoperationen (auch in Skripten) auszuführen. Ich habe mir drei heraus gepickt, die üblicherweise auf jedem Linuxsystem schon vorhanden sind, und werde sie an Hand von Beispielen vergleichen.

1. bash builtin
2. bc
3. (g)awk

Rechnen mit der Bash selbst
Einfache Rechenoperationen mit Ganzzahlen kann die Bash auch selbst ausführen.
Zu beachten: die doppelten runden Klammern bedeuten "hier wird gerechnet".

Negative Zahlen und Variablen sind auch kein Problem.
Fließkommazahlen oder Rundung kennt die Bash aber nicht. Alles, was hinter dem (nicht vorhandenen) Komma käme, wird einfach abgeschnitten. Jede Zahl wird zum Integer.
Für einfache Berechnungen ist das ausreichend, wenn es genauer sein soll, ist eine andere Methode erforderlich.

Folgendes Problem: Ich möchte eine csv-Datei in z.B. OpenOffice importieren, um Spaltensummen zu berechnen. Leider verwendet die csv-Datei den Punkt statt dem Beistrich als Kommazeichen und hintendran steht auch noch das Prozentzeichen. Globales Ersetzen des Punktes ist keine Lösung, weil ja auch in anderen (Text-) Spalten Punkte vorkommen.( Die "Mb" Spalte ist egal.) Da greife ich zu sed.

Eine Beispielzeile des Textes:

389        0.79%      1.25 Mb   0.21%  /gimp1.2/zuschneiden.html

Das passende sed-Kommando lautet so:
Horror, nicht? Ich werde das jetzt ein bisschen aufdröseln.

Die Basis für das Ganze ist sed's "substitute", also s (=ersetzen).
Das bedeutet, sed ersetzt "das" durch "jenes", und zwar global (g) im gesamten Dokument.
Bei meinem Problem geht es nur um Punkte, die von Zahlen eingeschlossen sind. Vorne sind es nie mehr als drei Stellen, es ist aber mindestens eine.
Dieser Ausdruck steht für eine ein- bis dreistellige Zahl. Zu beachten, die geschwungenen Klammern müssen mit Backslash escaped werden.
Nun will ich aber nur den Punkt ersetzen, die Zahlen aber selbstverständlich mitnehmen. Sed kennt dazu Platzhalter (\1, \2 usw.), die sich auf einen Ausdruck in Runden Klammern beziehen.
Die Regex (Regular Expresssion)
...kann also, da es der erste Ausdruck in runden Klammern ist, als \1 mitgenommen werden. Der nächste Ausdruck in runden Klammern wäre \2, usw. Auch die runden Klammern müssen durch Backslash escaped werden. Genau so übrigens der Punkt, damit auch wirklich der wörtliche Punkt und nicht "ein beliebiges Zeichen" gemeint ist.
In der csv-Datei haben alle Zahlen zwei Nachkommastellen. Die passende Regex schaut so aus:
Ein weiteres Merkmal ist das Prozentzeichen hintendran, das ich bei der Gelegenheit auch gleich loswerden möchte. Ich nehme es zum Suchbegriff dazu, allerdings außerhalb der runden Klammern, damit es nicht mitgenommen wird.

s/  \([0-9]\{1,3\}\)  \.  \([0-9]\{2\}\) %  /  \1,\2  /g
                     Punkt             Prozent   
    Regex 1                Regex 2        Referenz 1 
                                               Referenz 2
                                             Beistrich

Zusammenfassung:
Regex 1 = 1 bis 3-stellige Zahl
\. = ein (wörtlicher) Punkt
Regex 2 = 2-stellige Zahl (Nachkommastellen)
% = ein Prozentzeichen (wird wegfallen)
\1 = Referenz auf die erste Regex
, = der Beistrich (ersetzt den Punkt)
\2 = Referenz auf die zweite Regex

Sinnvollerweise wird das sed-Kommando in einer Pipe verwendet, z.B.
Das ersetzt die unerwünschten Punkte durch Beistrich, entfernt die Prozentzeichen und speichert das Ergebnis in einer neuen Datei.

Das Ergebnis (vgl. Beispielzeile oben):

389        0,79      1.25 Mb   0,21  /gimp1.2/zuschneiden.html

Um abseits von cron in einem Shellskript den letzten Tag eines beliebigen Monats zur Verfügung zu haben, habe ich mir eine function einfallen lassen. Schaltjahre sind so z.B. kein Problem mehr.
Folgendes Skript (ultimo.sh) ist zum Testen gedacht. Es erwartet genau zwei Parameter: den Monat (zweistellig) und das Jahr (vierstellig).

#!/bin/bash
month=$1
year=$2
function ultimo ()
{
lastsec=$(echo $(( `date -d ${year}${month}01 +%s` -1)) )
lastday=$(echo $lastsec | gawk '{print strftime("%d",$1)}' )
echo $lastday ist der letzte Tag des Vormonats von $month im Jahr $year
}
ultimo
exit 0

Aufgerufen wird es so:

Ergebnis: 28 ist der letzte Tag des Vormonats von 03 im Jahr 2002
Was so viel bedeutet wie "der Februar 2002 hatte 28 Tage"

Die Idee dahinter ist einfach: Ich nehme den ersten Tag des Folgemonats, Sekunde 0, und ziehe davon eine Sekunde ab.

Konkretere Beispiele:
• Wenn ich aus irgendeinem umfangreichen Logfile den genauen Monat automatisiert extrahieren möchte, brauche ich den ersten und letzten Tag des Monats.
• SARG (Squid Analysis Report Generator) erwartet zum Auswerten eines Monats die Option
"-d  01/MM/YYYY-letzterTag/MM/YYYY"
 

Update: Micha Holzmann ist über diesen Beitrag gestolpert und hat das Ganze an seine Anforderungen angepasst.

Achtung, hier wird der letzte Tag des abgefragten Monats ausgegeben, nicht der des Vormonats wie oben.

Hier wird auf gawk ganz verzichtet, somit ist date das einzige externe Programm, das benötigt wird.

Oft brauche ich das ja nicht, dann aber umso dringender: Wieviele Tage sind seit einem bestimmten Datum vergangen.
"date" kann nicht nur das heutige, sondern auch ein Datum in der Vergangenheit in anderer Form darstellen.
Bei der Eingabe ginge zwar auch z.B. JJMMTT, aber um Mißverständnissen vorzubeugen, besser JJJJMMTT verwenden. Welches Datum wäre z.B. 070706? Der 7. Juli 2006 oder der 6. Juli 2007?

date rechnet das Datum in den Unixtimestamp (=Sekunden seit 1.1.1970 00:00:00) um, mit dem ich dann rechnen kann. Ergebnis heute: 31 Tage

Vorsicht, hier verwende ich der Übersicht halber ausnahmsweise Backtick Operators, die zum Copy-Pasten oft ein Horror sind.

Das Ganze funktioniert natürlich auch mit Datum vor 1970: Ergebnis heute: 14276 Tage

Das könnte man natürlich noch in Jahre umrechnen: Ergebnis heute: 39 Jahre

Meist geht es mir aber nicht um so weit in der Vergangenheit Liegendes.
Ich brauche z.B. die Anzahl der Tage für find, um in einem (Log-)Archiv alle Dateien zu löschen, die vor einem Stichtag angelegt wurden.

Ein Beispiel mit Stichtag 1.1.2008 (diesmal sekundengenau):
Sicherheitshalber nehme ich beim ersten Aufruf von find zum Löschen vieler Dateien zuerst die Option "-ls", erst danach "-delete". Das könnte sonst ins Auge gehen.