Bash Snippets

In der Shell gibt es immer mehrere Wege zum Ziel. Zeichen oder Substrings ersetzen kann man z.B. entweder mit sed oder der Bash selbst. Was zum Beispiel öfter mal benötigt wird, ist das Ersetzen von Leerzeichen in Variablen, damit sie als Teil eines Linuxpfades dienen können.

Leerzeichen ersetzen:
Mit sed sähe das dann so aus:
Ergebnis bei beiden: hallo_welt_und_so_weiter

Nur hinten ersetzen:
Auch praktisch an der Bashmethode ist die Möglichkeit, die Ersetzung nur am Anfang (#) oder Ende (%) durchzuführen.
Mit sed geht das natürlich auch:
Ergebnis bei beiden: txtdatei-txt.html

Voranstellen:
Man könnte auch etwas voranstellen.
Das selbe Beispiel mit sed:
Erbebnis bei beiden: bak_einedatei.txt

Welche Methode die bessere ist, hängt vom Kontext ab. Keine Frage, sed ist bei weitem vielseitiger, aber für so einfache Dinge wie hier gezeigt, ist eine Subshell (wie sed sie öffnen würde) gar nicht nötig.
Ein Nachteil der Bashmethode: sie funktioniert nur mit Variablen, um etwas in einem beliebigen Text zu ersetzen, ist sed geeigneter.

Wie man Zahlenkolonnen mit (g)awk formatiert, wurde im Beitrag Zahlenkolonnen-formatieren-mit-gawk.html schon gezeigt. Wenn es nur um die Formatierung geht, und nicht gerechnet werden muss, geht das noch einfacher mit dem Bashbuiltin printf.
Die Ausgangsdatei fürs erste Beispiel sei die "datei.txt":

13,5 556,987
14,56 13,1
15,356 345,2
16,106 2,7
17,1 3,99
18,41 4,342
19,14 345,2
20,21 20,1
21,18 4,5
22,01 77,2
23,1 94,627

Diese unordentliche Liste von Fließkommazahlen kann schön formatiert werden mit:
Immer vorausgesetzt, dass eure Umgebungsvariable $LANG bzw. $LC_NUMERIC mit den in der Datei verwendeten Kommazeichen (Punkt oder Beistrich) übereinstimmt. Ist das nicht der Fall, gibt printf die Fehlermeldung "...invalid number" aus.
Was es mit den Anweisungen "%7.2f" usw. auf sich hat, lest bitte im oben genannten gawk-Beitrag nach (oder in der Manpage zu "sprintf"). Dann muss ich das hier nicht wiederholen. Gerundet wird übrigens korrekt.

In der "datei2.txt" werden Punkte als Kommazeichen verwendet. Damit die Zahlen korrekt als solche erkannt werden, mein $LANG ist ja "de_DE.UTF-8", muss ich also die zuständige Umgebungsvariable setzen:

Viele Shellprogramme haben Optionen, die das Verhalten des Programmes anpassen. Aber wie wird sowas umgesetzt? Am einfachsten mit dem Bashbuiltin getopts (nicht zu verwechseln mit dem Programm "getopt", das etwas Ähnliches macht).

Ein einfaches Beispiel: ein Skript mit vier Optionen.
Obiges Skript hat vier Optionen -a, -b, -c und -h für einen Hilfetext.  Alle Optionen dürfen gleichzeitig gesetzt werden, auch mehrfach und zwar immer in beliebiger Reihenfolge. Keine der Optionen erfordert einen Parameter. Nur wenn eine unbekannte Option, etwa -x gesetzt wird, tritt ein Fehler auf, das Skript wird dann sofort beendet und ein kleiner Hilfetext ausgegeben.

Sollen sich die Optionen gegenseitig ausschließen, muss das extra geprüft werden. Z.B. mit einem Counter:

Mit snmpget kann mit "HOST-RESOURCES-MIB::hrSystemDate.0" die Systemzeit eines Hosts abgefragt werden.
Das Problem ist das Ausgabeformat, mit dem kein anderes Programm etwas anfangen kann.
Ein Beispiel: 2009-1-31,12:1:3.0,+1:0
Für Menschen ist es lesbar, aber an date und co. kann man das so nicht übergeben, deshalb...
$rdate_s ist ein Unix Timestamp, mit dem dann z.B. gerechnet oder etwas verglichen werden kann.
Zum Einsatz kommt (mal wieder) printf, das die einstelligen Monat, Tag, usw. -Ausgaben vorne mit "0" auffüllt.

Datenbanken rechnen gerne und sind dabei effizient, MySQL ist da keine Ausnahme.
Wäre es nicht interessant, in der Bash auf die Schnelle eine Liste aller (lokalen) Datenbanken incl. ihrer Größe zu bekommen, in MB, ordentlich gerundet und zwar ohne die interaktive MySQL Shell zu öffnen?
Na klar!
Etwas sprechendere Tabellenheader wären auch nicht schlecht:
Das Ergebnis schaut dann ungefähr so aus:

+--------------------+-----------+
| Database           | Size (MB) |
+--------------------+-----------+
| copper             |    0.0491 |
| gallery2           |    0.1633 |
| information_schema |    0.0039 |
| joomla             |    0.6255 |
| mysql              |    0.2599 |
| redaxo             |    0.0715 |
| wiki               |    2.5833 |
| wordpress          |    0.3367 |
| xoops              |    0.3042 |
+--------------------+-----------+

Oder die Größe einer bestimmten Datenbank (hier "wiki"), diesmal ohne Tabellenheader:
Ergebnis:

+--------+
| 2.5833 |
+--------+

Voraussetzung: mindestens MySQL 5.0.irgendwas (2?).
Damit ließe sich z.B. die Größe einer Datenbank automatisiert überwachen.

(G)awk kann Zahlenkolonnen schick formatieren, sodass z.B. die Kommastellen sauber untereinander platziert werden. Die Ausgangsdatei, datei.txt, hat folgenden Inhalt:

13.5 556.987
14.56 13.1
15.356 345.2
416.106 2.7
17.1 3.99
18.41 4.342
139.14 345.2
20.21 20.1
621.18 4.5
22.01 77.2
23.1 94.627

Das sieht nicht so toll aus... Mit Müh und Not kann man zwei Spalten mit Fließkommazahlen erkennen, jeweils durch ein Leerzeichen getrennt. Gawk wirds richten:

Find ist ein Wunderwuzi unter den Shellprogrammen. Der Name ist Programm, mit find wird gefunden, nicht einfach nur gesucht.

Ein einfaches Beispiel:
Wo in meinem Homeordner liegt die Datei "test.pdf"?
Ihr habt vor ein paar Minuten eilig etwas gespeichert, habt aber den Namen der Datei und den Pfad sofort vergessen.
Irgendwo in eurem Homeordner, irgendein Name, vor ein paar Minuten...
Die Optionen im Einzelnen:
~ -- rekursiv in meinem Homeordner
-type f -- eine Datei (kein Ordner...)
! -path '*/.*' -- ohne Dateien oder Ordner, die mit Punkt beginnen.
-mmin -10 -- nicht älter als 10 Minuten
-ls -- lange Anzeige (wie ls -l)

Das war noch lange nicht alles...

Die Bash hat selbst kein urldecode oder urlencode. Das kann aber recht einfach nachgebaut werden. Ist php installiert, hilft der Umweg über den Aufruf der PHP-Funktionen mit "php -r" (=direktes Ausführen von PHPcode in der Shell ohne Apache o.ä.).

Beispiel zum Encodieren:
Ergebnis: Start%3A+%231%2C+Zeichen+%7B13%2F24%7D+Ende%28%29%3B

Beispiel zum Decodieren:
Ergebnis: Start: #1, Zeichen {13/24} Ende();

Das funktioniert, ist aber nicht besonders komfortabel. Wir wissen uns aber zu helfen:

In der Linux Shell (Bash) gibt es einige Möglichkeiten, Rechenoperationen (auch in Skripten) auszuführen. Ich habe mir drei heraus gepickt, die üblicherweise auf jedem Linuxsystem schon vorhanden sind, und werde sie an Hand von Beispielen vergleichen.

1. bash builtin
2. bc
3. (g)awk

Rechnen mit der Bash selbst
Einfache Rechenoperationen mit Ganzzahlen kann die Bash auch selbst ausführen.
Zu beachten: die doppelten runden Klammern bedeuten "hier wird gerechnet".

Negative Zahlen und Variablen sind auch kein Problem.
Fließkommazahlen oder Rundung kennt die Bash aber nicht. Alles, was hinter dem (nicht vorhandenen) Komma käme, wird einfach abgeschnitten. Jede Zahl wird zum Integer.
Für einfache Berechnungen ist das ausreichend, wenn es genauer sein soll, ist eine andere Methode erforderlich.

Folgendes Problem: Ich möchte eine csv-Datei in z.B. OpenOffice importieren, um Spaltensummen zu berechnen. Leider verwendet die csv-Datei den Punkt statt dem Beistrich als Kommazeichen und hintendran steht auch noch das Prozentzeichen. Globales Ersetzen des Punktes ist keine Lösung, weil ja auch in anderen (Text-) Spalten Punkte vorkommen.( Die "Mb" Spalte ist egal.) Da greife ich zu sed.

Eine Beispielzeile des Textes:

389        0.79%      1.25 Mb   0.21%  /gimp1.2/zuschneiden.html

Das passende sed-Kommando lautet so:
Horror, nicht? Ich werde das jetzt ein bisschen aufdröseln.

Die Basis für das Ganze ist sed's "substitute", also s (=ersetzen).
Das bedeutet, sed ersetzt "das" durch "jenes", und zwar global (g) im gesamten Dokument.
Bei meinem Problem geht es nur um Punkte, die von Zahlen eingeschlossen sind. Vorne sind es nie mehr als drei Stellen, es ist aber mindestens eine.
Dieser Ausdruck steht für eine ein- bis dreistellige Zahl. Zu beachten, die geschwungenen Klammern müssen mit Backslash escaped werden.
Nun will ich aber nur den Punkt ersetzen, die Zahlen aber selbstverständlich mitnehmen. Sed kennt dazu Platzhalter (\1, \2 usw.), die sich auf einen Ausdruck in Runden Klammern beziehen.
Die Regex (Regular Expresssion)
...kann also, da es der erste Ausdruck in runden Klammern ist, als \1 mitgenommen werden. Der nächste Ausdruck in runden Klammern wäre \2, usw. Auch die runden Klammern müssen durch Backslash escaped werden. Genau so übrigens der Punkt, damit auch wirklich der wörtliche Punkt und nicht "ein beliebiges Zeichen" gemeint ist.
In der csv-Datei haben alle Zahlen zwei Nachkommastellen. Die passende Regex schaut so aus:
Ein weiteres Merkmal ist das Prozentzeichen hintendran, das ich bei der Gelegenheit auch gleich loswerden möchte. Ich nehme es zum Suchbegriff dazu, allerdings außerhalb der runden Klammern, damit es nicht mitgenommen wird.

s/  \([0-9]\{1,3\}\)  \.  \([0-9]\{2\}\) %  /  \1,\2  /g
                     Punkt             Prozent   
    Regex 1                Regex 2        Referenz 1 
                                               Referenz 2
                                             Beistrich

Zusammenfassung:
Regex 1 = 1 bis 3-stellige Zahl
\. = ein (wörtlicher) Punkt
Regex 2 = 2-stellige Zahl (Nachkommastellen)
% = ein Prozentzeichen (wird wegfallen)
\1 = Referenz auf die erste Regex
, = der Beistrich (ersetzt den Punkt)
\2 = Referenz auf die zweite Regex

Sinnvollerweise wird das sed-Kommando in einer Pipe verwendet, z.B.
Das ersetzt die unerwünschten Punkte durch Beistrich, entfernt die Prozentzeichen und speichert das Ergebnis in einer neuen Datei.

Das Ergebnis (vgl. Beispielzeile oben):

389        0,79      1.25 Mb   0,21  /gimp1.2/zuschneiden.html