xela's Linux Blog

Dateien mit Leerzeichen im Namen verarbeiten

nospam@example.com (Xela) — Mon, 02 Jan 2012 12:15:31 +0100

Konkretes Beispiel: es soll auf die Schnelle ein Stapel wav Dateien mit ffmpeg in mp3 konvertiert werden, die Dateinamen haben aber leider ein Leerzeichen (Track 1.wav usw.).
Die Lösung: die Umgebungsvariable IFS (Internal Field Separator) umschreiben.
Hinweis: der Ordner "mp3" muss natürlich vorher von Hand angelegt werden.

Folgendes scheitert am Leerzeichen:

for f in *.wav; do ffmpeg -i "$f" "../mp3/${f}.mp3"; done;

Wenn ich vorher aber die IFS Variable auf Zeilenumbruch setze, klappt es:

IFS='
'
for f in *.wav; do ffmpeg -i "$f" "../mp3/${f}.mp3"; done;

Danach sollte IFS wieder auf den ursprünglichen Wert, also Leerzeichen, gesetzt werden:

IFS=' '

Memory Verbrauch addiert nach Prozessname

nospam@example.com (Xela) — Tue, 03 Jan 2012 15:02:05 +0100

Mithilfe folgender Codewurst kann der Memoryverbrauch nach Prozessnamen addiert aufgelistet werden:

ps -e -o comm,rss --no-heading|awk '{arr[$1]+=$2} END {for (i in arr) {printf("%15s ", i); printf("%6s \n", arr[i]);}}'|grep -v ' 0'|sort -nr -k2

Kleine Variante - wenn wir die Hauptverbraucher ohnehin schon kennen, konzentrieren wir uns auf die:

ps -C amavisd-new,clamd,apache2,mysqld -o comm,rss --no-heading|awk '{arr[$1]+=$2} END {for (i in arr) {printf("%15s ", i); printf("%6s \n", arr[i]);}}'|grep -v ' 0'|sort -nr -k2

"Memory Verbrauch addiert nach Prozessname" vollständig lesen

Selektives Greylisting mit Postgrey

nospam@example.com (Xela) — Mon, 21 Nov 2011 15:10:02 +0100

Ein überaus interessanter Thread in der Postgrey Mailingliste: Hostname-based Selective Greylisting
Im Grunde genommen ist es genau das, was ich mir schon länger wünsche:
Nur dynamisch oder sonstwie verdächtig aussehende Clients landen im Greylisting, die Mails echter MXe (die sowieso weitere Zustellversuche machen würden) werden gleich weiter verarbeitet.

Da das Ganze mit regex funktioniert, ist es auch leicht anpassbar.
Der Aufwand zum Umstellen von globalem Greylisting zu selektivem ist angenehm gering: zwei Konfigurationsdateien werden angepasst.

"Selektives Greylisting mit Postgrey" vollständig lesen

Apache DOS Attacken erschweren mit mod_evasive

nospam@example.com (Xela) — Fri, 21 Oct 2011 14:01:11 +0200

Das Problem: Apache auf einem mit wenig Ressourcen ausgestatteten Server (eine VM, Ubuntu lucid) erreicht neuerdings öfter mal das MaxClients Limit.
Nachdem ich die Apache Logfiles durchstöbert habe, stelle ich fest, dass von nur wenigen IP's massiv Anfragen kommen. Der vorgebliche Useragent IE6 ist es mit Sicherheit nicht - so schnell kann sich kein Mensch durchklicken.
Eher ist es ein schleißig programmierter Testbot oder ein Scriptkiddie hat was gebastelt.

In jedem Fall muss gedrosselt werden. Es darf nicht sein, dass eine einzelne IP via Script das normale Ausliefern von Content an echte menschliche Besucher ausbremst.

"Apache DOS Attacken erschweren mit mod_evasive" vollständig lesen

Apache Benchmarks

nospam@example.com (Xela) — Sat, 22 Oct 2011 15:29:51 +0200

Keine Frage, ab ist ein tolles Tool.
Noch toller ist aber siege.
Warum? Ganz einfach: da man eine Liste ganz unterschiedlicher Links mitgeben kann, fällt das Ergebnis realistischer aus.
Ein Seitenaufruf normaler Besucher besteht ja immer aus einem Sammelsurium von unterschiedlichen Requests bestehend aus HTML- und PHP-Inhalt, Stylesheets, Bildern, Javascript Files usw.

ab Beispiel:

ab -n 200 -c 20 http://your-server.com/

siege Bespiel:

siege -c 20 -t 10S -i -f links.txt

Die Datei links.txt enthält eine möglichst realitätsnahe Sammlung von urls eines Hosts. Die werden dann in beliebiger Reihenfolge aufgerufen.

Was auch noch schön ist an siege: die Verbosity.
Jeder einzelne Request wird mit Antwortcode, Dauer und Größe aufgelistet. So sieht man z.B. schön, wann es etwas länger gedauert hat, weil ein weiterer Apache Kindprozess gestartet werden musste.

Für beides gibt es Ubuntu Standardpakete:
ab wird mit Apache mitgeliefert (apache2-utils), siege kommt aus dem gleichnamigen Paket.

Fail2ban als Ergänzung zu mod_evasive

nospam@example.com (Xela) — Sat, 22 Oct 2011 10:42:34 +0200

Wie in einem vorhergehenden Beitrag angekündigt, soll fail2ban mod_evasive ergänzen.
Statt nur Apache "403 Forbidden" Fehler ausliefern zu lassen, soll die IP komplett mit iptables geblockt werden.

Dazu brauchen wir:

einen fail2ban Filter
ein fail2ban jail

"Fail2ban als Ergänzung zu mod_evasive" vollständig lesen

Installation klonen mit autoyast - ein Versuch

nospam@example.com (Xela) — Wed, 03 Aug 2011 15:11:39 +0200

Der Stromsparmodus meines Laptops hat (mal wieder) die Festplatte ruiniert.
Das viel zu häufige Stoppen/Starten hat die Mechanik stark strapaziert, die Festplatte klickt hörbar.
Da die Werte der Load_Cycle_Count (638223!!) schon bei Weitem die Empfehlungen des Festplattenherstellers übersteigen, besorge ich Ersatz. Ich warte gar nicht erst, bis smartd mir das nahe legt (was mit Sicherheit demnächst der Fall wäre).

"Installation klonen mit autoyast - ein Versuch" vollständig lesen

Webspace und Webdav mit zwei Vhosts

nospam@example.com (Xela) — Sat, 25 Jun 2011 13:38:18 +0200

Folgendes soll umgesetzt werden:
in einem Webspace soll zum Einen an PHP Files entwickelt werden, zum Anderen soll das Ergebnis auch als normale Website sichtbar sein.
Der Zugang soll nur authentifiziert möglich sein, allerdings soll weder FTP noch SSH als Zugang verwendet werden.
Warum?

FTP läuft auf dem Server gar nicht erst und würde das übliche "die Datei / der Ordner gehört nicht dem Apache User" Problem mit sich bringen (da keine fcgi Konstruktion).
SSH ist bei Weitem zu privilegiert, dem authentifizierten User soll kein Zugang zum Dateisystem gewährt werden. (und Dateirechte Problem siehe Punkt 1)

Der Lösungsansatz: Zwei VirtualHosts (eigene Subdomain) mit einem gemeinsamen DocumentRoot, einer als normaler Webspace, einer mit Webdav.
Getestet und für gut befunden mit Linux-Server (mit Apache als Webserver) und Linux-Client.

Voraussetzungen:

mod_dav und mod_dav_fs sind geladen (Apache)
mod_auth_digest ist geladen (da Authentifizierung via Digest)
Direktive NameVirtualHost *:80 ist aktiv

"Webspace und Webdav mit zwei Vhosts" vollständig lesen

Munin ip_ Plugin mit Ubuntu's ufw

nospam@example.com (Xela) — Tue, 28 Jun 2011 12:27:33 +0200

Das Munin Monitoring Paket auf Ubuntu LTS (10.04, lucid) bringt unter anderem ein nettes Plugin zum iptables basierten Traffic Monitoring mit: ip_
Nett ist es deshalb, weil es die getrennte Trafficüberwachung pro IP Adresse ermöglicht.
So kann z.B. auch der ipv4 und ipv6 Traffic auf dem selben Interface schön auseinander sortiert werden.

Weniger schön: das Plugin ist mit von Haus aus schon am Server laufenden Firewalls, auch der ufw (Uncomplicated FireWall), nicht kompatibel.

Im folgenden Beispiel wird gezeigt, wie es trotzdem klappt:

Plugin aktivieren (verlinken)
Plugin konfigurieren
ufw before.rules anpassen
Plugin testen
Munin durchstarten

Voraussetzung ist: ufw und Munin laufen bereits einwandfrei und ipv6 ist am System und auch in der Firewall aktiv.
"Munin ip_ Plugin mit Ubuntu's ufw" vollständig lesen

PHP Syntax Highlighting in Redmine für Drupal Modul Dateien

nospam@example.com (Xela) — Mon, 06 Jun 2011 14:06:47 +0200

Zwar muss man dafür an einem .rb file herum hacken...

Gefunden auf: http://www.drupalcenter.de/handbuch/34182

Bei einem Ubuntu LTS Standard Redmine Paket (Version 0.9.3.stable) wäre der Pfad zur Datei:

/usr/share/redmine/vendor/plugins/coderay-0.7.6.227/lib/coderay/helpers/file_type.rb

Ruckzuck ein neues git Repo anlegen

nospam@example.com (Xela) — Thu, 16 Jun 2011 12:48:05 +0200

Kurzer Überblick, bei folgendem Setup:
Auf dem Server gibt's den User "git", der sich via ssh mit Zertifikat verbinden kann. In dessen home liegen alle Repositories.
Der Server sei hier "myserver.com" genannt, der ssh Port sei 12345.

Eingeloggt als root auf dem Server (als User git eingeloggt fällt das "su" weg):

su git
mkdir test.git
cd test.git
git --bare init
exit

Somit ist das leere repo am Server angelegt.

Danach bei mir lokal in einem Ordner, in dem ich schon ein wenig gecodet habe:

git init
git add testfile.txt
git commit -m 'added one testfile'
git remote add origin ssh://git@myserver.com:12345/home/git/test.git
git push origin master

Gesetzt den Fall, dass das Repository zusätzlich zu ssh noch über http(s) zur Verfügung gestellt wird, auf dem Server:

su git
cd test.git/hooks/
mv post-update.sample post-update
git update-server-info
exit

IE8 (beta) auf Linux mit Wine

nospam@example.com (Xela) — Thu, 11 Dec 2008 11:10:57 +0100

Ich hab lange gebastelt. Es ist nicht möglich, den ganzen Internet Explorer 8 auf wine zum Laufen zu bringen, aber die HTML-, CSS- und Javascript-Engine des neuen Microsoft Browser kann man sehr wohl testen.
Genau wie beim IE7 in IEs4Linux - Auch da läuft darunter der IE6.
Der resultierende "Hybridbrowser" ist langsam und instabil, aber hey, für Webdesigner und -Entwickler reicht das wohl.
Meine (momentane) Wine-Version: wine-1.1.10

Ich bin im wesentlichen vorgegangen wie auf http://www.tatanka.com.br/ies4linux/news/28 beschrieben.

Übrigens, nichts von alledem was folgt wird als root ausgeführt, bleibt schön brav (unprivilegierte) Userlein.

"IE8 (beta) auf Linux mit Wine" vollständig lesen