Kommandozeilen verstehen und effizient nutzen

COSIN 2006
8. Juli 2006

Axel Beckert
<abe@noone.org>
http://noone.org/abe/

ÜBERSICHT

Die Shell

Was ist eine Shell?
Eine kleine Auswahl an gängigen Shells
Typische Funktionen heutiger Shells
Shell-Syntax: Eine kurze Übersicht
Warum braucht man Quoting und wie funktioniert es?
History Expansion und Completion
Tastenkürzel rund um die History
Directory Stack
Unbekanntere Wildcards und Ähnliches
Job Control
Nützliche Shell Builtins

Nützliche Tools für die Kommandozeile

Weitere Ressourcen

Bücher
Links

Was ist eine Shell?

»Shell« (engl. für Muschelschale, Gehäuse) ist der umgangssprachliche Begriff für einen Kommandozeileninterpreter (engl. command line interpreter — CLI), kann aber auch andere Progamme zum interaktiven Aufrufen von Befehlen meinen, z.B. den Windows Explorer, Konqueror, Nautilus, den Norton Commander oder den Midnight Commander.

Kommandozeilen-basierte Shells lesen eine (oder mehrere) Zeilen Text ein, interpretieren diese als Kommando und führen es aus. Im folgenden wird der Begriff Shell mit einem Kommandozeileninterpreter gleichgesetzt.

Auf Unix-Systemen hat jeder Benutzer seine sog. Login-Shell, die Shell, die automatisch aufgerufen wird, wenn sich der User einloggt — egal ob lokal an der Console oder von einem anderen Rechner per SSH. Die Login-Shell kann meist mit dem Befehl chsh geändert werden.

Unter MS-DOS befindet sich der Benutzer nach dem Booten direkt in einer Shell. Unter Windows bekommt man eine Shell meist über das Anwählen des Punktes im Startmenü Eingabeaufforderung.

Eine kleine Übersicht über gängige Shells

Unix

sh (Bourne Shell): UNIX V7, 1977/78
csh (C-Shell): 2BSD, 1979
ksh (Korn-Shell): UNIX System V; ksh88 ist Grundlage des POSIX-Standards.
pdksh (Public Domain Korn-Shell): Freier, aber nicht vollständiger Rewrite der ksh; Standard-Shell unter OpenBSD.
bash (GNU Bourne Again Shell): Ende der 80er entwickelt, steht unter der GPL, Standard-Shell unter vielen Linux-Distributionen und cygwin.
tcsh (TENEX-C-Shell): Standard-Shell auf vielen aktuellen BSD-Systemen, Autor ist NetBSD-Entwickler.
zsh (Z-Shell): 1989, Vereint viele Features von bash, tcsh und ksh. Lange Zeit Standardshell auf Macs.
ash (Almquist Shell): Kompakte und schnelle Neuentwicklung der Bourne Shell; wird oft auf Embedded Systemen oder z.B. während der Installation verschiedener Linux-Distributionen eingesetzt.

DOS / Windows

command.com: MS-DOS
cmd.exe: Windows NT, 2000, XP, 2003
4DOS: Ersatz für command.com mit vielen Feat., u.a. Tab Completion

Typische Funktionen heutiger Shells

Navigieren im Verzeichnisbaum
Umleitung der Ein- und Ausgabe von Programmen
Expansion von Wildcards (Ausnahmen: command.com, cmd.exe, 4DOS, etc.)
Job Control (Ausnahmen: ash, sh, command.com, cmd.exe, 4DOS, etc.)
Konfiguration durch globale und benutzer-eigene Konfigurationsdateien, z.B. .bashrc, .cshrc, .tcshrc, .zshrc
History, "durchscrollbar" mit Cursortasten (Ausnahmen: sh, csh, command.com ohne doskey)
File-Completion mit der Tabulator-Taste (Ausnahmen: sh, csh, command.com, cmd.exe mit Defaulteinstellungen bis Windows XP)

Shell-Syntax: Eine kurze Übersicht (1)

Befehle kombinieren

Direkt hintereinander ausführen: mkdir dir; mv foo dir; cd dir
Befehl2 ausführen, wenn Befehl1 erfolgr.: mv foo bar && head bar
Befehl2 ausführen, wenn Befehl1 nicht erfolgreich:
grep foo bar || echo bar in foo nicht gefunden

Ein- und Ausgabe umleiten

Ausgabe (STDOUT) in Datei umleiten: grep foo bar > bars-in-foo
Ausgabe (STDOUT) an Datei anhängen: grep foo2 bar >> bars-in-foo
Ausgabe in weiteren Befehl umleiten: tail -f foo | grep bar
Eingabe aus Datei lesen: ftp < ftp-kommandos.txt
Alternativ auch: cat ftp-kommandos.txt | ftp

Ausgabe als Argumente verwenden

mpg123 `find . -name '*.mp3'` (nicht schachtelbar)
mpg123 $(find . -name '*.mp3') (nicht csh, tcsh)
find . -name '*.mp3' | xargs mpg123 -Z
find . -name '*.mp3' -print0 | xargs -0 mpg123
(auch mit Leerzeichen in Dateinamen)

Shell-Syntax: Eine kurze Übersicht (2)

Schleifen in bash, zsh und ksh

     > while true; do echo -n .; sleep 1; done;
     > until false; do echo -n .; sleep 1; done;
     > for i in 1 2 3; do echo $i; sleep 1; done
     > for (( i=1 ; i < 4 ; i++ )) ; do echo $i ; done (nicht ksh)

Schleifen in tcsh, csh

Die Schlüsselkommandos while (...), for (...), foreach (...) und end müssen jeweils in einer eigene Zeile stehen. In der History wird jeweils nur die erste Zeile des Kommandos gespeichert. Die mehrfache Verwendung einer (t)csh-Schleife auf der Kommandozeile ist daher nicht möglich.


     > while (1)
     while? echo -n .; sleep 1;
     while? end


     > foreach i (1 2 3)
     foreach? echo $i; sleep 1;
     foreach? end

Warum braucht man Quoting und wie funktioniert es?

Bestimmte Tasten bzw. Zeichen haben am Terminal, auf der Kommandozeile oder für Anwendungen besondere Bedeutungen, werden manchmal aber auch ohne diese Sonderbedeutung gebraucht. Sie müssen dann "escaped" oder "gequotet" werden.

Die drei Ebenen des Quotens

Terminal
Shell
Anwendung

Nehmen wir z.B. eine Datei, deren Name aus einem Minus (»-«), einem Pipe-Zeichen (»|«) und einem Ctrl-C (»^C«) besteht und die wir umbenennen wollen: mv -|^C foobar

Parameter, die mit »-« beginnen, sieht mv als Optionen.
Quoting mit vorangestelltem »./«: mv ./-|^C foobar
Das Pipe-Zeichen »|« ist ein Sonderzeichen der Shell für die Umleitung von Ein- und Ausgabe.
Quoting mit vorangestelltem Backslash »\«: mv ./-\|^C foobar
Ctrl-C wird vom Terminal abgefangen und sendet statt dem Zeichen selbst einen Interrupt an das laufende Programm, in diesem Fall die Shell.
Quoting mit vorangestelltem Ctrl-V: mv ./-\|^V^C foobar

Terminal-Quoting

Meist Ctrl-V, auch in den meisten Shells und Telnet
In Emacs und ähnlichen Editoren: Ctrl-Q
Oft unnötig im Insert-Modus des vi

Shell-Quoting

Backslash »\« quotet das nächste Zeichen, z.B. »\\«, »\|«, »\*«
Zwischen zwei Single Quotes »'...'« wird alles außer Single Quotes gequotet, auch Backslashes. (»'\''« funktioniert nicht)
Zwischen zwei Double Quotes (auch Gänsefüßchen genannt) »"..."« wird alles außer Double Quotes, Backslashes, Dollarzeichen und Backquotes (»`«) gequotet.

Anwendungs-Quoting

»./« vor »-«: mv -v ./-bla foobar oder scp ./foo:bar www:.
Backslash, z.B. zum Matchen von Klammern in regulären Ausdrücken: »$bla$«
»--« als letzte Option, danach kommen nur Nicht-Optionen als Parameter, egal, wie sie beginnen. (Viele div. Anwendungen, z.B. GNU File Utililities, grep, etc.)
Viele weitere anwendungspezifische, z.B. »\Q« nd »\E« in Perl, ~~ in der ssh.
Manchmal einfach nicht möglich → schlecht programmiert.

Auswertungsreihenfolge am Beispiel der Bourne Shell

Syntax des Kommandos analysieren (Parsen): Aufsplitten in Parameter, Quoting, Umleitung von Ein- und Ausgabe, Erkennen (aber nicht Auswerten) von Variablen
Ersetzen von Variablen durch ihre Inhalte und Backquoting (»`...`«, neuere Shells auch »$(...)«) durch den entsprechenden Output
Nochmals Aufsplitten an Leerzeichen, Zeilenumbrüchen, Tabs, etc.
Globbing (Auswerten von Wildcards)
Quoting (beim Parsen erkannte Single Quotes, Double Quotes und Backslashes) entfernen.

History Expansion und Completion

Übliche, aber oft ineffiziente Nutzung der History

Im Terminal hochscrollen und dann Cut & Paste (meist mit der Maus)
"Durchscrollen" per Cursortasten
»history | grep foobar« und dann Cut & Paste (meist mit der Maus)

History Expansion: Die richtige Zeile

  !!        Letzte Kommandozeile
  !3        Dritte Kommandozeile
  !-2       Vorletzte Kommandozeile
  !foobar   Letzte Kommandozeile, die mit »foobar« begann
  !#        Alles, was bisher in dieser Zeile getippt wurde.
  !?foobar  Letzte Kommandozeile, die »foobar« beinhaltete

History Expansion: Der richtige Parameter

  :*    Alle Parameter, z.B. !!:*
  :^    Erster Parameter, z.B. !less:^
  :$    Letzter Parameter, z.B. !3:$
  :2    Zweiter Parameter, z.B. !-2:2
  :2-4  Zweiter bis vierter Parameter, z.B. !#:-2

History Expansion: Modifizieren

  :h  (head) entfernt letzte Pfadkomponente, z.B. /foo/bar → /foo
  :t  (tail) entfernt Pfad von einer Datei, z.B. /foo/bar → bar
  :r  (root) entfernt letzte Dateiendung, z.B. foo.x.y → :r:r → foo
  :e  (extenstion) Dateiendung, z.B. foo.bar → .bar
  :u  Großbuchstaben (nur tcsh und zsh): tcsh erster, zsh alle
  :l  Kleinbuchstaben (nur tcsh und zsh): tcsh erster, zsh alle
  :p  Ergebnis nur ausgeben, nicht ausführen
  :q  Ergebnis quoten, keine weiteren Ersetzungen
  :x  Ergebnis quoten, keine weiteren Ersetzungen, Parameter an Blanks
      aufsplitten

  :s/a/b/     »a« einmal durch »b« ersetzen
  :gs/a/b/    Alle »a« durch »b« ersetzen
  :as/xx/x/   Im ersten Wort solange wie möglich »xx« durch »x« ersetzen
              (nur tcsh und csh, Gefahr von Endlosschleifen!)
  :ags/xx/x/  Solange wie möglich »xx« durch »x« ersetzen (tcsh, csh)

History Expansion: Kurzformen

  !^, !$, !:2, !*  Erster, letzter, zweiter bzw. alle Parameter des
                   letzten Befehls. Entspricht !!:^, !!:$, !!:2, !!:*
  ^a^b             Ersetze einmal »a« durch »b« im letzten Befehl.
                   Entspricht !!:s/a/b

History Expansion: Beispiele

Ohne History Expansion

> tar cvf foobar-1.2.3woody4_i386.tar foobar > gzip -9v foobar-1.2.3woody4_i386.tar > mv foobar-1.2.3woody4_i386.tar.gz foobar-1.2.3woody4_i386.tgz > mkdir backup > mv foobar-1.2.3woody4_i386.tgz backup > mv backup Backup > cd Backup

Mit History Expansion

> tar cvf foobar-1.2.3woody4_i386.tar foobar > gzip -9v !:2 > mv !$.gz !$:r.tgz > mkdir backup > mv !mv:$ !$ > mv !$ !$:s/b/B > cd !$

Sonstige History-Tricks

History ignoriert mit Leerzeichen beginnende Zeilen

Zeilen, die mit einem Leerzeichen beginnen, werden nicht in der History gespeichert. (Nur bash und zsh, optional.)

bash> HISTCONTROL=ignorespace zsh> setopt HIST_IGNORE_SPACE > echo foo foo > echo bar bar > !! echo foo foo

Kommandozeile in Editor editieren

Mit fc (für "Fix Command" — "Repariere Kommando") kann man bereits eingegebene Kommandozeilen editieren und erneut ausführen. (Nur bash, zsh und ksh.)

fc: Editiert letztes Kommando in $FCEDIT und führt es aus.
fc -l -10: Listet die letzten 10 Kommandos auf
fc -1 -2: Editiert die letzten beiden Kommandos in $FCEDIT und führt sie anschließend aus.

Hilfreiche Tastenkürzel rund um die History

In der History interaktiv suchen (Think Emacs)

bash, zsh, ksh: Ctrl-R
tcsh: Ctrl-R möglich mit bindkey ^R i-search-back
tcsh, zsh: Nach Text auf Kommandozeile suchen mit Meta-P (rückwärts) und Meta-N (vorwärts), bei FreeBSD per Default auch mit "Cursor hoch" (erreichbar mit bindkey up history-search-backward)

Worte aus der History einfügen

tcsh, zsh: Letztes eingebenes Wort: Control-Meta-Minus (M-^-, funktioniert wie !#$ bei der History Expansion)
tcsh, zsh, bash, ksh: Letztes Wort des letzten Kommandos: Meta-_ (M-_, funktioniert wie !$ bei der History Expansion, bash auch Meta-. bzw. M-.)

Häufiges Hin und Her zwischen Verzeichnissen

(Zurück in) Das letzte Verzeichnis

cd -
cd $owd / echo $owd (tcsh, csh)
cd $OLDPWD / echo $OLDPWD (bash, zsh, ksh, ash)

Der Directory Stack

Funktioniert unter bash, tcsh, zsh und z.T. auch in der cmd.exe.

pushd foobar: Schiebt das aktuelle Verzeichnis auf den Directory Stack und wechselt in das Verzeichnis »foobar«. Analog dazu: pushd -
popd: Entfernt das oberste Verzeichnis vom Directory Stack und wechselt in dieses.
dirs: Listet die Verzeichnisse im Directory Stack auf.
pushd +1: Rotiert die Verzeichnisse im Directory Stack durch Verschieben des obersten, aktuellen Verzeichnis nach ganz unten und wechselt dann in das bisher zweitoberste und jetzt oberste Verzeichnis des Stacks. Analog dazu: pushd +2, pushd -1

Unbekanntere Wildcards und Ähnliches

  > ls
  foo.a   foo.b   foo.b~  foo.c   foo.c~
  > ls foo.[ab]
  foo.a   foo.b
  > ls *[^~]
  foo.a   foo.b  foo.c
  > unset nonomatch
  > touch bar.[fg]
  touch: No match.
  > set nonomatch
  > touch bla.[fg]
  > touch fnord.{f,g}
  > ls
  bla.[fg]   fnord.f   fnord.g   foo.a   foo.b   foo.b~  foo.c   foo.c~

Job Control

Ctrl-Z: Hält den aktuell laufenden Job an und kehrt zur Shell zurück. (Sendet kill -SUSP an den Prozeß.)
abc &: Startet Befehl »abc« und schiebt ihn in den Hintergrund.
fg %2: Holt Job Nr. 2 wieder in den Vordergrund (engl. foreground)
bg %3: Schiebt den angehaltenen Job Nr. 3 in den Hintergrund (engl. background), damit er dort weiterlaufen kann.
jobs: Zeigt im Hintergrund laufende und angehaltene Jobs an.

Welcher Job?

%% und %+: Letzter Job
%-: Vorletzter Job
%2: Zweiter Job
%foo: Letzter Job, der mit »foo« beginnt
%?foo: Letzter Job, der »foo« beinhaltete (nicht ash)

Job Control abgekürzt

fg %, %%, %+, fg (jeweils als Befehl): Kurz für fg %%
%: Kurz für fg %% (Nur bash, tcsh und zsh)
%- (als Befehl): Kurz für fg %-
%2 (als Befehl): Kurz für fg %2
bg: Kurz für bg %%
%foo, %?foo (jeweils als Befehl): Kurz für fg %foo bzw. fg %?foo

Nützliche Shell-Builtins

type programm: Gibt aus, ob ein Befehl ein Builtin, Alias oder Programm ist (nicht tcsh, csh)
which programm: Gibt aus, wo der Befehl als erstes gefunden wird (Programm-Pfad/Builtin/Alias; nicht bash, dort /usr/bin/which).
where programm: Gibt alle Vorkommen des Programmes im Pfad aus bzw. ob es ein Alias oder Builtin ist. (tcsh, zsh; sonst: /usr/bin/whereis)
=ls: Kurz für `which ls` (zsh, abschaltbar, vgl. mutt -f =adam)
pwd -P, pwd -L: Aktuelles Verzeichnis ohne und mit Symlink (nur bash, ksh, zsh)
kill %job: Job mit Bezeichnungen wie bei Job Control killen (nur tcsh, zsh), sonst PID notwendig.

Globale Aliasse der zsh

> alias -g T='| tail' > fgrep bla /var/log/messages T > alias -g ...='../..' > cd ...

Achtung! Bei unvorsichtiger Verwendung gefährlich!

Nützliche Tools für die Kommandozeile (1)

Dateien bearbeiten mit sed

Problem: sed -e 's/foo/bar/' datei > datei endet mit Datenverlust.

Lösung: Option Inline-Edit (bei Perl, ssed oder neuerem GNU sed):

> sed -e 's/foo/bar/' -i datei > perl -pe 's/foo/bar/' -i datei

Ausgabe eines Befehles gleichzeitig mitloggen und ansehen

Problem: Man will einerseits direkt die Ausgabe eines Befehls sehen, aber auch in eine Datei mitloggen.

Lösung: Output durch tee dateiname (Mnemonic: T-Kreuzung) pipen:

z.B. fgrep 127.0.0.1 /var/log/access.log | tee localhost.log
Oder mit STDERR: fgrep 127.0.0.1 /var/log/access.log 2>&1 | tee localhost.log (sh, bash, zsh, ksh, etc.)
bzw. fgrep 127.0.0.1 /var/log/access.log |& tee localhost.log (tcsh, csh).

Nützliche Tools für die Kommandozeile (2)

Mitloggen von In- und Output von Shell-Kommandos

Problem: Man macht umfangreiche Installations- oder Upgrade-Arbeiten in der Shell und will das alles mitprotokollieren.

Lösung: Das Tool script (Paket "bsdutils" bei Debian) startet eine Subshell und protokolliert jeden In- und Output in eine Logdatei. Erzeugtes Protokoll kann mit scriptreplay wieder abgespielt werden.



  
  
Umbenennen vieler Dateien auf einmal

Problem: Da unter Unix die Shell die Wildcards auswertet, geht
mv *.jpg *.jpeg im Gegensatz zu DOS nicht.

Lösung: Multiple Move (mmv) oder "rename" (Debian: Paket
"perl").

     > mmv '*.jpg' '#1.jpeg'
     > mmv '*---*' '#1 - #2'

   Debian:
     > rename 's/jpg$/jpeg/' *.jpg
     > rename 's/_/ /g' *.mp3
   SuSE:
     > rename jpg jpeg *.jpg


  
  
  Nützliche Tools für die Kommandozeile (3.1): screen
  
    "Window-Manager" für Text-Modus
    mehrere Shells in einem Textfenster, Vollbild oder geteilt
    Rechner wechseln ohne Programme beenden zu müssen.
    Interaktive Text-Modus-Programme (z.B. MP3-Player, IRC, ICQ,
	gdb) oder Compile-Jobs laufen lassen ohne permanent
	eingeloggt zu sein.
    Von mehreren Shells aus gleichzeitig auf die gleichen
	Text-Anwendungen zugreifen (nur bei selbem Benutzer).
    Copy & Paste sowie Zurückscrollen im Textmodus
  

  
  
  Aufruf
  
    Screen Starten: screen
    Laufende und detached Screens auflisten: screen
	-ls
    Wieder verbinden: screen -r
    Wieder verbinden und andere Verbindung ausloggen: screen
	-r -d
    Verbinden oder Starten, falls kein screen detached ist:
	screen -R
    
Remote Power Detach: screen -R -D
    Zusätzlich mit bestehender Session verbinden: screen
	-x
  

  
  
  Nützliche Tools für die Kommandozeile (3.2): screen
  Tastaturkommandos
  
    Ctrl-A a: Ein "Ctrl-A" eingeben (z.B. zum
	Zeilenanfang gehen)
    Ctrl-A ?: Hilfe / Anzeige der
	Tastaturkommandos
    Ctrl-A C / Ctrl-A Ctrl-C: Neues
	Fenster mit Shell
    Ctrl-A Ctrl-A: Zurück zu letztem Fenster
    Ctrl-A Space     /
	Ctrl-A n / Ctrl-A Ctrl-N: Nächstes
	Fenster
    Ctrl-A Backspace / Ctrl-A p /
	Ctrl-A Ctrl-P: Vorheriges Fenster
    Ctrl-A 0 / Ctrl-A 1 / etc.: Gehe zu Fenster
	0, 1, etc.
    Ctrl-A d / Ctrl-A Ctrl-D: Detach
	screen
    Ctrl-A x / Ctrl-A Ctrl-X: Lock
	screen
    Ctrl-A t / Ctrl-A Ctrl-T: Uhrzeit
	und Load anzeigen
    Ctrl-A Shift-A: Fenstertitel setzen
    Ctrl-A w: Fensterliste anzeigen
    Ctrl-A ": Auswahlliste aller Fenster mitsamt
	Titel anzeigen
    Ctrl-A Shift-S: Fenster aufteilen
    Ctrl-A Tab: Zwischen aufgeteilten Fenstern
	wechseln
    Ctrl-A Shift-Q: Aktuelles Fenster als einziges
	anzeigen
    Ctrl-A [ / Ctrl-A Ctrl-[: Copy &
	Paste starten. Anfang und Endpunkt jeweils mit
	Enter markieren, Navigation mit Cursortasten,
	Block mit c und C)
    Ctrl-A ] / Ctrl-A Ctrl-]: Paste
    Ctrl-A h: Screenshot ("Hardcopy")
  

    
  
  Nützliche Tools für die Kommandozeile (4)
  Sonstiges

    mrename, convmv und Paket renameutils:
	deurlname, imv, qmv
    buthead, since/logtail,
	multitail
    loco/ccze, colordiff,
        colormake, colorgcc
    cut -c-80 (textutils), gpm
    less -S, less -N, less
	+G, less +F, less +/xyz
  

    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
  
Links

    Wikipedia-Artikel "Unix-Shell": http://de.wikipedia.org/wiki/Unix-Shell
  
"A Guide to Unix Shell Quoting" von Uwe Waldmann: http://www.mpi-sb.mpg.de/~uwe/lehre/unixffb/quoting-guide.html
  
"Using csh and tcsh" (Paul DuBois, 1995, O'Reilly and
      Associates, ISBN 1-56592-132-1, http://www.oreilly.de/catalog/tcsh/): http://mirrors.tcsh.org/tcsh-book/ (Archiv zum Buch)
  
tcsh: http://www.tcsh.org/
  
GNU bash: http://www.gnu.org/software/bash/
  
zsh: http://www.zsh.org/
  
grml.org zsh-Ressourcen: http://grml.org/zsh/
  
Dieser Vortrag: http://noone.org/shell-efficiency/


  
  
Danke

  David Frey für Anregungen und Ideen.
  Den entsprechenden Entwicklern für bash, tcsh, zsh und
	screen.
  Lou Montulli, Michael Grobe und Charles Rezac für
      Lynx
  dem Debian-Projekt für
      Debian GNU/Linux


  

Letzte Änderung an den Quellen: 2006-07-08 18:57:47

Letzte Generierung: 2006-07-08 18:59:19

Generiert von abe@bijou
mit WML 2.0.8 (30-Oct-2001)

$Id: shell-efficiency-froscon2006.wml 85 2006-06-25 19:08:14Z abe $