Authentifizierung lokaler Logins gegen SSH-Key

Hallöchen, Meine Idee: Ich möchte meinen Public-Key zur lokalen Authentifizierung nutzen. Dieser ist auf meinen USB Stick "sicher" untergebracht und kann via automounter beim Systemstart geladen werden. Beim Login via GDM, KDM oder an der Konsole soll also das PW nicht gegen die passwd geprüft werden, sondern gegen den Public-Key. Ist dieser korrekt wird die Identität auch gleich dem ssh-agenten hinzugefügt. Hat schonmal jemand obiges Szenario gesehen oder konfiguriert? Sind euch irgendwelche Links oder Howto's bekannt? TIA, sascha