Restringindo o acesso via SSH

Uso muito o SSH em casa para acessar os computadores da minha pequena rede doméstica, seja via o próprio cliente orientado a caractere ssh, seja via protocolo fish:// do KDE. Mas tenho reparado que sempre tem um engraçadinho fazendo ataque de força bruta para invadir meu computador. Vejam um pequeno exemplo retirado do meu /var/log/auth.log:
...
Jul 1 19:39:56 desktop sshd[1542]: Invalid user pgsql from 202.94.232.229
Jul 1 19:39:57 desktop sshd[1542]: (pam_unix) check pass; user unknown
Jul 1 19:39:57 desktop sshd[1542]: (pam_unix) authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=202.94.232.229
Jul 1 19:39:59 desktop sshd[1542]: Failed password for invalid user pgsql from 202.94.232.229 port 41527 ssh2
Jul 1 19:40:30 desktop sshd[1553]: Invalid user john from 202.94.232.229
Jul 1 19:40:30 desktop sshd[1553]: (pam_unix) check pass; user unknown
Jul 1 19:40:30 desktop sshd[1553]: (pam_unix) authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=202.94.232.229
Jul 1 19:40:32 desktop sshd[1553]: Failed password for invalid user john from 202.94.232.229 port 42842 ssh2
...

Para minimizar a possibilidade de sucesso dos desocupados configurei o sshd para só aceitar conexões provenientes da minha própria rede, incluindo a linha abaixo no meu /etc/ssh/sshd_config:
AllowUsers *@10.2.17.*

Aviso as críticos: não, minha rede não é 10.2.17.0. Usei apenas como exemplo.