Alterando a porta padrão você evita que as pessoas tentem ficar acessando seu servidor.
Localize e abra o arquivo de configuração
vi /etc/ssh/sshd_conf
Procure a linha
#Port 22
Descomente a linha e altere para a porta desejada.
Port 2222
Você também poderá configurar mais de uma porta de acesso,
acrescentando outra linha com a porta desejada, conforme abaixo.
Port 2222
Port 3333
Reinicie os serviço
service sshd restart
Sua nova porta de acesso SSH está configurada.