Acesse o arquivo e desabilite a permissão de login por senha conforme abaixo:
vim /etc/ssh/sshd_config
PasswordAuthentication no
Remova o comentário conforme abaixo:
PubkeyAuthentication yes
Reinicie o serviço conforme abaixo:
systemctl restart sshd
Caso seja necessário o acesso sem chave deve ser realizado por console com o root.