SSHでパスワード認証を禁止するには

vi /etc/ssh/sshd_config

#PasswordAuthentication yes
　　　　　　　↓
PasswordAuthentication no

SSHの再起動を忘れずに！

/etc/init.d/sshd restart