Comment configurer SSH pour qu'il n'essaie pas tous les fichiers d'identité automatiquement ?

J'ai mis mes fichiers d'identité ssh dans mon dossier ~/.ssh/. J'ai probablement environ 30 fichiers là-dedans.

Lorsque je me connecte à des serveurs, je vais spécifier le fichier d'identité à utiliser avec quelque chose comme

ssh -i ~/.ssh/client1-identity client1@10.1.1.10

Cependant, si je ne spécifie pas de fichier d'identité, et que j'utilise simplement quelque chose comme ceci:

ssh user123@example.com

J'obtiens l'erreur

Too many authentication failures for user123

Je comprends que c'est parce que si aucun fichier d'identité n'est spécifié et que ssh peut trouver des fichiers d'identité, il essaiera tous.

Je comprends également que je peux éditer le fichier ~/.ssh/config et spécifier quelque chose comme:

Host example.com
PreferredAuthentications keyboard-interactive,password

Afin d'empêcher cette connexion d'essayer les fichiers d'identité connus.

Donc, je suppose que je pourrais déplacer mes fichiers d'identité en dehors du répertoire ~/.ssh/, ou je pourrais spécifier chaque hôte pour lequel je souhaite désactiver l'authentification du fichier d'identité dans le fichier de configuration, mais existe-t-il un moyen de dire à SSH par défaut de ne pas rechercher de fichiers d'identité? Ou pour spécifier ceux qu'il recherchera pour?