comment éviter qu'on me demande "Entrez la phrase secrète pour la clé" lorsque je fais une opération ssh sur un hôte distant?

Je suis ssh dans un hôte distant (linux, fedora) et je veux faire une opération ssh (git avec bitbucket) là-bas. Il y a un agent ssh en cours d'exécution sur cette machine,

$ ps -e|grep sh-agent
 2203 ?        00:00:00 ssh-agent

Mais quand je veux git, cela m'oblige à entrer la phrase secrète

$ git pull
Enter passphrase for key '/user/wgong/home/.ssh/id_rsa': 

Remarque: si j'opère sur cette machine localement, il ne me demandera pas d'entrer la phrase secrète