ssh-agent не запоминает пароль

ssh me@server
eval $(ssh-agent);
set | grep SSH_A
 SSH_AGENT_PID=19216
 SSH_AUTH_SOCK=/tmp/ssh-CYiyq19215/agent.19215
ssh-add
 Enter passphrase for /home/me/.ssh/id_rsa: 
 Identity added: /home/me/.ssh/id_rsa (/home/me/.ssh/id_rsa)
ssh-add -l
 2048 8f:bf:61:e5:f2:bc:bc:c2:57:9e:03:8e:d1:b3:28:93 /home/me/.ssh/id_rsa (RSA)
ssh x@other server
 Enter passphrase for key '/home/me/.ssh/id_rsa': 

Я бы ожидал, что пароль для моего id_rsa файл был сохранен, поэтому мне не нужно будет повторно вводить его снова.

Он отлично работает для другого пользователя на этом сервере, но я не вижу, что отличается. Любая подсказка?