Os principais motivos são estes:
1) Listas de contatos antigas
2) Listas compradas ou "baixadas" da Internet
3) Listas físicas
Ter muitos bounces (endereços inválidos ou abandonados) prejudica a sua reputação de envio e pode bloquear a sua conta!
Veja aqui tudo o que influencia a sua reputação