Mesmo que você interaja com usuários que não fazem parte de sua lista de contatos uma relação padrão do Office 365 será criada entre vocês. Esses usuários são considerados "não listados" e podem ser visualizados em Relações > Demais contatos não listados.

Para remover os contatos não listados dessa lista, clique com botão direito do mouse sobre ele > Alterar Relação de Privacidade > Atribuir Relação Automaticamente.