Não, fornecer o endereço da carteira não o colocará em risco, endereços de carteira já são públicos,
Mas se eles pedirem para você se conectar ao seu endereço de carteira ou disserem para aprovar isso/aquilo, não faça isso.