No, dar la dirección de la billetera no te pondrá en riesgo, las direcciones de billetera ya son públicas,
Pero si te piden que te conectes a tu dirección de billetera o dicen aprobar esto/aquello, no lo hagas.