Deve-se fazer a concordância do genero conforme o gênero da pessoa que está se dirigindo:
As expressões “Vossa Senhoria”, “Vossa Excelência” e “Vossa Majestade”
são todas elas femininas, por causa do núcleo feminino “Senhoria”,
“Excelência” e “Majestade”.
No entanto, em conversa com um juiz, não se diz “Vossa Excelência foi
rigorosa”.Em tal circunstância, não se faz a concordância com a
palavra, mas sim com a imagem de homem do interlocutor:
Vossa Excelência, Senhor Juiz, foi muito rigoroso na observância da
lei.
Fonte: jurisway
A mesma recomendação é encontrada aqui:
Concordância de gênero: faz-se a concordância com o sexo das pessoas a
que se referem. Ex: Vossa Senhoria está sendo convidado a assistir a
nova palestra no senado. Vossa Excelência será informada das demais
alterações.
Fonte: Tudo Estudo