Pesquisei no Google e a maioria das ocorrências (as primeiras 100 páginas) do termo "mensageria" são claramente no âmbito tecnológico. Quer isto dizer que é um termo técnico transversal aos sistemas distribuidos que refere especificamente message passing (usando como língua de referência o inglês).
No português europeu o substantivo "mensageria" não é usado, pode dizer-se "trocas de mensagens" (veja por exemplo as palavras chave nesta tese de mestrado "Uma linguagem de protocolos para descrever sistemas distribuídos tolerantes a falhas", Universidade de Lisboa, 2014) e pode comparar com esta tese de doutoramento do Brasil "UMA ARQUITETURA DE SOFTWARE PARA SISTEMAS ESPAÇO-TEMPORAIS BASEADOS NA WEB...", São Paulo, 2007.)
Vale a pena notar que em tradução directa do inglês "message passing" é mais próximo usar a expressão "trocas de mensagens" (entre sistemas) do que usar o substantivo "messageria". Note-se que o substantivo só com uma palavra aproxima-se bastante de "messaging" sendo este último também frequentemente usado com os sentidos de "texting" ou "instant messaging", ou seja "bater um papo" (por meio electrónico) ou "trocar mensages" (com os amigos)... Fico com a nítida sensação que o termo "message passing" também é preferido em inglês podendo "messaging" ser usado no mesmo contexto mas geralmente só depois de ter sido usado o termo com duas palavras.
É correto usar o termo mensageria para envio de mensagens dentro de um mesmo sistema?
A pergunta parece procurar definir com rigor o uso de "messaging" em função da arquitectura do sistema. O problema é que o termo "trocas de mensages" (ou "mensageria") refere um conceito de comunicação no sentido mais abstracto e geral, pode ser no interior de um sistema ou entre sistemas conforme definirmos sistema.
Um exemplo clássico seriam as filas de mensagens (message queue) entre threads POSIX, encontrei este exemplo na documentação da linguagem Rust que é intitulado precisamente Using Message Passing to Transfer Data Between Threads (traduzido: "Usando trocas de mensagens para transferência de dados entre threads"). Acho que este último artigo serve de exemplo paradigmático em como a "mensageria" pode ocorrer dentro de um mesmo sistema.