Pesquisei no Google e a maioria das ocorrências (as primeiras 100 páginas) do termo "mensageria" são claramente no âmbito tecnológico. Quer isto dizer que é um termo técnico transversal aos sistemas distribuídos, paralelos ou concorrentes que refere especificamente message passing (usando como língua de referência o inglês).
No português europeu o substantivo "mensageria" não é usado, pode dizer-se "trocas de mensagens" (veja por exemplo as palavras chave nesta tese de mestrado "Uma linguagem de protocolos para descrever sistemas distribuídos tolerantes a falhas", Universidade de Lisboa, 2014) e pode comparar com esta tese de doutoramento do Brasil "UMA ARQUITETURA DE SOFTWARE PARA SISTEMAS ESPAÇO-TEMPORAIS BASEADOS NA WEB...", São Paulo, 2007. que contém o termo "mensageria".)
Vale a pena notar que em tradução directa do inglês "message passing" é mais próximo usar a expressão "trocas de mensagens" (entre sistemas) do que usar o substantivo "messageria". Note-se que o substantivo "mensageria" só com uma palavra aproxima-se bastante de "messaging" sendo este último também frequentemente usado com os sentidos de "texting" ou "instant messaging", ou seja "bater um papo" (por meio electrónico) ou "trocar mensages" (com os amigos)... Fico com a nítida sensação que o termo "message passing" também é preferido em inglês podendo "messaging" ser usado no mesmo contexto mas geralmente só depois de ter sido usado o termo com duas palavras.
Estou em dúvida se o termo "mensageria" pode ser usado em troca de mensagens entre usuários de um único sistema
O termo é usado no Google dessa maneira quando a interação entre os utilizadores é entendida no sentido técnico de uma acção com trocas de mensages entre o sistema, veja a definição de mensageria nesta enciclopédia de finanças. (Não é no simples sentido de utilizador A mandou mensagem ao B por telemóvel/celular ou rede social - penso ser nesse sentido que o uso de "mensageria" deve ser evitado como refere na pergunta, uso na óptica do utilizador e não do sistema.)
É correto usar o termo mensageria para envio de mensagens dentro de um mesmo sistema?
A pergunta parece procurar definir com rigor o uso de "messaging""message passing" em função da arquitectura do sistema. O problema é que o termo "trocas de mensages" (ou "mensageria") refere um conceito de comunicação no sentido mais abstracto e geral, pode ser no interior de um sistema ou entre sistemas conforme definirmos sistema.
Um exemplo clássico seriam as filas de mensagens (message queue) entre threads POSIX, encontrei este exemplo na documentação da linguagem Rust que é intitulado precisamente Using Message Passing to Transfer Data Between Threads (traduzido: "Usando trocas de mensagens para transferência de dados entre threads"). Acho que este último artigo serve de exemplo paradigmático em como a "mensageria" pode ocorrer dentro de um mesmo sistema.