O se d’O Cortiço é conjunção
Esta construção frásica d’O Cortiço não é de uso corrente. Eu nunca a tinha encontrado, e procurando neste Corpus do Português e no Google Books não encontro outra igual. Para mim a frase só tem sentido se interpretarmos se como conjunção e nem se forma uma locução conjuntiva comparativa; no fundo houve aqui a elisão de algo como como não estaria:
(a) “resolveu Jerónimo, impaciente, [como não estaria] nem se temesse que a noite lhe fugisse de súbito.”
Podemos ainda parafraseá-la em:
(b) resolveu Jerónimo, impaciente; nem se temesse que a noite lhe fugisse de súbito, ele estaria tão impaciente
(c) resolveu Jerónimo, mais impaciente do que (estaria) se temesse que a noite lhe fugisse de súbito
Esta é também a interpretação que encontrei em Notas de Português de Filinto e Odorico, 1955, de Martins de Aguiar, que identifica como equivalentes as locuções nem se, nem que e nem que se (segundo excerto para completar; grafia original e negrito meu em todas as citações):
[…] grunhia D. Cochino [um porco] pela estrada, de tal modo, como não grunhiria nem que cem magarefes [açougueiros] o acossassem. Também se emprega nem se e o cruzamento das duas expressões, nem que se:
“Em todo o caso vamos seguindo, resolveu Jeronymo, impaciente, nem se temesse que a noite lhe fugisse de subito.” (Aloísio de Azevedo, “O Cortiço”, pág. 243.)
O primeiro exemplo da Notas de Português (“como não grunhiria nem que cem magarefes o acossassem…”) tem a mesma estrutura que (a) acima (como não estaria nem se temesse…), com nem que em vez de nem se, e é uma paráfrase de Fábulas de J. La Fontaine, 1815, traduzidas por Francisco Manoel do Nascimento; o original tem a mesma estrutura que a frase d’O Cortiço
Grunhia Dom Cochino, pela estrada,
Nem que cem magarefes o acossassem:
Os outros ses não funcionam neste contexto
Se é de facto também partícula apassivadora na voz passiva sintética (e pronome indeterminador do sujeito numa construção aparentada; vê estas pergunta) e pronome reflexo, como nos teus exemplos do Joaquim. Mas nenhum desses ses faz sentido no trecho d’O Cortiço. Se fosse partícula apassivadora, a frase seria equivalente a:
(d) nem fosse temido que a noite lhe fugisse de súbito
Seria estranho usar a passiva, quando a questão é se o Jerónimo teme ou não. Mas a dificuldade maior nesta frase é que precisaríamos de qualquer coisa para ligar nem a fosse (ou a se temesse na frase original); teria de ser nem se fosse ou nem que fosse (nem que se temesse ou nem se se temesse na frase original). O se apassivador seria possível, mas noutro contexto:
Recomendaram que não se confiasse que a noite esperasse por eles, nem se temesse que a noite lhes fugisse de súbito.
O pronome reflexo é impossível. Neste caso, se seria o objeto direto de temer—Jerónimo teme-se a si mesmo. Mas o objeto direto de temer é a oração substantiva que a noite lhe fugisse de súbito. Há ainda o se inerente da conjugação pronominal, que pode à primeira vista confundir-se com a conjugação reflexa (ao contrario da conjugação reflexa, na pronominal a ação não incide sobre o sujeito; e.g. ele riu-se). Temer admite conjugação pronominal. O dicionário Houaiss (Lisboa, 2003) dá o exemplo “o heroico soldado que da morte não se teme”. Seria possível dizer:
Receou-se que Jerónimo se temesse (de) que a noite lhe fugisse.
A preposição de é frequentemente omitida nestes casos. Mas há também nesta interpretação o problema de ligar na frase original o nem ao se temesse, se o este se fosse inerente ao verbo e não a conjunção se.