Primeiro, não há distinção fonológica entre vogal nasal fechada e vogal nasal aberta, logo a princípio não importaria se fosse "alguém" ou "alguêm". (Eu, pelo menos, pronuncio como [ẽ̞ɪ̯̃], um ditongo que inicia com um elemento intermediário entre aberto e fechado; a nasalização porém dá a aparência de que a vogal é fechada.)

Por que então escrever "amêndoa" e não "améndoa", mesmo que a vogal nasal (e não nasalizada!) tenha a mesma pronúncia que em "alguém"? Para tal decidi pesquisar nas reformas ortográficas históricas.

Em Bases da Ortografia Portuguesa (1885) [1], há as partes relevantes:

5.º bis. Todo vocábulo terminado em a ou as, o ou os, e ou es, proferido com acentuação noutra sílaba que não seja a penúltima, tem a acentuação marcada na escrita. São innúmeros os exemplos; [...]

[...]

6.° bis. [...] Ex.: [...] pénsil, pénseis; [...]

[...]

N.B. Pelo princípio 5.º bis devemos escrever e escrevemos: porém, ninguém, também, além, etc.; deveríamos, todavia, usar da ortografia: porẽe, ninguẽe, tambẽe, etc. Deixámos êste ponto para o Congresso.

No Diário do Governo português de 1911-09-12, página 3847 (primeira coluna, sexto parágrafo) [2]:

O ditongo em, quando predominante em polissílabos, receberá o acento circunflexo, com em armazêm, armazêns, porêm [...].

Já no Acordo Ortográfido de 1945 [3]:

XX

Emprego do acento circunflexo nas formas da terceira pessoa do plural têm, vêm, contêm, convêm, etc., gràficamente distintas das terceiras pessoas do singular corresponde — tem, vem, contém, convém, etc. Essas formas terão emprego exclusivo na escrita corrente, preterindo assim as flexões tẽem, vẽem, contẽem, convẽem, etc., que se consideram como dialectais.

Em suma:

• Antes uns propuseram usar "ém" em todos os casos, e outros propuseram usar "êm" em todos os casos.
• O Acordo de 1945 propôs o sistema como é atualmente, no qual "êm" (para a vogal nasal graficamente acentuada) é usado exceto no final das palavras, onde ém o substitui, a fim de que "êm" final seja usado unicamente para os verbos 3ª pl. têm, vêm, etc., que não são mais grafados com e duplo.
• Depois o Acordo de 1990 permitiu variantes académico/acadêmico (aqui as vogais são só no máximo nasalizadas, não fonologicamente nasais, e com efeito a distinção de timbre antes de m e n ocorre em dialetos europeus); não alterou a acentuação do êm/ém no final da palavra ou seguido de consoante.

Obs.: o Acordo de 1990 [4] escreve "Note-se que se as vogais e e o, assim como a, formam sílaba com as consoantes m ou n, o seu timbre é sempre fechado em qualquer pronúncia culta da língua, recebendo, por isso, acento circunflexo", faltando erroneamente a menção ao "ém" final.

[1]. https://purl.pt/437

[2]. https://files.dre.pt/gratuitos/1s/1911/09/21300.pdf.

(Ligações encontradas em https://pt.wikipedia.org/wiki/Reforma_Ortogr%C3%A1fica_de_1911.)

[3]. https://pt.wikisource.org/wiki/Acordo_Ortogr%C3%A1fico_da_L%C3%ADngua_Portuguesa_(1945)/I

[4]. https://pt.wikisource.org/wiki/Acordo_Ortogr%C3%A1fico_da_L%C3%ADngua_Portuguesa_(1990)