Encontrei a explicação no Ciberdúvidas. No português medieval as palavras eram avoo e avoa, e o plural masculino era avoos. Não se usavam acentos nesses tempos, mas presumivelmente a pronúncia era ou evoluiu para avôo e avóa, donde resultaram avô e avó. Ao contrário do singular, o plural masculino terá mantido a pronúncia aberta do o, avóos. Isto é relativamente comum no português. Pensem em miolo, (miôlo, miólos), tijolo (tijôlo, tijólos) ovo (ôvo, óvos), etc. Portanto os plurais eram pronunciados distintamente, avóos e avóas, mas convergiram para avós com o encurtamento das palavras. Segundo o artigo, a palavra avôs apareceu mais tarde para designar apenas homens (o avô paterno e o materno), mantendo-se avós para casais e antepassados em geral.
Segundo o Ciberdúvidas e outras fontes, a origem de avô e avó é o latim avus e avia, por via dos diminutivos, não atestados, mas que se supõe terem existido, aviolo e aviola, donde terá também surgido o espanhol abuelo e abuela (note-se que não havia acentos na escrita medieval):
Aviolo > avolo > avoo > avo > avô,
Aviola > avola > avoa > avo > avó.
Fui em busca das origens, mas só consegui chegar a avoo e avoa. A forma feminina é rara. Consegui encontrar apenas duas ocorrências, no Corpus Informatizado do Português Medieval (registo necessário):
Onde, a que matou padre ou madre ou avoo ou avoa ou irmaão ou irmaã ou ainda tio ou tia, irmaãos de padre ou de madre, se homiçidio foy voluntario, deve fazer dez annos de penitençia, en esta maneira: deve estar huum anno aas horas, ante a porta da eigreja, e deve perseverar en oraçom. O segundo… (Penitencial de Martim Perez, séc. XV.)
Este meny~' en Castela con Rei Don Alffonsso era,
seu avoo, que do reino de Galiza o fezera
vi~ir e que o amava a gran maravil[l]a fera.
E ar era y sa madre, a que muit' ende prazia,
Ben per está aos reis d'amaren Santa Maria
E sa avoa y era, filla del Rei d' Ingraterra,
moller del Rei Don Alffonsso,
(Cantigas de Santa Maria, séc. XIII.)
Curiosamente, nos séculos XIV, XV e XVI, o feminino passa a ser grafado também avoo:
E, dhy a dous ãnos, que estes dous iffantes morrerõ, morreo a rainha dona Maria, avoo del rey. (Pedro Afonso, Crónica Geral de Espanha, 1344.)
Encontrei uma meia dúzia de avoo significando avó e umas dezenas significando avô. No século XV aparece também avo quer para avô quer para avó, e aparece também avos. Imagino que as pronúncias fossem já muito próximas das atuais, e como ainda não se fazia uso sistemático de acentos, os escritores usavam a mesma grafia para ambas as palavras.