De facto, essa é uma explicação frequentemente avançada. Por exemplo, nesta resposta no Ciberdúvidas de Edite Prada:
O vocábulo pai, que já ocorre no séc. XIII, ainda que pontualmente, tem uma evolução obscura, digamos assim. A versão mais corrente explica a origem da palavra a partir de padre, tendo como origem a generalização de uma pronúncia infantil, em que se verifica a síncope do r: *pade. Seguir-se-ia a síncope do d e a alteração do ponto de articulação da vogal. Teríamos, pois, globalmente, patrem > patre > padre > *pade > pae > pai.
Note-se o evolução obscura. O mesmo diz o Houaiss, referindo-se também a "linguagem infantil":
prov[avelmente] objecto da evolução do lat[im] vulg[ar] patre- > padre > *pade > pai, por infl[uência] da linguagem infantil, que se manifesta ainda nas f[ormas] de redobro papá, em Portugal, e papai, no Brasil; ver pater-; f[ormas] hist[óricas] sXIII pai, sXIII pay, sXV paay, sXV pae, sXV pere.
E por aí adiante; pesquisando pai padre "linguagem infantil"
no Google Books encontram-se muitas outras passagens no mesmo sentido. Não se veem, contudo, argumentos, e, quando há citações, todas elas vão parar às Lições de Philologia Portuguesa de José Leite de Vasconcelos, que não mais diz do que «provavelmente por influencia da lingoagem infantil».
Só consegui encontrar um argumento em Carolina Michaëlis de Vasconcellos (login com conta do Google parece ser precisa):
Na bôca das crianças padre transformou-se (como lembrámos já) em pade pela dificuldade que para elas há na pronúncia do grupo consonântico dr, e mesmo na de r simples, um dos fonemas últimos que, em geral, aprendem a balbuciar. Pade passou depois a pá-e pela queda de d intervocálico — seguramente na bôca de párvulos nas suas primeiras tentativas de falar; e pa-e ditongou-se. Do século XVI em diante a forma paí passou, dos círculos familiais à literatura — ao passo que padre se conservou em linguagem eclesiástica.
Em minha opinião, o argumento é bastante especulativo (note-se o «seguramente» na passagem de Carolina de Casconcellos, a qual, é bem sabido, é código em círculos académicos para «não tenho prova alguma de que isto seja verdade»). No Corpus Informatizado do Português Medieval (registo necessário), temos de facto ocorrências de pai em cantigas de escárnio e maldizer do século XIII, por exemplo:
Nom se vaia de Sevilha
ca será gram maravilha
quant’achar, se o nom filha,
ca assi fez[o] seu pai;
Não há qualquer indicação de uma natureza infantil da palavra, mas claro que (1) a amostra é pequena, que (2) pelo século XIII poderia já não ter esse caráter e que (3) os contextos em que essa natureza fosse evidente não ocorrem facilmente.
Silveira Bueno, em Estudos de Filologia Portuguêsa, apresenta ainda uma derivação distinta:
Formados com a vibrante r: br, cr, dr, fr, gr, pr,
tr: conservam-se, exceto dr que vocaliza o d em i: [...]
patrem = padre = *paire = *paie =
pai; matrem = madre = *maire = *maie = mai =
mãe. Estas duas modificações explicamos pelo provençal e pelo francês, pois, as formas paire, maire são as
mesmas que hoje encontramos escritas père, mère. A
queda da vibrante r intervocálica é rara, mas, já vimos
em proram = proa. As formas paie, maie ainda hoje
ouvimos na linguagem infantil no Brasil, perdendo-se
depois o e final por apócope desde que o i forma ditongo com a precedente. Temos confirmação dêstes nossos
desenvolvimentos na palavra fratrem = fradre = fraire
= freire = frei e também frade. E ainda em cathedram
= *cadedra = cadeira, isto é, a vocalização do d em i.
Não compreendo bem o que quer o autor dizer com «ouvimos ainda hoje na linguagem infantil»; especialmente quando marca paie como forma hipotética. Em todo o caso, o autor defende que fenómenos semelhantes ocorreram (separadamente) em outras palavras, o que tiraria força à hipótese de que a transformação se deve a linguagem infantil.