Não há nada de errado na locução de resto, mas vários autores do século XIX consideraram-na um galicismo. Era provavelmente por isso que o Capitão Pelino não gostava dela. Um pouco mais à frente na história diz-se que ele lia Cândido de Figueiredo, precisamente um dos autores que condenou a locução como sendo “francês puro”.
Vejamos o que diz o dicionário Houaiss (desenvolvendo algumas abreviações, Lisboa, 2002):
¹resto […] de resto aliás, quanto ao mais, quanto ao que ficou por dizer, além do mais […] GRAM a locução de resto foi considerada estrangeirismo por alguns autores
Um destes autores, o mais antigo que eu encontrei mencionado na literatura, foi Francisco de São Luís (Wikipédia), escrevendo aqui em 1827 (grafia e pontuação originais):
RESTO : Não reprovamos estes vocabulo, que he muito portuguez; mas o uso immoderado, que delle se faz, dá ás vezes ao discurso hum resabio de francezismo […] Quando se notão v. gr. os defeitos de alguma pessoa, e se conclue com esta clausula du reste escellent homme, seria má traducção dizermos, como hoje mui vulgarmente se diz: de resto he hum excellente homem. Em frase portugueza, diremos: no mais he um homem excelente, ou aliàs he hum homem excelente, ou homem aliàs excelente. &c. […]
Francisco de São Luís Saraiva , Glossario das palavras e frases da lingua franceza, Lisboa, 1827, p. 117.
Outros críticos se lhe seguiram. Laudelino Freire em Galicismos (1921, p. 66) diz-nos que a locução de resto foi considerada “francês puro” pelos filólogos Ruy Barbosa (1849-1923) e Cândido de Figueiredo (1846-1925), e “espúria e bárbara” por Silva Túlio (1818-84); mas que Heráclito Graça (1837-1914), admitido a proveniência imediata do francês, a considerava justificável pelo latim de reliquo, empregue pelos clássicos com o mesmo sentido.
Isto de julgar a correção de uma expressão com base na sua possível origem no francês ou no latim seria atualmente considerado discutível. O mais importante é que de resto faz sentido para nós, e foi por isso com certeza que a locução foi adotada pelos nosso melhores escritores, como Machado de Assis, Eça de Queiroz ou Alexandre Herculano. (Ver Aurélio Buarque de Holanda Ferreira, Linguagem e estilo de Machado de Assis, Eça de Queirós e Simões Lopes Neto, Rio de Janeiro, 2007, p. 19 e 78.)