Qualquer destes sinais, em pares, servem para isolar palavras ou frases. As fronteiras entre os usos de uns e de outros não são rígidas, mas basicamente os travessões realçam, os parênteses esbatem, e as vírgulas são neutras. Por isso os parênteses são geralmente usados para intercalar apartes acessórios — coisas que poderiam ser omitidas, que frequentemente o leitor pode saltar —, enquanto as vírgulas e travessões isolam partes que são para ser lidas em articulação com o texto circundante, mas que precisam de ser isoladas por uma questão de legibilidade ou ênfase. Os travessões são mais enfáticos, dão mais destaque ao texto, do que as vírgulas.
O exemplo seguinte, retirado da Nova Gramática do Português Contemporâneo de Celso Cunha e Lindley Sintra (Lisboa, 2014, p. 834), principal obra em que se baseia esta resposta (p. 806-14 e 830-35), ilustra o uso dos três sinais:
(c) Abel, sem responder, sem voltar-se para mim, cinge mais forte — e não sem brandura — os meus dedos. (Osman Lins, [Alvorada, 1975, p.] 64-65.)
A frase básica é simplesmente, «Abel […] cinge mais forte […] os meus dedos», mas Osman Lins decidiu adicionar mais três informações: «sem responder», «sem voltar-se para mim» e «não sem brandura». As duas primeiras vão entre vírgulas; a terceira, entre travessões. Creio que é claro que a terceira — entre travessões — ganha mais destaque que as outras. Isto foi uma opção do autor, que quis destacar «não sem brandura». Por fim, a referência bibliográfica — informação acessória que o leitor poderá querer saltar — vem, como é habitual, dentro de parênteses. (Incluí entre colchetes material que não faz parte da passagem original da Nova Gramática; no original está apenas, «Osman Lins, A, 64-65». E temos aqui mesmo outro exemplo de um aparte acessório que podes ou não querer saltar.)
Portanto o autor é que tem de decidir se prefere travessões ou vírgulas, conforme queira enfatizar mais ou menos o texto a isolar. Os parênteses, pelo contrário, tendem a reduzir a importância do texto. Usamo-los frequentemente para dar explicações adicionais que não são importantes, mas poderão ainda assim interessar a alguns leitores. Exemplos aleatórios da Nova Gramática:
Nas obras impressas os elementos sublinhados vêm em tipo diverso, preferentemente em itálico (ou grifo). (p. 829)
[Emprega-se ainda a vírgula] para indicar a supressão de uma palavra (geralmente um verbo) ou de um grupo de palavras (p. 809)
Na escolha entre vírgulas e travessões, por vezes, para além da ênfase, põe-se a questão da legibilidade. Se o texto a isolar for longo, e especialmente se ele mesmo contiver vírgulas, poderá ser preferível usar travessões, como neste exemplo do Manual de Comunicação da Secom (Senado Federal do Brasil):
Isso porque, neste mês, encerra-se o prazo — dado pelo Decreto 6.514/2008, sucessivamente prorrogado por novos decretos — para averbação das áreas de reserva legal.
Outro uso comum dos travessões é para intercalar observações do narrador no discurso direto da personagem. Neste caso o discurso direto abre também com travessão. Exemplo da Nova Gramática (p. 834):
— A Igreja — atalhou o Bispo — não pode desinteressar-se do problema social. (Sophia de Mello Breyner Andersen, [Contos Exemplares, 6.ª edição, p.] 36.)
Os parênteses são ainda normalmente usados para, entre outros apartes acessórios a que não se quer dar especial destaque, informação biográfica:
Pedro Álvares Cabral (Belmonte, 1467 ou 1468 – Santarém, c. 1520) foi um fidalgo, comandante militar, navegador e explorador […] (Wikipédia)
E também para a «citação textual de uma palavra ou frase traduzida» (Nova Gramática, p. 831):
(a) Parece que o duunvirato jurisdicional (duunviri ou quatuorviri juridicundo), já muito cerceada a sua jurisdição nos últimos tempos do império, deixou de existir. (Serafim da Silva Neto, [História da Língua Portuguesa, 1970, p.] 319.)
Na literatura criativa encontram-se outros usos interessantes dos parênteses, que, ao contrário do habitual, realçam o texto. Estes dois exemplos são da Nova Gramática (p. 830-31):
Conseguia controlar a bola que me passavam (quando passavam) jogando em geral (quando deixavam) na ponta direita, por ser pequenino mas veloz. (Fernando Sabino, [O menino no espelho, 1982, p.] 145.)
Havia a escola, que era azul e tinha
Um mestre mau, de assustador pigarro…
(Meu Deus! que é isto? que emoção a minha
Quando estas coisas tão singelas narro?)
[Bernardino da Costa Lopes, Helenos, 1901, p. 65.]
Parece-me que aqui os autores optaram por parênteses para mais claramente indicarem que as observações são apartes. Mas o seu conteúdo é interessante e tem carga emocional, de modo que o aparte acaba sendo realçado; mais do que se tivessem sido usados travessões ou vírgulas, pois estes não dariam a ideia de aparte.
