De acordo com a definição da wikipedia, isso começou porque no século XIX alguns cientistas defendiam que a população era dividida em raças e que algumas raças são superiores a outras.
O termo "racismo" surgiu só nos anos 1930, e é uma simplificação do termo mais antigo "racialismo" que existe ao menos desde a primeira década do século XX, mas caiu em desuso depois que o termo "racismo" surgiu. Inicialmente, esta palavra significava apenas uma ação motivada pela raça de uma pessoa, sem que tivesse significado positivo ou negativo (da mesma forma que podemos ter ação motivada pelo gênero, cor dos olhos, estatura, ou qualquer outra característica física).
Entretanto, o termo "racismo" rapidamente ganhou uma conotação negativa, exatamente porque a maioria das ações motivadas por raça implica em algo que prejudique um grupo ao mesmo tempo que privilegia outro, usando como critério a cor da pele. Assim, o termo rapidamente passou a ser designado como "discriminação racial" ou "ódio racial".
Acontece que hoje em dia, a maioria dos biólogos e antropólogos rejeitam a divisão por raças, preferindo critérios como etnia. Então ocorre que o termo fazia sentido quando definido originalmente, aonde admitia-se que a população humana era dividida em raças. A noção de raças foi abandonada, mas o termo ficou.
Observe que o termo "racismo", de acordo com a conotação moderna, se refere à preconceito ou ódio motivado por raça, mas sem especificar qual raça é privilegiada ou qual é prejudicada. Historcamente, a raça negra é a que tem sido a mais prejudicada, mas o termo também serve para discriminação contra índios, mestiços, orientais e até mesmo contra brancos.
Algo diferente ocorre com a palavra "machismo" que designa a discriminação especificamente contra mulher em benefício do homem, e não apenas a "discriminação motivada por gênero". Para as coisas ficarem etimologicamente confusas, a palavra "feminismo" significa igualdade entre gêneros e combate ao machismo. Por causa disso, a palavra "femismo" foi cunhada para denotar a discriminação contra o homem em benefício da mulher, mas tal palavra não é amplamente usada.
Ou seja, tudo depende do contexto histórico no qual a palavra surge, mesmo que ao longo dos anos ela acabe se desviando do significado ou contexto original ou ganhando conotações tendenciosas, tais como "racismo". Além disso, se você confrontar o significado destas palavras com o substantivo primitivo que a origina, verá que as derivações têm significado bem incoerentes e assimétricos em relações umas as outras ("macho -> machismo" e "fêmea -> feminismo").