Pourquoi utilisons-nous toujours des processeurs au lieu des GPU?

Il me semble que de nos jours, beaucoup de calculs sont effectués sur le GPU. Évidemment, les graphiques y sont faits, mais en utilisant CUDA et autres, l'IA, les algorithmes de hachage (pensez aux bitcoins) et d'autres sont également effectués sur le GPU. Pourquoi ne pouvons-nous pas simplement nous débarrasser du processeur et utiliser le GPU seul? Qu'est-ce qui rend le GPU tellement plus rapide que le CPU?