Mariusz Jop commence sa carrière dans le club de deuxième division du KSZO Ostrowiec Świętokrzyski en 1995 (ville située à 140 kilomètres au sud de Varsovie et 80 kilomètres à l’ouest de Lublin, bref un peu au milieu de nulle part). Lors de la saison 1997-1998 le club de la ville d’Ostrowiec Świętokrzyski s’offre une petite saison en Ekstraklasa (Ligue 1 polonaise) avant de redescendre aussi sec. Jop est un défenseur titulaire dans cette équipe jusqu’en 1999, année où le club du Wisla Cracovie lui propose un contrat. Mariusz signe et joue une vingtaine de matchs dans la saison mais est prêté au Widzew Lodz pour la fin de saison 2000-2001 et début de la saison 20001-2002 avant de retourner au Wisla et retrouver une place de titulaire pour la fin de cette saison-là.
Les deux saisons suivantes, Mariusz Jop et sa carrure d’athlète (1 mètre 88 pour 81 kilos) les passe au Wisla où il joue régulièrement sans pour autant faire des étincelles. Si Mariusz Jop a des qualités physiques assez impressionnantes, il n’est pas toujours très adroit de ses pieds (ce qui pour un footballeur est quand même un problème). Le 30 avril 2003, Jop est appelé pour la première fois en sélection nationale pour assister à la défaite Polonaise face à la Belgique (3-1). Il jouera souvent en équipe nationale entre 2005 et 2008. Il est même sélectionné pour l’Euro 2008 que la Pologne va complètement foirer et le grand défenseur central chauve joue uniquement la deuxième mi-temps du dernier match face à l’Autriche où il expose toute sa faiblesse. Lors de ce match le grand défenseur central est complètement dépassé et fait peut-être ce jour-là une la mi-temps la plus dégueulasse qu’un joueur polonais portant le maillot de l’équipe nationale ait pu réaliser. Comme un baroud d’Honneur, puisqu’après cette mi-temps désastreuse, Mariusz ne sera plus jamais appelé en sélection…
En 2004, Mariusz ne résiste pas aux sirènes russes et quitte Cracovie pour rejoindre Moscou. Mariusz Jop ne rejoint ni le Spartak Moscou, ni le prestigieux CSKA Moscou mais le FC Moscou (club redescendu dans les divisions amateurs moscovites en 2010 suite au retrait de son propriétaire et de son investisseur…). Mariusz Jop passe six saisons à Moscou et pour lui c’est les montagnes russes car s’il joue beaucoup lors de ses premières saisons, il connaît ensuite quelques saisons creuses où il joue moins de 10 matchs par saison comme en 2006 ou en 2007, année où le club fini à la 4ème place du championnat national russe.
En 2009, Mariusz Jop a le mal du pays et retourne au Wisla Cracovie où il n‘est pas titulaire indiscutable. Le 11 mai 2010, c’est le derby entre le Wisla et le Cracovia pour le compte de l’avant dernière journée du championnat. Le Wisla est en tête du classement avec 1 petit point d’avance sur le Lech Poznan. Dans cette avant-dernière journée, le Lech Poznan bat le Ruch Chorzow (2-1). De l’autre côté, le Wisla mène 1-0 dans le derby jusqu’à la 90ème minute + 2 où … Mariusz Jop colle une tête dégueulasse en arrière … dans ses propres filets. L’autogoal de Jop provoque une explosion de joie indescriptible chez les supporters du Cracovia qui savent à ce moment-là que le Wisla ne gagnera pas le derby et surtout perdra le titre.