Joseph Gompers werd geboren als zoon van Philip Gompers, een juwelier, en Rebecca de Haan. Hij trouwde in 1921 met Marianne Loonstein. Het echtpaar kreeg één zoon, Philip Louis, geboren 17 december 1921.
Gompers was vertaler, dichter en publicist. Hij schreef onder andere in het Nieuw Israëlietisch Weekblad, voor het blad van de Joodsche Invalide, en hij was redacteur van de Mizrachie, het blad van de religieuze zionisten.
Naast zijn werk als schrijver was Joseph Gompers actief in diverse besturen. In 1933 werd hij bestuurslid van de propagandacommissie van de Joodsche Invalide en lid van de kunstcommissie van het Noodfonds 1933 van het Comité voor Bijzondere Joodsche Belangen. Tijdens de oorlog was Joseph adviseur voor de Joodsche Raad.
Geen van de gezinsleden overleefde de oorlog. Joseph kwam 30 april 1945 om in Tröbitz, Marianne overleed daar op 6 mei 1945. Philip Louis werd 24 september 1941 in Mauthausen vermoord.