Projekt kościoła przygotował architekt z Królewca Fritz Heitmann, który zaprojektował również kościół Najświętszego Serca Jezusowego w Olsztynie. W przypadku kościoła św. Józefa wybrał jednak inny styl – neoromański. I rzeczywiście świątynia ta ma wszystkie najważniejsze cechy romanizmu: plan krzyża łacińskiego, wieżę na skrzyżowaniu naw, dwuwieżową fasadę oraz odpowiedni kształt filarów i okien. Prace budowlane rozpoczęto w kwietniu 1912 r., a zakończono w październiku roku następnego. W sumie budowa trwała jedynie 17 miesięcy.