Johanna Weiß wuchs in der Steiermark in einer Handwerkersfamilie auf und kam als vierzehnjährige Dienstbotin oder Hausgehilfin nach Wien. Sie war über zwei Jahrzehnte in einem Beruf tätig, in dem ein großer Teil der damaligen weiblichen Berufstätigen ohne rechtliche und soziale Absicherung arbeitete und kannte insofern die Arbeitsbedingungen genau.

1909 gründete sie mit Unterstützung der Katholischen Frauenorganisation Niederösterreich den Verband christlicher Hausgehilfinnen und wurde dessen Präsidentin. Sie engagierte sich für die Einführung eines Dienstvertrages. Zusammen mit Hildegard Burjan, der ersten christlichsozialen Politikerin im Parlament, arbeitete Johanna Weiß am "Hausgehilfengesetz", das 1920 vom Nationalrat verabschiedet wurde. Dies brachte Verbesserungen bezüglich der Arbeitszeitdauer, des Urlaubsanspruchs, einer Kranken- und Altersversicherung sowie der Kündigungsfrist.

Weiters engagierte sie sich als christlichsoziale Abgeordnete im Niederösterreichischen Landtag und war im erweiterten Vorstand der Katholischen Reichfrauenorganisation Österreichs.