Rosa Jochmann war die Tochter einer Wäscherin und eines Eisengießers, der aufgrund seiner sozialdemokratischen Gesinnung immer wieder entlassen wurde. 1915 stirbt ihre Mutter, 1920 starben ihr Vater und ihr Bruder. Mit 14 Jahren beginnt Rosa Jochmann als Fabrikarbeiterin zu arbeiten. Sie tritt in die Gewerkschaft ein und wird in den Ausschuss der Chemiearbeitergewerkschaft berufen. 1919 wird sie zur Betriebsrätin gewählt, später wird sie an einer anderen Arbeitstelle Betriebsratsob“mann“. 1926 nimmt Rosa Jochmann am ersten Lehrgang der Arbeiterhochschule in Wien teil, einer Einrichtung, die die Sozialdemokratische Arbeiterpartei (SDAPÖ) und die Gewerkschaft als Parteihochschule errichtetet hatten. Dort erhält Rosa Jochmann ihre Funktionärinnenausbildung und wird Frauensekretärin bei der ChemiearbeiterInnengewerkschaft.

Rosa Jochmann engagiert sich auch stark für frauenpolitische Belange und arbeitet unter anderem am „Handbuch der Frauenarbeit in Österreich“ mit, das im Jahr 1930 von der Kammer für Arbeiter und Angestellte herausgegeben wurde und unter redaktioneller Leitung von Käthe Leichter erschien. In ihrem Beitrag beschreibt Jochmann die unmenschlichen Arbeitsbedingungen der Chemiearbeiterinnen. 1933 wird sie als Mitglied in das Frauenzentralkomitee und den Parteivorstand der SDAPÖ berufen.

Nach dem Verbot der Partei durch die Vaterländische Front im Jahr 1934 ist sie Gründungsmitglied der illegalen Revolutionären Sozialisten. 1935 wird sie wegen Verbreitung illegaler Schriften verhaftet und zu einem Jahr schweren Kerker verurteilt. Sie setzt ihre politische Tätigkeit fort und wird 1939 wieder verhaftet, diesmal von der Gestapo. Nach einem halben Jahr Gestapo-Haft in Wien wird Rosa Jochmann im Frühjahr 1940 ins Konzentrationslager Ravensbrück überführt, wo sie bis 1945 inhaftiert bleibt.

Nach Kriegsende kehrt Rosa Jochmann nach Wien zurück und setzt ihre politische Tätigkeit in der SPÖ bis 1967 fort: als Vorsitzende des Frauenzentralkomitees, Mitglied des Parteivorstandes und Abgeordnete in den Nationalrat. 1959 bis 1966 ist sie Zweiter Bezirksob“mann“ der SPÖ Simmering. Außerdem ist sie Gründungsmitglied und Erste Vorsitzende des „Bundes sozialistischer Freiheitskämpfer und Opfer des Faschismus“ sowie Mitglied der „Österreichischen Lagergemeinschaft Ravensbrück“. Bis ins hohe Alter tritt Rosa Jochmann als Zeitzeugin in Schulen und Bildungseinrichtungen auf. 1981 wird sie mit dem Ehrentitel „Ehrenbürger der Stadt Wien“ ausgezeichnet und erhält den Preis der Dr.-Karl-Renner-Stiftung der Stadt Wien. Nach ihrem Tod 1994 wird sie in einem Ehrengrab am Wiener Zentralfriedhof beigesetzt.