למפלגת "הפועל הצעיר", עבד זמן מועט בטבק בנס ציונה ונבחר לאחד מהשלשה שנשלחו מטעם צבור הפועלים לארגן את סידורם ברחובות. כאן עבד שלש שנים כפועל חקלאי ושומר בכרמים, השתתף בארגון מטבח משותף לפועלים, ואח"כ בארגון "חנות משוחפת" (קואופרטיב צרכני) של הפועלים, ואחרי ש"נאכלה" החנות, טרח רבות עד שעלה בידו לפרוע את כל חובותיה לבל יסבלו האכר והמורה, שבערבותם הושג האשראי לחנות הפועלים. ערך את "הפועל הצעיר" מראשיתו (כשיצא תחילה בהקטוגראף באייר תרס"ז ואח"כ בדפוס) וניהל את עסקי הוצאתו, כתב בו מאמרים ורשימות, ושידל ומשך אליו סופרים ועסקנים מהמפלגה וריכז מסביב לעתון את טובי הסופרים והמשוררים. השתדל לשלם שכר סופרים, אם כי בצמצום, - וכל זה תוך עבודה גופנית קשה כפועל חקלאי ("בין מעדר למעדר") ואח"כ כפועל בנין ("בין אבן לאבן"). נלחם בעטו למען "כיבוש העבודה" (בניגוד לסיסמת יוסף ויתקין על "כיבוש הקרקע"), ונגד הרוחניות המופשטת של תורת אחד העם. כמו כן נלחם בקנאות נגד לימוד השפות זרות בבתי הספר של עזרה ואליאנס. אח"כ נדרש לוותר על מעמדו כפועל שכיר, ולהתמסר כולו לעריכת העתון ולעסקנות בהנהגת המפלגה. השתדל לתת בעתון ממיטב הספרות היפה ולחבבו על הישוב החדש בכלל, ובעריכת העתון, ובעיקר בעריכת המדור הספרותי עזרה לו הסופרת דבורה בארון , שהיתה לחברתו בחיים.
נבחר כציר "הפועל הצעיר" (יחד עם אליעזר שוחט, יצחק בן-צבי מהפועל הצעיר וישראל שוחט מפועלי ציון) לקונגרס הציוני השמיני (האג 1907), בו השתתפו בראשונה שליחי הפועלים משתי המפלגות שבארץ ובו הוחלט על ראשית העבודה המעשית של ההסתדרות הציונית בארץ (יסוד המשרד הארצישראלי וחברת הכשרת הישוב). באותה הזדמנות ביקר בועידת "פועלי ציון" בקראקוב, ואח"כ בברודי ובכמה ערי גליציה והלהיב בשיחותיו את הפועלים הציונים, למען עבודה ועמל כפים בארץ. בברודי נבחר כציר לועידת "עבריה" שהתכנסה סמוך לקונגרס הציוני בהאג. נבחר ונסע גם לקונגרסים התשיעי (האמבורג 1909) והאחד-עשר (וינה 1913).
בתר"ע יזם ביחד עם יוסף שפרינצק, אברהם גרשון חנוך וישי אדלר ויסד את הוצאת "לעם" ע"י "הפועל הצעיר", על יסוד של מניות, להוצאת חוברות מדע פופולריות בשביל ההמון העברי בא"י ובתורכיה (בשנות תר"ע-ע"ד הופיעו 89 חוברות).
הכין לדפוס וערך ביחד עם א. ז. רבינוביץ ור' בנימין את מבחר כתביו של יוסף ויתקין (הוצאת "הפועל הצעיר", יפו תרע"ב), וכתב בו מאמר הערכה על ויתקין.
במלחמת העולם הראשונה התאזרח למען יוכל להשאר בארץ, היה מזכיר הועד להקלת המשבר שנוסד לפי יזמתו של מ. דיזנגוף. סבל נגישות ורדיפות ומאסרים וסכנות מצד השלטון הטורקי הצבאי, שהכביד את ידו על עסקני הישוב. בחורף תרע"ה נאסר עם עסקני הישוב (ד"ר יוסף לוריא, בצלאל יפה, מנחם שינקין, ברוך הוז, ד"ר בן-ציון מוסנזון, הרב י. ל. פישמן ומרדכי בן-הלל הכהן ) והובל ירושלימה. בהשתדלות ד"ר ארתור רופין והנרי מורגנטאו הציר האמריקאי בקושטא, שוחררו.
בקיץ תרע''ה גורש מצרימה עם אשתו ובתו. כאן עסק במתן שיעורים פרטיים ואח"כ בהוראה בביה"ס לילדי המגורשים והפליטים שיסד הד"ר חיים בוגרשוב. עשה נסיונות שונים לחדש את עבודתו העתונאית ובקושי עלה בידו להוציא חוברת חדפעמית בשם "בנכר" (תשרי תרע"ח) בעזרת אגודת "התחיה" באלכסנדריה.
באביב תרע"ט (כ"ג ניסן) חזר ארצה עם משפחתו ונכנס שוב לעסקנות במפלגה ובישוב ולעבודתו בעריכת העתון "הפועל הצעיר" והירחון "מעברות" ולעמידה על משמר עקרונותיו בחיים החדשים שהחלו מתפתחים בארץ. התנגד לגדוד העברי, מתוך התנגדות עיקרונית למעשי אלמות ושפיכת דמים; התנגד להבלטה יתרה של המעמדיות על המגמה הלאומית הכללית: התנגד גם ליסוד ההסתדרות הכללית, כי לפי השקפותיו הספיקה מסגרת "הפועל הצעיר" לארגון צבור החלוצים, אך כבעל משמעת השלים עם המציאות, לקח חלק פעיל בהנהגת ההסתדרות אחרי שנוסדה, וכן בהנהגת מפלגת פועלי ארץ ישראל (מפא"י), אחרי איחוד מפלגתו עם "אחדות העבודה". השתתף בועידת לונדון (1920) שהניחה את היסוד לפעולת ההסתדרות הציונית בתנאים החדשים שלאחר הצהרת בלפור.
הכין לדפוס וערך ביחד עם ד"ר משה גליקסון את כתבי אהרן דוד גורדון ב-5 כרכים וכתב רשימה לתולדות חייו של א. ד. גורדון בראש הכתבים.
בתרפ"ג נתמנה למנהל "בנק הפועלים", שהיה אהד ממיסדיו. עזר לביסוס מפעלי ההתישבות והכלכלה של צבור העובדים תוך שמירה על כספי הבנק מהפסדים במתן אשראי בלתי בטוח, היה מוכן לעזור ולעודד מפעלים ואנשים. כתב עוד לעתים ב"דבר" וב"מאזנים", השתתף בפעילות במוסדות ההסתדרות והישוב, בארגון כנסת ישראל, בהנחת היסודות של משפט השלום העברי, בקביעת חוקת בית-הספר העברי, ועוד. היה חבר מועצת עירית תל-אביב, חבר ואח"כ נשיא אגודת הסופרים, פעל למען יסוד קרן לעזרת הסופרים ושקד על ביסוס הירחון "מאזנים" של אגודת הסופרים. הוכרח פעמים רבות להפסיק לזמן-מה את פעילותו בגלל מחלה, וכשהחל מבריא לאחר אחת המחלות נפטר ביום ט"ז ניסן תרצ"ז.
אחרי פטירתו נקרא על שמו מושב העובדים הראשון בעמק בית-שאן - בית יוסף. כמו כן בית התרבות בכפר הנוער בן שמן, בית הספר בכפר מל"ל, רחוב בתל-אביב, ספרית הפועלים בקרית עבודה