בתרל"ט נתמנה למיסד ומנהל בית היתומים העברי הראשון, שנוסד על-ידי הועד הפראנקפורטי בהשתדלות הפרופ' גרץ וחברו גוטשאלק לוי אחרי שובם מביקורם בארץ. קנאי החרדים, ביחוד מעדת האשכנזים, התקוממו נגד מסירת ילדים לחינוך במוסד שמלמדים בו גם לימודי חול ואף "חרם" הטילו על המוסד ומנהלו ויסדו בית-יתומים מיוחד, הוא "בית היתומים דיסקין" הקיים עד היום. הד"ר הרצברג נשא בדומיה את הרדיפות ואף הביע הוקרה למתנגדיו, על שהם תקיפים להלחם למען דעתם.
בתרמ"ז איחד את בית-היתומים עם בית-הספר למל (שגם עליו הוכרז "חרם"), וניהל את המוסד החינוכי המאוחד והעמיד תלמידים, שהיו אח"כ לתפארת הישוב בעסקנות צבורית, במדע, בחקר הארץ ועוד. גם הוא עסק בענינים צבוריים וישוביים ותמך ברעיון התחיה והתקומה לעומת המפקפקים והמתיאשים ופעל למען שיפור החיים ועזרה לנגועי העוני והמצוקה בעיר הקודש, וביחוד למען סיפוק צרכיהם בעזרה צבורית לבל יזדקקו לחסדי המיסיון.
לשם הפעלת הכוחות לטובת הישוב כינס בביתו ביום ט"ז סיון תרמ"ח עוד תשעה אנשים מטובי ירושלים (אליעזר בן-יהודה, חיים הרשנזון, דוד ילין, אפ רים כהן, א. מ. לונץ, עוזר דב ליפשיץ, יוסף מיוחס, ישראל דב פרומקין, שמעון שטרן) ויסדו את לשכת "ירושלים" של "בני ברית" - הראשונה בארץ (והוא היה נשיאה בשנות תרמ"ח-מ"ט), שפעולותיה העיקריות היו: יסוד שעורי-ערב, בית-הספרים הכללי "מדרש אברבנאל וגנזי יוסף'' והמושבה מוצא. בתר"ן יסד את הלשכה ביפו ובתרנ"א את הלשכות בצפת ובבירות.
בתרנ"א הוכרח בגלל מצב קשה לצאת את הארץ ועבר לבריסל. שם המשיך בעבודה ספרותית והוציא את ספרו הנ"ל בשתי מהדורות נוספות.
בתרנ"ה נבחר מטעם לשכות ,בני ברית" שבארץישראל והארצות השכנות לועידת "בני ברית" שבאמריקה ולמרות חולשתו וזקנתו נסע שמה בתקוה לפעול בועידה למען הגברת הפעולות בארץ-ישראל. אך בגלל מחלה פתאומית הוכרח לחזור לבריסל.
למלאות לו 70 שנה החליטה הלשכה הגדולה הארצישראלית יחד עם לשכת ירושלים של "בני ברית" להוציא בתרגום עברי את ספרו "כתבי-משפחה עבריים", והוא קיבל את ההצעה בשמחה ונתן את הסכמתו. (בתרגום הספר החל הרי"מ פינס וגמר ר' בנימין. נדפס בירושלים, תר"ץ).
חדשים מעטים אחרי הבשורה המשמחת מירושלים על הוקרת חבריו ותלמידיו ועל תרגום ספרו נפטר בבריסל, י"ט ניסן תרנ"ז.
יוסף מני
נולד בחברון, כ"ח אדר ב' תרל"ח (1878), לאביו הרב סלימן מנחם, רבה של חברון (בנו הבכור של הרב החסיד המקובל רבי אליהו מני , שעלה מבגדאד ונתמנה לרבה של חברון והיה חבר ישיבת המקובלים "בית אל" בירושלים). למד בתלמוד-תורה ובישיבה. השתלם בשפה הערבית וספרותה ובידיעות משפטיות. נתמנה למורה לערבית בבית-הספר בחברון, נבחר לשופט בית-הדין המחוזי ומילא בו גם תפקידים של שופט-חוקר ומ"מ יו"ר בית-הדין.
בתרס"ג נשא לאשה את שרה , בתו של יהושע ילין ואחותו של פרופ' דוד ילין. עבר לירושלים ונתמנה למורה לערבית בבית-הספר של חברת "כל ישראל חברים". אח"כ הוזמן להו רות עברית וערבית בבית-הספר של המושבה רחובות. עבר ליפו ונתמנה למורה בביה"ס "תחכמוני" ובשנת תרע"ג בבית-הספר של חברת "עזרה" הברלינית ובגימנסיה הרצליה.
כתב שירים בעברית ותרגם יצירות ספרותיות מצרפתית לעברית, אך לא פרסם את יצירותיו בדפוס.
אחרי מלחמת-העולם הראשונה נתמנה למורה לערבית בתלמוד-תורה של הספרדים בירושלים ואח"כ לערבית בגימנסיה העברית הירושלמית ובבית-הספר למס