עוד בטרם שוך הקרבות ב 1948 קבוצה של יהודים ספרדים, ובראשם הרב יוסף שרביט החלו להתפלל בחדר קטן הסמוך לכניסה לציון קבר דוד המלך והקימו בו בית כנסת ספרדי.
השאיפה להתפלל סמוך ככל האפשר לכותל המערבי, לרובע היהודי שניטש מתושביו היהודיים ולציון קברו של דוד המלך דירבנו את המתפללים להגיע גם בשעות סכנה. זקני בית הכנסת מתארים כיצד היו עולים בשבתות דרך תעלת הקשר הצבאית – תעלה תת קרקעית שהחלה סמוך לבריכת הסולטן והסתיימה ליד בית הספר "גובאט" וסיפקה הגנה מפני חיילי האויב הירדניים עבור העולים להר.
לאחר המלחמה יצאו כוחות הצבא הגדולים מן ההר אך בית הכנסת המשיך לפעול. במהלך שנות החמישים והשישים בית הכנסת היווה אבן שואבת למתפללים שרצו להתפלל באחד המקומות הקדושים ביותר ליהודים שנותרו בידיים ישראליות בתקופה בה ירושלים היתה מחולקת בין ישראל ובין ירדן. מתפללים הגיעו מכל קצוות העיר בשעה מוקדמת בשבת בבוקר. בשנות השבעים תנועת המתפללים הדלדלה מעט אולם בית הכנסת עדיין פעיל מאוד. בסוף התפילה בשבתות נערך קידוש גדול שנועד גם להקל על המתפללים בדרכם הרגלית חזרה לביתם.
הפייטן אברהם כספי, מראשוני המתפללים בבית הכנסת,משמר בו נוסחי תפילה ספרדיים-ירושלמיים עתיקים. מידי חמישי בערב מתקיימת בבית הכנסת "שירת הבקשות" והפייטנים מתגאים בכך שהם לא פוסחים על אף בקשה, ולכן הם פורסים את שירת הבקשות על פני השנה כולה, ולא רק בחורף, כנהוג בבתי כנסת ספרדיים אחרים.
