במאה ה-11 הסתיימה תקופת הגאונים. שלל גורמים – ביניהם גל קור, רעב, שינויים פוליטיים ורדיפה ע"י השלטון המוסלמי – הביאו לשקיעת יהדות בבל המפוארת; הישיבות הגדולות סורא ופומבדיתא נסגרו וימי הזוהר של יהדות בבל נגמרו. מרכז הכובד של לימוד התורה עבר בהדרגה למקומות חדשים. ישיבות חדשות קמו בספרד ובצפון אפריקה ובהדרגה הן נהיו יותר ויותר עצמאיות, חזקות ומשפיעות. זה היה תהליך שקרה לאורך זמן, אך ישנה אגדה יפה שקושרת את התהליך הזה יחדיו על ידי סיפור הרפתקאות דרמטי אחד. סיפור מותח ועסיסי על ארבעה תלמידי חכמים שנשבו על ידי פיראטים.
אז איך ארבעה תלמידי חכמים נחטפים על ידי שודדי ים? ובכן, על פי הסיפור, שנכתב בשנת 1160 ב"ספר הקבלה" של רבי אברהם אבן דאוד – הידוע בכינויו ראב"ד הראשון – אותם יהודים יצאו מסורא שבדרום בבל, והפליגו באוניה מהעיר בארי בדרום איטליה על מנת לאסוף תרומות לקהילה, אלא שהמסע שלהם בים התיכון השתבש כבר באיי יוון.
כשהאוניה עגנה ביוון, הצי של הכליף מקורדובה עבד אל-רחמן השלישי השתלט עליה, שדד אותה ואסר את נוסעיה על מנת למכור אותם כעבדים. אבל יהודים טובים, כאלה שיודעים את חשיבות מצוות פדיון שבויים, יש בכל מקום. כל אחד מארבעת החכמים נפדה על ידי קהילה יהודית במקום אחר: אחד נפדה על ידי קהילת יהודי אלכסנדריה, שני על ידי קהילת קירואן שבתוניסיה, שלישי הגיע לקורדובה שבספרד, וזהותו של הרביעי לא ידועה. כך קרה שכל אחד מארבעת החכמים עשה רילוקיישן מוצלח במדינה בה אוניית הצי עגנה. כל אחד מהם עלה לגדולה בקהילה היהודית המקומית והתמנה בה לראש ישיבה. וכך, על פי האגדה, נוסדו מרכזי התורה הגדולים של ארצות המגרב וספרד המוסלמית.
אותם חכמים מהסיפור הם דמויות היסטוריות אמיתיות, אותן קשר אבן דאוד יחדיו, על אף שלא חיו בדיוק באותה תקופה. אחד מהם היה רבי שמריה בן אלחנן, שנפדה בעיר הנמל אלכסנדריה ומשם נדד לפוסטאט (קהיר העתיקה) – בירתה הראשונה של מצרים תחת שלטון מוסלמי, שזכורה כעירו של הרמב"ם. שם כיהן שמריה בסוף המאה ה-10 ותחילת המאה ה-11 כראש יהודי מצרים, עד שנפטר ממגיפה.
גם רבי חושיאל בן אלחנן, שהגיע לקירואן בתוניסיה בסוף המאה ה-10 וכיהן בה כראש ישיבת קירואן לאחר מותו של קודמו, רבי יעקב בן נסים, נחשב לאחד מארבעת השבויים. זאת למרות שיש חוקרים הטוענים שהוא הגיע לקירואן על דעת עצמו, וגם בכלל לא בטוח שהוא הגיע מאיטליה, כפי שטוען הסיפור, אלא אולי דוקא מבבל או מספרד. כך או כך, מכיוון שבנו של רבי יעקב בן נסים היה צעיר מכדי לרשת אותו לאחר מותו, התמנה רבי חושיאל לראש ישיבת קירואן.
קירואן, הממוקמת בצפון מרכזה של תוניסיה, הייתה מרכז כלכלי ותרבותי חשוב בצפון אפריקה. היא נחשבת לאחת מהערים הקדושות לאסלאם, ומסוף המאה ה-8 עד לתחילת המאה ה-11 שגשגה בה גם הקהילה היהודית. חושיאל נהיה מנהיגה הרוחני של כלל יהדות צפון אפריקה, וישיבתו נחשבה למרכז תורה חשוב ומשפיע. בנו של חושיאל, חננאל, היה לא פחות חשוב ממנו ונודע כאחד מפרשני התלמוד הבולטים של תקופת הראשונים.
הסיפור הדרמטי והקולנועי ביותר מבין עלילות ארבעת השבויים הוא ללא ספק זה של רבי משה בן חנוך שהפליג על הספינה יחד עם אישתו הצעירה והיפה ובנם, רבי חנוך. על פי הסיפור, האדמירל המוסלמי מוחמד איבן רומאיס (שמו נכתב בוריאציות רבות במקורות שונים), רב החובל של אוניית הצי, ניסה לאנוס את אישתו של רבי משה. במצוקתה שאלה את בעלה בעברית האם גם מי שטובע בים יכול לצפות לתחיית המתים. בעלה אישר לה שכן בעודו מצטט מספר תהילים: "אמר ה' מבשן אשיב, אשיב ממצולות ים'". זה נתן לה אומץ לקפוץ למים. ובעוד אישתו טבעה בים, רבי משה ובנו הצעיר חנוך נלקחו לקורדובה, שם נפדו על ידי הקהילה היהודית.
על פי האגדה, בהגיעו לקורדובה החל רבי משה לעבוד כשמש בית המדרש. הוא שמע את הרב מצטט פסקה מבלי להבינה וביקש את רשות הדיבור. הרב כל כך השתומם מבקיאותו של משה שהוא התפטר ממשרתו ונתן אותה למשה. תיאור יפה במיוחד למה קרה לרבי משה מהרגע שאישתו הטביעה עצמה בים ניתן למצוא בטקסט של צבי הירש מסליאנסקי. "בלב נשבר ומלא עצבון, לבוש כלי גולה, הובא רב משה וחנוך בנו לקורדובה", כתב מסליאנסקי, "ויושבי העיר זאת פּדום בטרם ידעו, כי השבוים האלה הם הם הכוכבים המזהירים, אשר יזהירו בחכמתם את שמי היהדות בארץ ספרד, והם המה צירי ההשגחה, אשר שלחתם מקדם לים להעתיק את אהלה של תורה מבבל לספרד. ויבא רבי משה לבית המדרש בקורדובה ושם מצא את רבי נתן הדין יושב ומפרש סוגיא תלמודית לפני תלמידיו מבלי הבין את תכונתה. ויהי כראות רבי משה, כי לא זך לקחו, ויטול רשות מרבי נתן ויפרש את הסוגיא בטוב טעם. וישמעו הרב והתלמידים את דבריו וישתוממו על חכמת האיש המסכן, ועוד ביום ההוא מנוהו לדין ומורה על קהל קורדובה, ויסירו מעליו את בגדי שביו וילבישוהו מחלצות, ויושיבוהו במרכבת הכבוד".
כשאיבן רומאיס שמע על כך הוא מיד תבע עבור רבי משה דמי פדיון גדולים יותר. אך הכליף עבד אל-רחמן השלישי ידע כי רבי משה יביא כבוד לקורדובה, והוא גם הבין שאם משה יקים מרכז תורה מפואר בספרד, יהודי קורדובה יפסיקו לשלוח כסף לישיבות בבל. אי לכך הוא דרש מאיבן רומאיס לוותר על הכופר ולהניח למשה לנפשו.
זהותו של השבוי הרביעי לא ידועה, אך על פי ההיסטוריון בן המאה ה-19 צבי "היינריך" גרץ יתכן כי הוא היה ההיסטוריון נתן בן יצחק הבבלי שהתחנך בישיבת סורא במאה העשירית והתיישב בסופו של דבר בנברון שבצרפת.
כאמור, מאחורי אגדת ארבעת השבויים עמד רבי אברהם אבן דאוד הלוי – היסטוריון ופילוסוף שפעל בקורדובה שבספרד במאה ה-12. מטרת "ספר הקבלה", בו הופיע סיפור ארבעת השבויים, היתה להוות קונטרה להתקפה על סמכות הרבנות על ידי הקראים. הקראים יצאו נגד התורה שבעל פה תוך התעקשות שיש להתייחס אך ורק לתורה שבכתב, ואילו אבן דאוד ניסה להציג חוט הקושר את המסורת הרבנית ממשה עד לתקופתו, ובכך לתת לה תוקף.
עד תחילת המאה ה-20 נטו לראות בסיפור ארבעת השבויים סיפור היסטורי, למרות שעלו ממנו לא מעט סתירות. חוקרים ניסו ליישב סתירות אלה בדרכים שונות, לטעון שהכותב התבלבל בתאריכים או שהכוונה מאחורי שמות מסוימים היא אחרת ממה שנדמה. הסיפור גם לא ממש הגיוני – הרי בערים המוזכרות בסיפור פעלו ישיבות עוד לפני הגעתם של ארבעת השבויים.
אך גם אם הסיפור עצמו אינו נאמן לעובדות ההיסטוריות, וגם אם גיבוריו הם לא האחראים הבלעדיים להקמת מרכזי תורה בצפון אפריקה ובספרד, אלא רק חוליות שונות בשרשרת, מדובר בסיפור מעולה. רבי אברהם אבן דאוד היטיב לקשור את סוף תקופת גאוני בבל ואת צמיחתם של מרכזי תורה חדשים ועצמאיים אליהם נהרו יהודים מרחבי האימפריה המוסלמית למקרה אחד מסעיר במיוחד.
