את שירותו הצבאי עשה אילון בחיל הים. עם גיוסו לצה"ל באוגוסט 1963 התנדב לשייטת 13. והשלים את הכשרת מסלול הלוחם. במלחמת ששת הימים לחם בזירת ים סוף, ולאחר המלחמה יצא לקורס קצינים בבה"ד 1 שבסיומו חזר לשייטת. בשנת 1969 השתתף בפשיטה על האי גרין, ונפצע קשה. על חלקו בפשיטה זכה בעיטור הגבורה.

1980 - תואר ראשון, כלכלה ומדעי המדינה, אוניברסיטת בר-אילן.
1992 - תואר שני, מנהל ציבורי, אוניברסיטת הרווארד.

ב־1979 מונה למפקד שייטת 13. תחת פיקודו זכתה השייטת בצל"ש הרמטכ"ל על ביצוע 22 פעולות התקפיות יזומות נגד המחבלים בגזרת לבנון. בשנים 1996-1992 שימש כמפקד חיל-הים, והועלה לדרגת אלוף.

בשנים 2000-1996 כיהן כראש השב"כ.

בשנים 2005-2001 כיהן בתפקיד יו"ר דירקטוריון "נטפים".

בסוף שנת 2004 להצטרף למרוץ על ראשות מפלגת העבודה. ב־18 בינואר 2006 לקראת הבחירות לכנסת ה-17, הוצב אילון במקום השישי ברשימת העבודה. נבחר לכנסת ה-17 הוא כיהן כחבר בוועדת החוץ והביטחון. ב־16 בספטמבר 2007, אישרה הממשלה את מינויו של אילון לתפקיד שר בלי תיק במשרד ראש הממשלה הממונה על ועדת השרים לענייני ביקורת המדינה ולחבר הקבינט המדיני-ביטחוני.

ב-15 בנובמבר 2008 הודיע אילון על פרישתו ממפלגת העבודה לקראת הבחירות הצפויות בפברואר 2009. אילון הכריז בנאומו כי הוא פורש בשל תפקודו של אהוד ברק כראש המפלגה. ב-16 בדצמבר 2008 התפטר אילון מחברותו בממשלה[19]. בהמשך, הצטרף למפלגת מימד והועמד בראשה אולם זמן קצר לאחר מכן הודיע שלא יתמודד לכנסת במסגרת מפלגת מימד.

בשנת 2009 הקים את ארגון השמאל "עתיד כחול לבן".

ב-4 במרס 2010 בחרה האספה הכללית של אקים ישראל את אילון לכהן כיו"ר העמותה. הוא כיהן בתפקיד זה במשך כ-11 שנים, עד 20 ביוני 2021.

ב-17 בינואר 2011 נבחר ליו"ר הוועד המנהל של אוניברסיטת חיפה. בדצמבר 2012 הצטרף למכון הישראלי לדמוקרטיה. במקביל, מכהן אילון כיו"ר "הפורום לקידום השירות האזרחי-לאומי".