קריירה עסקית
לאחר השלמת לימודי התואר החל לעבוד באגף התקציבים של משרד האוצר, כרכז צוות תקשורת. לאחר כארבע שנים בתפקיד גויס על-ידי מנכ"ל בזק דאז עמי אראל לשמש כעוזר אישי בכיר. כעבור זמן קצר קודם לתפקיד סמנכ"ל משאבי ניהול, כעבור חצי שנה קודם בשנית לתפקיד סמנכ"ל כלכלה ואסטרטגיה ואחז בתפקיד זה למשך כשלוש שנים וחצי. בשנת 2003 מונה למנכ"ל חברת-הבת בזק בינלאומי. במהלך כהונתו בתפקיד זה הופרטה חברת בזק ועברה לידיים פרטיות.
בשנת 2007 מונה למנכ"ל בזק. בתקופת כהונתו התמודדה בזק עם שינוי באסדרה אשר פתחה לתחרות (במידה מסוימת) את שוק הטלפוניה בישראל אשר נשלט עד אז כמעט לחלוטין על-ידי בזק. אל מול אתגרים אלה הצליח גבאי למנוע פגיעה ברווחיות החברה ואף הביאה להגדלתה (בין היתר באמצעות ביצוע צעדי התייעלות דרמטיים), כמו-כן הצליח לקיים תרבות ארגונית שעודדה שיח פנימי, יחסי עבודה תקינים עם עובדי החברה ונציגיהם ותיאום עמדות מוצלח מול קובעי האסדרה במשרדי הממשלה (בהם שר התקשורת דאז - משה כחלון).
מהלך משמעותי נוסף אותו הוביל כמנכ"ל היה הקמתה של תשתית תקשורת ארצית חדשה מבוססת סיבים אופטיים, בתקציבי ענק. רשת התקשורת החדשה החליפה את תשתית כבלי הנחושת הישנה של בזק ואפשרה לה להציע לצרכנים שירותים ומוצרים מתקדמים, לממש נכסי נדל"ן שנדרשו לתשתית הישנה ולייעל את פעולתה.
בשנת 2013 פרש מתפקידו בבזק. על-פי ההערכות מקובלות, במהלך כהונתו כמנכ"ל, התגמולים שקיבל מן החברה הגדילו את הונו האישי בכמה עשרות מיליוני שקלים. בראשית שנת 2014 מונה לכהן בהתנדבות כיו"ר ועדת בדיקה ציבורית מיוחדת לבדיקת הסיבות לקריסת המרכז הרפואי הדסה.
בראשית 2020, לאחר פרישתו מהעולם הפוליטי, מונה למנכ"ל קבוצת סלקום.
פעילות פוליטית
במהלך 2014 חבר גבאי למשה כחלון בהקמת
מפלגת "כולנו" ועסק בהקמת התשתית הארגונית של המפלגה החדשה. בבחירות לכנסת ה-20 (2015) לא נכלל גבאי ברשימת מועמדי המפלגה לכנסת. לאחר הבחירות עם הקמת הממשלה ה-34 על-ידי בנימין נתניהו הצטרפה "כולנו" לקואליציה ובמסגרת ההסכם הקואליציוני מונה גבאי לשר להגנת הסביבה (במעמד שר שאינו חבר כנסת).
במאי 2016 הודיע על התפטרותו מהממשלה, זאת כמחאה על החלטת ראש הממשלה נתניהו להדיח את משה יעלון ממשרד הביטחון ולמנות במקומו את מנהיג "ישראל ביתנו" אביגדור ליברמן.
בכהונתו שארכה כשנה במשרד להגנת הסביבה תרם להפחתת השימוש בפחם על-ידי חברת החשמל, הצליח להשלים את חקיקת "חוק השקיות" שקבע מחיר בן 10 אגורות לשקיות הניילון ברשתות המזון הגדולות. מתוקף מינוי שקיבל בהחלטת ממשלה, הוביל לחתימת הסכם חדש בין מדינת ישראל ובין קרן קיימת ישראל במסגרתו הסכימה קק"ל להעביר סכומים ניכרים מקופתה למדינה. היה השר היחיד בממשלה אשר התנגד פומבית ל"מתווה הגז".
מפלגת העבודה
מספר חודשים לאחר התפטרותו מן הממשלה הצטרף למפלגת העבודה. ביולי 2017 התמודד וניצח בבחירות לראשות מפלגת העבודה. מאחר ולא כיהן כחבר כנסת שימש כמנהיג המפלגה אך לא כיהן באופן רשמי כמנהיג האופוזיציה.
בינואר 2019, לקראת הבחירות לכנסת ה-21, הודיע על פירוקה של השותפות הפוליטית בין מפלגת העבודה ומפלגת התנועה (בראשות ציפי לבני) ובהתאם לפירוקה של סיעת
המחנה הציוני. בבחירות לכנסת ה-21 זכתה מפלגת העבודה בראשותו ל-6 מנדטים בלבד, התוצאה הנמוכה ביותר בתולדות המפלגה. ביוני 2019 פרש מתפקיד יושב-ראש מפלגת העבודה ומן החיים הפוליטיים
