פעילות פוליטית ציבורית
בתום שירותו הצבאי החל בלימודי משפטים באוניברסיטה העברית, במהלך לימודיו החל בפעילות ציבורית במסגרת התאחדות הסטודנטים הארצית כפעיל במפלגת העבודה. בין היתר כיהן כסגן יו"ר ויו"ר ההתאחדות. בתום לימודי התואר הראשון יצא ללונדון שם למד במגמת לימודי תעודה במשפטים (במסלול משפט תעופתי) באוניברסיטת לונדון. במהלך לימודיו באנגליה כיהן כמזכ"ל ההתאחדות הסטודנטים היהודים העולמית (WUJS).
לאחר שהשלים את לימודיו האקדמיים ושב לארץ פתח יהב בקריירה פוליטית-ציבורית במסגרת מפלגת העבודה, תחילה שימש כיועץ לשר התחבורה גד יעקובי (בממשלת רבין הראשונה), ולאחר מכן כדובר עיריית ירושלים ועוזרו של ראש העיר טדי קולק.
בין התפקידים הציבוריים אותם מילא בשנים לאחר מכן: מנכ"ל יד דוד בן-גוריון, מנכ"ל העמותה לפיתוח התיירות בחיפה, יו"ר מ.ג.ן - משאבי גז ונפט בע"מ (חברה ממשלתית), חבר מועצת העיר חיפה, יו"ר תיאטרון חיפה, חבר הוועד המנהל של
רשות השידור, יו"ר החברה הכלכלית לחיפה, יו”ר עמותת פסטיבל הסרטים הבינלאומי בחיפה, חבר המועצה הארצית של ארץ ישראל היפה, חבר דירקטוריון חברת שיכון עובדים ועוד.
בזמן כהונתו של עמרם מצנע כראש עריית חיפה, כיהן יהב כסגנו וכחבר מועצת העיר. ב-1996 החליט לעבור לפוליטיקה ברמה הארצית ונבחר לכנסת ה-14 במסגרת רשימת העבודה. בשלוש שנותיו כח"כ כיהן כחבר בוועדת הכספים ובוועדת החוקה, חוק ומשפט של הכנסת. שימש יו"ר הלובי לענייני תרבות, כיו"ר השדולה לענייני בנקאות וכיו"ר השדולה למען התרבות הישראלית.
במקביל לפעילותו הציבורית עסק יהב לעתים בפרקטיקה פרטית כעו"ד בעיר חיפה.
ראש עיריית חיפה
בשנת 2003 התמודד בבחירות לראשות עיריית חיפה כנציגה של סיעת "חיפה שלנו", סיעה משותפת למפלגת שינוי ומפלגת הירוקים. בבחירות לא התמודד מועמד מטעם סיעת העבודה וזו תמכה במועמדתו של יהב. בבחירות ניצח את מועמד סיעת הליכוד שמואל ארד בפער של 9% והיה לראש העיר הראשון בחיפה מאז קום המדינה שלא נבחר מטעם מפלגת העבודה (או קודמתה- מפא"י).
ב-2008 נבחר לכהונה שנייה כראש עיריית חיפה ובשנת 2013 ניצח שוב בבחירות לראשות העיר והחל בכהונה שלישית.
כמי שמכהן בתפקיד ראש העיר למעלה מעשור שנים, הספיק יהב להטביע את חותמו על נוף העיר חיפה במה שנחשב לאחד מסממני ההיכר המזוהים ביותר עם שנות כהונתו: מיזמי תשתיות ונדל"ן גדולי מימדים. בשנותיו בתפקיד הוביל יהב פרויקט מקיף לשיקום תשתיות בעיר התחתית (אשר כלל הקמת קמפוס אקדמי באיזור הנמל) ופיתוח האיזור כמתחם בילוי ופנאי, חנך את אצטדיון הכדורגל "סמי עופר" וכן עודד ואיפשר ליזמי נדל"ן להקים מגדלי מגורים גבוהים ברחבי העיר. כמה מאותם מיזמי נדל"ן גדולים ובמיוחד מגדלי המגורים (לדוגמא- מיזם מגדלי חוף הכרמל) הולידו ביקורת עזה מצד תושבים וארגונים ירוקים בשל פגיעה בערכי נוף וטבע.
כראש עיר חנך יהב שני מיזמי ענק בתחום תשתיות התחבורה (את שניהם יזם קודמו בתפקיד): מנהרות הכרמל- המחברות בין מחלף חיפה דרום בכביש 2 לצומת הצ'ק פוסט ומערכת המטרונית- מערכת הסעת המונים של אוטובוסים הנעים על נתיבים ייעודיים. פרויקט תחבורתי נוסף בו מעורב יהב הוא שיקוע מסילת הרכבת הסלולה לאורך חוף הכרמל ופוגעת בתנועה החופשית מהעיר לרצועת החוף.
מלבד תחום התשתיות נחשב יהב כמי ששיפר והחיה את חיי התרבות, הבילוי והפנאי בחיפה, בין היתר באמצעות הפקה וקידום אירועי תרבות רבים ברחבי העיר, דוגמת: החג של החגים.
ב-2008 עוטר יהב באות לגיון הכבוד על ידי הסנאט הצרפתי, כאות הערכה למנהיגותו במהלך ימי מלחמת לבנון השנייה ועל תרומתו לפיתוח קשרים תרבותיים וכלכליים בין העיר חיפה לצרפת.
המאבק במפעלים מזהמים
אחת הסוגיות המשמעותיות המטרידות את תושבי העיר חיפה בשנים האחרונות היא רמת הזיהום הנגרמת מפעילותם של מפעלים שונים במפרץ חיפה ובראשם בתי הזיקוק והפעלתם של מאגרי חומרים מסוכנים בקרבה יחסית לשטחי מגורים ובראשם – מיכל האמוניה של חברת כימיקלים לישראל.
הערכת תפקודו של יהב בנושאים אלה שנויה במחלוקת- יהב אמנם הוביל כמה צעדי מחאה פומביים ומתוקשרים נגד המפעלים החשודים כמזהמים (דוגמת חסימת שערי הכניסה למפעלים במשאיות אשפה) וכן איים לא פעם לעשות שימוש בכוחה של הרשות המקומית על מנת להביא לשינוי במצב. מאידך, מבקריו של ראש העיר טוענים כי במשך שנים, על אף שנושא הזיהום והשלכותיו היו ידועים ומוכרים, נמנע יהב מלפעול באופן מעשי נגד המפעלים המזהמים וכי במבחן התוצאה לא הצליח להביא לתיקון המצב. התנהלות זו, כך על פי המבקרים, ניתן לקשור לסכומי הכסף המשמעותיים שמקבלת עיריית חיפה מאותם מפעלים, בגביית תשלום הארנונה, תרומות וכדומה.
זהות פוליטית
במשך מרבית שנותיו כאיש ציבור היה יהב חבר מפלגת העבודה. בשנת 2006 הצטרף למפלגת קדימה. במהלך הבחירות לכנסת ה-20 שימש כראש מטה הבחירות של מפלגת "כולנו" באיזור הצפון. כראש עיר פועל יהב עדיין כראש סיעת "חיפה שלנו".
