כניסה לעולם הפוליטי
לצד פעילותו העסקית עסק כחלון גם בפעילות ציבורית-פוליטית בזירה המקומית. את כניסתו לעולם הפוליטי עשה בסוף שנות ה-80 כאשר הצטרף לסניף הליכוד בעיר חיפה, והתנדב לסייע למועמד המפלגה בבחירות לראשות העיר. תוך כדי כך ובשנים לאחר מכן בנה את מעמדו כפעיל ליכוד ומונה למגוון של תפקידים ציבוריים: חבר בהנהלת האגודה למען החייל, חבר ועדת הנכסים של עיריית חיפה, חבר מועצה באגודת "מכבי חיפה”, דירקטור בחברה הכלכלית (מרכז תעשיות מדע) ועוד.
פטרונו הפוליטי של כחלון באותה עת היה איש הליכוד עוזי לנדאו ומשזה מונה לשר ביטחון פנים בשנת 2001 (בממשלתו של אריאל שרון) בחר בכחלון לשמש כיועצו ובהמשך כראש לשכתו.
בבחירות לכנסת ה-16 (2003) כבר נכלל כחלון ברשימת הליכוד לכנסת וכאשר זכתה המפלגה ב-38 מנדטים החל לכהן כחבר הכנסת. במהלך הכנסת ה-16 כיהן בתפקיד סגן ומ”מ יושב-ראש הכנסת. שימש כחבר בוועדות - ועדת העבודה, הרווחה והבריאות; ועדה לזכויות הילד; ועדת האתיקה. נמנה על מתנגד תוכנית ההינתקות שהוביל ראש הממשלה אריאל שרון.
בבחירות המקדימות לרשימת הליכוד בבחירות לכנסת ה-17 (2006) זכה כחלון במקום הראשון. להישג המרשים זה תרמו הפופולריות שצבר בין חברי המפלגה ולא פחות מכך העובדה שחלק נכבד מהנהגת הליכוד עבר עם שרון ל
מפלגת קדימה. במהלך הכנסת ה-17 כיהן כחבר בוועדות הבאות: ועדת הכלכלה, ועדת העבודה, הרווחה והבריאות, יושב ראש ועדה מיוחדת לבדיקת היערכות ומוכנות לרעידות אדמה.
שר התקשורת ושר הרווחה
בממשלה שהקים לאחר הבחירות לכנסת ה-18 (2009) מינה ראש הממשלה
בנימין נתניהו את כחלון לשר התקשורת. שנתיים לאחר מכן, עם פרישת מפלגת העבודה מהממשלה, מונה גם לתפקיד שר הרווחה. בתפקידו כשר התקשורת רשם כחלון את אחד ההישגים המזוהים איתו ביותר - רפורמת הסלולר. במסגרת הרפורמה החלה לפעול בישראל מפעילת סלולר רביעית, הוטלו מגבלות שונות על תמחור שירותי סלולר והורדו חסמים במעבר לקוחות מחברה לחברה. ביצועה של רפורמת הסלולר הביא להוזלה משמעותית של חשבון הסלולר החודשי הממוצע בישראל מכמה מאות שקלים לכמה עשרות שקלים.
תכנון הרפורמה נעשה במשרד התקשורת בתקופת כהונתו של השר אריאל אטיאס (איש מפלגת ש"ס), קודמו של כחלון בתפקיד. עם זאת הוצאת הרפורמה לפועל, על-אף התנגדותן העזה של חברות הסלולר, הקנתה לכחלון מוניטין ציבורי כאיש ביצוע יעיל הפועל לטובת האזרח ומסוגל לעמוד בלחציהם של גופים כלכליים רבי-עוצמה. גם בתפקידו כשר רווחה הוביל כחלון רפורמה שזכתה להד ציבורי כאשר יזם שינוי במתכונת בדיקת הזכאות לגמלת סיעוד שנערכו לקשישים, השינוי נערך לאור תלונות על השפלה הנגרמת לקשישים בבדיקת יכולתם לתפקד באופן עצמאי.
פרישה זמנית
אל מול האהדה הציבורית לה, בשלהי 2012 זכה נקט כחלון בצעד מפתיע כאשר הודיע על לקיחת פסק זמן מהחיים הפוליטיים. בהמשך להודעתו נמנע כחלון מלהתמודד בבחירות המקדימות לרשימת הליכוד לקראת הבחירות לכנסת ה-19 (2013) וכן הודיע שאין בכוונתו לבקש לעצמו תפקיד שר בממשלה שתוקם לאחר הבחירות.
יומיים לפני מועד הבחירות לכנסת, הודיעו נתניהו וכחלון על הסכמה כי אם ירכיב נתניהו ממשלה לאחר הבחירות, ימונה כחלון כיזם לפתרון משבר מחירי הדירות בישראל וימונה ליושב ראש מנהל מקרקעי ישראל. הסכמה זו לא מומשה בפועל כאשר הרכיב נתניהו את ממשלתו לאחר הבחירות.
במהלך פסק הזמן שנטל השלים כחלון לימודים במסגרת תוכנית יוקרתית ללימודי ניהול באוניברסיטת הרווארד. לאחר מכן הקים את "המרכז לרפורמות ולמנהיגות" במכללה האקדמית נתניה.
בראשית 2014 הודיע על חזרה לחיים הפוליטיים והחל לעסוק בהקמת מסגרת פוליטית חדשה. בסוף אותה שנה ייסד באופן רשמי את מפלגת "כולנו" בראשות. במפה הפוליטית בישראל התמקמה "כולנו" במרכז וכמפלגה הדוגלת במדיניות כלכלית-חברתית.
שר האוצר
בבחירות לכנסת ה-20 (2015) רשמה מפלגת "כולנו" הישג מרשים כאשר גרפה 10 מנדטים. במסגרת ההסכם הקואליציוני בו הוסדרה הצטרפות המפלגה לממשלה בראשות נתניהו, הבטיח כחלון לעצמו את תפקיד שר האוצר. כמו-כן כלל ההסכם הקואליציוני הסכמה על העברת שורת סמכויות לידי שר האוצר, באופן שיעניק לו את הכוח לממש את הבטחותיו לקהל הבוחרים ובראשון הורדת מחירי הדירות.
במהלך כהונתו כשר אוצר מיקד כחלון חלק ניכר מפעולותיו לפתרון משבר הדיור המתקיים בישראל מזה מספר שנים. גולת הכותרת של מדיניותו בתחום זה הוא מיזם "מחיר למשתכן" – מיזם בו על-פי התכנון יבנו וישווקו אלפי דירות חדשות לזוגות חסרי דיור זכאים (העומדים במספר קריטריונים בסיסיים שנקבעו) ברחבי הארץ במחירים הזולים בכ-15% ממחיר השוק. מלבד מיזם זה קידם כחלון גם מספר מהלכים שכוונו להרחקת המשקיעים מתחום הנדל"ן למגורים, בהם הטלת מס על בעלי דירה שלישית ומעלה.
במהלך כהונתו כשר אוצר אישרו הממשלה והכנסת את מתווה הגז שנועד להסדיר את מערכת היחסים בין המדינה ובעלי מאגרי הגז שנמצאו מול חופי ישראל. על-אף שבמהלך מערכת הבחירות הבטיח כחלון כי ינקוט עמדה בסוגיה זו על-מנת להבטיח ייצוג הולם לאינטרס הציבורי במתווה, בפועל כאשר הגיע הנושא לדיון הודיע כי בשל מערכת יחסים חברית בינו ובין איש העסקים קובי מימון (בעל אחזקות בקידוחי הגז) מוטלת עליו חובה להימנע מעיסוק במתווה הגז. הימנעותו מעיסוק במתווה הגז זיכתה אותו במידה לא מבוטלת של ביקורת ציבורית ותקשורתית. בשל חילופי תפקידים בממשלה כיהן לזמן קצר גם כשר להגנת הסביבה וכשר הכלכלה והתעשיה.