פעילות פוליטית
את פעילות הפוליטית החל ב-1964, אז נבחר לאגודת פועלי הבניין (כחבר ברשימת מפא"י) במועצת העובדים של בית שאן. כעבור מספר חודשים התפטר מתפקידו ועבר לפעילות במסגרת תנועת חירות וכן במסגרת סיעת "תכלת-לבן" בהסתדרות העובדים. ב-1965 נמנה על רשימת חירות בבחירות המקומיות בבית שאן, נבחר לכהן כחבר המועצה המקומית בית שאן ומונה לשמש כסגן ראש המועצה.
ב-1966 נבחר לחבר הנהלת מרכז תנועת חירות. בבחירות לכנסת ה-17 (1969) שובץ במקום ה-24 ברשימת גח"ל שהתברר כריאלי ולאחר הבחירות הושבע כחבר כנסת (חבר הכנסת הצעיר ביותר עד לאותה עת). כיהן ברציפות כחבר כנסת מהכנסת ה-7 עד הכנסת ה-16. ב-1971, במקביל לכהונתו בכנסת, נבחר לכהן כיושב-ראש סיעת תכלת-לבן בהסתדרות העובדים.
חבר ממשלה
לאחר הבחירות לכנסת ה-9 (1977) מונה לכהן כשר הקליטה בממשלתו של מנחם בגין. ב-1979 העביר לידיו בגין גם את משרד השיכון. כהונתו כשר השיכון נמשכה ברצף לאורך מספר ממשלות והסתיימה ב-1990. כשר השיכון עמד בראש מיזם שיקום שכונות וערי מצוקה שנוהל לאורך שנות ה-80. מיזם זה הקיף 94 שכונות וערי פיתוח, בהן 800,000 תושבים - למעלה מ-20% מתושבי מדינת ישראל באותה תקופה. המיזם כלל הקמת מוסדות חינוך וחברה, לצד שיקום פיזי של הבתים וחזות השכונות.
מהלכים בולטים נוספים אותם הוביל כשר השיכון: גיוס משאבים לחידוש הבנייה הציבורית, הנהגת מנגנון פרוגרסיבי למתן משכנתאות בסבסוד ממשלתי בהתאם למצבו הכלכלי של הלווה, הקמת 230 יישובים חדשים בכל רחבי הארץ, הקמת 6 שכונות חדשות בירושלים, שיקום הרובע היהודי ובניית 5 ערים סביב ירושלים, קידום מיזם "בנה ביתך", יוזמה שהביאה לעיירות הפיתוח אוכלוסייה מבוססת. ככלל, במהלך כהונתו כשר השיכון, היה אחראי לבנייתן של 300,000 דירות חדשות.
בשנים 1984-1981 החזיק גם בתואר סגן ראש הממשלה וממלא מקומו. בדיונים סביב ניהול מהלכי מלחמת לבנון הראשונה (מבצע "שלום הגליל") התבלט כמי שהתנגד למדיניות שהוביל שר הביטחון אריאל שרון ואף התריע מפני אפשרות כי כוחות הפלנגות יבצעו מעשי נקם אכזריים באוכלוסיה הפלשתינית – תחזית שהתממשה באירוע הטבח במחנות הפליטים סברה ושתילה. ב-1985, כחבר בממשלת האחדות, היה השר היחידי ממפלגת הליכוד שהצביע בעד ההחלטה להסיג את כוחות צה"ל מרוב שטח לבנון אל רצועת בטחון בדרום לבנון.
בשנים 1992-1990 כיהן כשר החוץ. בתפקיד זה הוביל את כינון היחסים הדיפלומטיים עם 34 מדינות (ברובן מדינות אשר הוקמו לאחר התפרקות ברית המועצות), לרבות סין, הודו, רוסיה וניגריה. כשר חוץ אימץ עמדות ניציות מבחינה מדינית - הוא נמנע מלהשתתף במשלחת ישראל לוועידת מדריד (בין היתר בשל החלטת ראש הממשלה יצחק שמיר לעמוד בראש המשלחת) והיה שותף לקבוצת "החישוקאים" לצד אריאל שרון ויצחק מודעי, שפעלה להגבלת מהלכיו של ראש הממשלה שמיר בנוגע למדיניות ישראל בפתרון הסכסוך הישראלי-פלשתיני.
תנועת גשר
החל מ-1983 ניסה מספר פעמים לכבוש את ראשות הליכוד ולהפוך למועמד המפלגה לראשות הממשלה, אך כשל בכל פעם. ב-1992 סביב היערכות הליכוד לבחירות לכנסת ה-13 נשא נאום במרכז הליכוד שזכה לכינוי – "נאום הקופים". בנאומו טען כי זכה ליחס מפלה על רקע מוצאו העדתי, בין היתר אמר: "הייתי בפיהם של כמה אנשי ליכוד קוף שזה עתה ירד מהעצים, תוקפים אותי, טוענים שאני פומפוזי, דמגוג ושאיני דואג לבעיות האמיתיות".
ב-1993 התמודד בבחירות הפנימיות על ראשות הליכוד, מול בנימין נתניהו, משה קצב ובני בגין. בינואר 1993 טען נתניהו כי אחד מיריביו בליכוד ניסה לסחוט אותו באמצעות קלטת וידאו בה תועד לכאורה נתניהו בוגד באשתו (פרשה שזכתה לכינוי – פרשת "הקלטת הלוהטת"). על אף שלא נקב בשמו בגלוי, באופן ניסוח הדברים רמז נתניהו כי בדבריו כיוון ל
דוד לוי, אשר מצידו הכחיש כל קשר לאירוע. בבחירות שנערכו זמן קצר לאחר מכן ניצח נתניהו.
ב-1995, בעקבות חילוקי דעות והאשמות הדדיות עם נתניהו, פרש לוי ב-1995 מהליכוד וייסד את תנועת גשר. לקראת הבחירות לכנסת ה-14 (1996) התאחדה גשר עם רשימת הליכוד. לאחר הבחירות מונה לשר החוץ בממשלתו של נתניהו, כמו כן מונה לתפקיד סגן ראש הממשלה וממלא מקומו. בדצמבר 1997 התפטר מתפקידיו בממשלת נתניהו, בטענה כי תקציב המדינה לשנת 1998 אינו מספק מענה לשכבות החלשות בישראל.
לקראת הבחירות לכנסת ה-15 (1999) הצטרפה גשר לרשימת "ישראל אחת" בראשות אהוד ברק, שכללה את מפלגת העבודה ותנועת מימד. לאחר הבחירות מונה לכהונת שר חוץ וסגן ראש הממשלה, בממשלה שהקים אהוד ברק. התפטר מתפקידו באוגוסט 2000 על-רקע אי שיתופו במהלכי המשא-ומתן המדיני עם הפלשתינים והסורים.
לקראת הבחירות המיוחדות לראשות הממשלה ב-2001 תמך במועמדותו של אריאל שרון. בראשית 2002 מונה לכהונת שר בלי תיק בממשלתו של שרון, ביולי 2002 התפטר במחאה על התוכנית הכלכלית שהציגה ממשלת שרון.
לקראת הבחירות לכנסת ה-16 (2003) פרש מתנועת גשר, שב לליכוד ושובץ ברשימת המפלגה לכנסת במקום ריאלי. בכנסת ה-16, כחבר בסיעת הליכוד, היה שותף לקבוצת "המורדים" בליכוד שהובילה את ההתנגדות לתוכנית ההינתקות שהוביל ראש הממשלה שרון. לקראת הבחירות לכנסת ה-17 שובץ במקום ה-36 ברשימת הליכוד שהתברר כלא ריאלי וכך סיים את כהונה בת עשרות שנים כחבר כנסת.
תדמית ציבורית
לאורך שנותיו כפוליטיקאי עברה תדמיתו הציבורית והתקשורתית כמה שינויים: בתחילת דרכו נתפס לוי כמנהיג הבולט מבין קבוצת הפוליטיקאים בני עדות המזרח שצמחה בתנועת הליכוד וכמי אשר מציג שילוב בין ממלכתיות וייצוג השכבות החלשות. עם זאת במהלך שנות ה-80 וה-90 דבקה בו גם תדמית של פוליטיקאי רודף כבוד ונוח להיעלב, לכך תרמה בין היתר העובדה כי פעמים רבות, במחאה על אי קבלת תפקיד או מסיבה פוליטית אחרת, נהג לוי להסתגר בביתו בבית שאן ולאיים בהתפטרות. בזמן כהונתו כשר החוץ הובלטה לא פעם העובדה כי אינו שולט בשפה האנגלית ועניין זה צוין כעדות לחוסר התאמתו לתפקיד (על אף שהוא שולט בצרפתית, בספרדית ובערבית). תדמיתו זה שלוי תורגמה גם לשורה ארוכה של בדיחות עממיות שאף זכו לכינוי "בדיחות דוד לוי". אל מול תופעות אלו טען כי הפגיעה בתדמיתו טופחה על ידי יריביו הפוליטיים ונשענה בין היתר על סטריאוטיפים גזעניים על רקע מוצאו העדתי.
בשנים לאחר פרישתו מהחיים הפוליטיים מיעט להתראיין ובמידה רבה נעלם מן החיים הציבוריים. במקביל, עם השנים חלה עלייה מתמשכת בהערכה הציבורית והתקשורתית לשנותיו כפוליטיקאי. ב-2018 זכה בפרס ישראל בקטגוריה "מפעל חיים, תרומה לחברה ולמדינה".
