את דרכו הציבורית והפוליטית החל גפני ברמת השלטון המקומי כאשר נבחר למועצה המקומית אופקים, כיהן כחבר מועצה למשך כעשור. במהלך כהונתו היה מעורב במאבקים ופעולות מחאה נגד אירועים בישוב אשר כללו חילול שבת או סתרו את אורח החיים הדתי באופן אחר.
בבחירות לכנסת ה-12 (1988) התמודדה מפלגת דגל התורה לראשונה כרשימה עצמאית וגפני אשר היה שותף בהקמת המפלגה, שובץ במקום השני ברשימה והושבע לאחר הבחירות כחבר כנסת. לאחר הבחירות הצטרפה דגל התורה לממשלת האחדות הלאומית בראשות יצחק שמיר. בהתאם להסכם הקואליציוני כיהן גפני בשנים 1992-1990 כסגן שר הדתות. במהלך כהונת הכנסת ה-12 כיהן כחבר בוועדות: ועדת הכנסת וועדת העבודה והרווחה.
בכנסת ה-13 כיהן גפני קדנציה חלקית כחלק מהסכם רוטציה בין מפלגת דגל התורה ומפלגת אגודת ישראל, אשר התאחדו לכדי סיעת יהדות התורה. במהלך הכנסת ה-13 כיהן כחבר בוועדות: ועדת הכנסת, ועדת העבודה והרווחה ובוועדה המיוחדת למאבק בנגעי הסמים והאלכוהול. לאחר שנאלץ לפרוש מן הכנסת בשל הסכם הרוטציה, מונה על ידי הרב שך לתפקיד מזכ"ל דגל התורה. גם בכנסת ה-14 כיהן גפני קדנציה חלקית בסיעת יהדות התורה. כיהן כחבר בוועדות: ועדת הכנסת, ועדת החוקה, חוק ומשפט, הוועדה לענייני ביקורת המדינה, הוועדה מיוחדת לבעיית העובדים הזרים והוועדה למינוי דיינים.
בכנסת ה-15 כיהן גפני כחבר כנסת בסיעת יהדות התורה. שימש כיושב-ראש ועדת הפנים ואיכות הסביבה וכן כחבר בוועדות: ועדת הכנסת, ועדת הכספים, הוועדה לענייני ביקורת המדינה, הוועדה למינוי דיינים, וועדה מיוחדת לנושא בעיית העבדים הזרים.
בכנסת ה-16 כיהן גפני בתחילה כחבר כנסת בסיעת יהדות התורה וכעבור שנתיים עם פרישת דגל התורה מן הסיעה, היה לחבר בסיעת דגל התורה. כיהן כחבר בוועדות: ועדת החינוך, התרבות והספורט ובוועדה לענייני ביקורת המדינה.
את כהונת הכנסת ה-17 שוב החל גפני כחבר בסיעת יהדות התורה וגם במהלך כנסת זו פרשה סיעת דגל התורה ועימה גפני. כיהן כחבר בוועדות: ועדת הפנים והגנת הסביבה, ועדת החוקה, חוק ומשפט והוועדה המיוחדת לפניות הציבור.
לקראת הבחירות לכנסת ה-18, בעקבות פרישתו של חבר הכנסת אברהם רביץ מפעילות פוליטית, מונה גפני להחליפו בתפקיד יושב-ראש מפלגת דגל התורה, במקביל המשיך לשמש כמזכ"ל המפלגה. בכנסת ה-18 כיהן גפני כחבר בסיעת יהדות התורה ומונה לתפקיד יושב-ראש ועדת הכספים. כמו כן כיהן כחבר בוועדת הפירושים ובוועדה למינוי דיינים.
בראשית כהונת הכנסת ה-19 כיהן גפני כיושב-ראש ועדת הכספים, אך כעבור חודשיים עבר לכהן כיושב-ראש ועדת המדע והטכנולוגיה.
בכנסת ה-20 שב גפני לכהן כיושב-ראש ועדת הכספים.
בשנותיו כמחוקק היה שותף גפני לחקיקתם של מספר לא מבוטל של חוקים חדשים, בהם:
- חוק המסדיר פיקוח רגולטורי על מקורות קרינה בלתי מייננת.
- חוק האוסר על רשויות מקומיות לגבות תשלום בכניסה לגנים ציבוריים.
- חוק המסדיר פטור מארנונה לבתי עלמין.
- חוק אשר ביטל את תפקיד נציב הדורות הבאים בכנסת.
- חוק אשר קבע כי צילום נפגע גוף או נפש, בסמוך לאירוע הפגיעה, ללא הסכמתו, מהווה פגיעה בפרטיות.
• חוק אשר הרחיב את האופנים בהן רשויות מקומיות יכולות להעניק תמיכה למוסדות חינוך מוכרים לא רשמיים.
- חוק אשר העניק הטבות מס בבניית מגדלי מגורים חדשים להשכרה.
- חוק המגדיל את מנעד גודל הישובים בסמוך לגבול הצפון, אשר תושביהם זכאים להטבות מס.
