דוד רפאל בן-עמי, שכונה מילדותו בשם "דָּדִי", נולד ב-8 באוקטובר 1950 במושב נהלל שבעמק יזרעאל, בנם של אחיה וחוה בן עמי (פיינשיל) חברי המושב. אביו, אחיה בן עמי, היה מראשוני המתגייסים לפלמ"ח ומג"ד בצה"ל. סבו וסבתו של "דדי", חנה ויוסף בן עמי, היו ממייסדי נהלל.