Γενάρχης της οικογένειας είναι ο Παναγιώτης Αντωνακάκης του Θεοφάνη. Ο Παναγιώτης γεννήθηκε το 1883 στο Μαστανάρι κι έκανε δυο γάμους: με τη Μαρία, που πέθανε νέα και τη Σουλτάνα Τερζή (1881-1953).
Η Σουλτάνα ήταν χήρα του Θόδωρου Αργυρακάκη που σκοτώθηκε από τους Τούρκους στο Μαστανάρι το 1912 και είχε ήδη δυο παιδιά, την Θεοπούλα (1907-1990) και την Μάρθα (1912-2000), όταν παντρεύτηκε τον Παναγιώτη Αντωνακάκη. Ο γάμος έγινε στο Μαστανάρι το 1920. Το 1921 γεννήθηκε ο γιος τους Ανδρέας και την επόμενη χρονιά ήρθαν ως πρόσφυγες στην περιοχή. Το 1923 εγκαταστάθηκαν στην Πόρπη. Ο γάμος τους, όμως, δεν κράτησε πολύ λόγω του θανάτου του Παναγιώτη. Ο Παναγιώτης Αντωνακάκης ήταν ο πρώτος νεκρός της Πόρπης, την πρώτη χρονιά της ίδρυσής της, το 1923. Πέθανε σε ηλικία 50 ετών και ο 2χρονος γιος τους Ανδρέας έμεινε ορφανός. Η μητέρα του Σουλτάνα ξαναπαντρεύτηκε, για τρίτη φορά, τον Αλέξη Σαββάκη, που ήταν χήρος και αυτός, με μια κόρη, τη Βασιλοπούλα (Ξενάκη αργότερα). Η Σουλτάνα με τον Αλέξη δεν έκαναν παιδιά.
Ο Ανδρέας (1921-1964) έμεινε ορφανός από πολύ μικρός. Παντρεύτηκε την Ελένη (1926), κόρη του Γιώργου και της Ευδοξίας Μαντζανίδου. Απόκτησαν δυο παιδιά, τον Βαγγέλη (1943) και την Όλγα (1945). Ο Ανδρέας πέθανε πολύ νέος, στα 43 του χρόνια, το 1965.
Ο Βαγγέλης ζει στην Πόρπη ενώ έζησε για πολλά χρόνια στην Κομοτηνή. Παντρεύτηκε την Ανθή Κώστογλου από το Κουτσό Ξάνθης και απόκτησαν δυο παιδιά, τον Ανδρέα και την Μαριλένα.
Η Όλγα παντρεύτηκε τον Χρήστο Κόλλια και ζει στη Θεσσαλονίκη. Απόκτησαν δυο παιδιά, τον Αλέξανδρο και την Ελένη.