Τα Σκουλούφια βρίσκονται 18 χιλιόμετρα νοτιοανατολικά του Ρεθύμνου, στους πρόποδες του Ψηλορείτη, επάνω στον επαρχιακό οδικό άξονα που συνδέει το Ρέθυμνο με την ενδοχώρα του Μυλοποτάμου. Διοικητικά, τα Σκουλούφια υπάγονται στη Δημοτική Ενότητα Αρκαδίου του Δήμου Ρεθύμνου, ενώ το ιστορικό Αρκάδι απέχει μόλις δέκα λεπτά οδικώς από το χωριό.
