Enligt utrikesminister Annalena Baerbock hämtades de under onsdagen i en "extremt svår" operation.
"De 27 barnen är när allt kommer kring offer till IS", skriver Baerbock i ett uttalande.
"Mödrarna måste hållas ansvariga för sina ageranden", fortsätter hon.
Fyra av kvinnorna greps så fort de anlänt till flygplatsen i Frankfurt, anklagade för att ha anslutit sig till en terrororganisation. En av dem misstänks även för brott i samband med att hon hållit en yazidisk kvinna som slav.