På fredagen i förra veckan märkte utrikestjänstemän i London att stora saker var i görningen i Afghanistan. De rådde Raab att ringa upp sin afghanske motsvarighet Hanif Atmar för att göra upp en plan om säkerheten för medarbetare till britterna i Kabul.
Men ministern svarade att han inte tänkte avbryta sin semester på Kreta i Grekland.
"Vem skulle inte ringa ett telefonsamtal när de fått höra att det kan rädda liv?", skriver nu Labours oppositionsledare Keir Starmer på Twitter.
Att ministerkollegor försvarat Raab med att det hade hjälpt föga om han lyft luren lugnar inte upprördheten. Flera andra partier tycker att 47-åringen måste bort.
– Dominic Raab måste avgå nu, säger Layla Moran, utrikestalesperson för Liberaldemokraterna.
– Om han inte gör så, bör premiärministern visa ledarskap och sparka honom.