Non è proprio così.
Per ordine
1) da PHP devi usare una delle miliardi di possibilità di chiamata ricorsiva a rmdir (ecco uno dei pochi casi in cui una procedurina ricorsiva è utile, essendo rapida da scrivere)
2) da "fuori" non è affatto scontato poter eseguire un qualche comando che opera su file o cartelle, perchè dipende essenzialmente dai diritti che file e cartelle (che in realtà su *nix sono sempre file, detto per inciso), hanno.
TRADUZIONE. Se l'utente che esegue l'interprete PHP (in realtà è tipicamente l'utente che esegue il server http) si chiama www, allora esso potrà cancellare, scrivere, eseguire eccetera con i diritti dell'utente www.
Se una cartella è di proprietà di un altro utente (tipo root), e i relativi diritti non sono "universali" (tipo 666 o peggio 777 o quello che si vuole), ALLORA non riuscirai, pur lanciando uno script bash da PHP, a far nulla.
Poi c'è il problema del posizionamento fuori dalla "visibilità di sicurezza" PHP (lascio stare).
Ci sono workaround più o meno "sporcaccioni", tipo aggiungere l'utente www al gruppo sudoers (visudo o quello che è, eccetera).
TRADUZIONE/2: in questo caso la primissima cosa da fare è exec-are un "who am i", giusto per capire l'utente, e quindi i diritti, del programma PHP