J'avais déjà exploré le sujet et laissé tomber pour Internet Explorer.
Dom avait trouvé comment faire mais son code n'est pas valide XHTML.
J'avais donc transformé tout cela et oublié d'en parler jusqu'à ce que je découvre qu'au moins une personne ne savait pas comment faire.

Voici donc une méthode express :

Réduire l'image qui servira de favicon en 16x16, la sauvegarder en gif (par exemple) pour Firefox et en ico pour IE avec un logiciel de traitement d'image (XnView fait cela très bien).

Si les images sont nommées fav.gif et fav.ico, il faut insérer ce code dans le template du thème (ou son équivalent) au niveau du header (soit après la balise <head> et avant la balise </head>) :


<link rel="icon" type="image/gif" href="/fav.gif" />
<link rel="shortcut icon" href="/fav.ico" />