Ahora en 2006 Hilary lanzo su primer perfume para damas llamado "With Love... Hilary Duff" asociándose con la compañía Elizabeth Arden para su lanzamiento en el mercado, la fragancia esta disponible ya a la venta en Estados Unidos, Australia, Canadá y Puerto Rico, With Love es una fragancia oriental que combina frutas exóticas como el jobo de la India o mangostino, con maderos de cocobolo, ámbar y almizcle. With Love... Hilary Duff cuenta además con un kit completo de productos de tocador, que incluye además de la fragancia en "spray", loción en crema para el cuerpo y un perfume en "roll on". Según aseguro Hilary, ella quedo muy satisfecha con el resultado final de la fragancia y agrego en una entrada de su blog que estaba muy contenta, porque el primer día se vendió toda en Macy's y en las tiendas boutiques de Elizabeth Arden.