«Pretty (Ugly Before)« se publicó como sencillo de vinilo de 7» en edición limitada en 2003 por el sello discográfico Suicide Squeeze Records y fue el último sencillo de Smith publicado en vida. Más tarde fue reeditado por Domino en 2004 y apareció en el último álbum póstumo de Smith, «From a Basement on the Hill». La canción cuenta con los coros (después del puente) de Sam Coomes, antiguo compañero de Smith en Heatmiser. Limitado a 1000 copias en vinilo tricolor.