Para ello iremos a Inicio > Ejecutar > Regedit y localizaremos la clave:
HKEY_CURRENT_USERSoftwareMicrosoftInternet ExplorerTypedURLs
Una vez localizada esta clave, en el panel derecho iremos eliminando las entradas que deseemos.