Si quieres eliminar archivos que sabes con bastante seguridad que no los utilizarás en el futuro, puedes realizar los siguientes pasos:

En primer lugar selecciona el archivo que quieres eliminar. A continuación pulsa la combinación de teclas Shift+Supr. En ese momento te aparecerá una ventana con un mensaje. Si pulsas  lo eliminarás directamente y no aparecerá en la papelera de reciclaje.