Me suena a que te está poniendo la marca de agua y el borde en fotos como si estuvieran sin achicar... pero veo el peso de los archivos y el tamaño del zoom y están bien

Las probé en fotos directamente en 800x600 y no tuve problemas.
¿Grabaste todo con plugins? No los habrás movido de carpeta y por eso sale todo como sale?
Pero me llama la atención que a mí me anda todo, menos la de achicar imagen.
Por ahí restaurando esa, grabándola de vuelta pero sin plugin de por medio (de hecho hasta podrías ponerle el paso de ajuste de foco, va "bicúbica más enfocada", que es la última opción en el cuadro), las otras dos funcionan.
Me suena a que hay un conflicto con las unidades de medida o algo en la resolución: Parece como si estuvieras re-achicando la foto para después agregarle el borde, o que hubiera algún conflicto con las unidades de medida.
De hecho mirá a la derecha cómo me aparece a mí el cuadro de diálogo de la acción: no tengo tus 0,75 cm ni a palos (y está puesto en "relativo", o sea como que hay algo ahí) pero es todo en base a una foto en 800x600.


Para volver a grabar ese paso (en realidad, para volver a grabar cualquier paso, acá está el ejemplo con el del borde), he aquí la solución:

Para la de "achicar", en los archivos que te pasé en el link anterior, tenés opciones tanto para vertical u horizontal. Podés hacer lo mismo en "volver a grabar" con esas, para ponerles vos la medida que uses.

(igual contame cómo te fue, me tiene re intrigada el asunto)