Давайте для начала уберём всё лишнее, нарисуем аккуратно, дадим заменять файл и напишем однозначное сообщение об ошибке:
Предусмотрим обратную связь при перетаскивании и наведении:
При клике пусть открывается стандартный диалог выбора файла. Кстати, заменяться файл должен даже если не нажать «Удалить». То, что кнопка появляется в самой форме, меня не смущает. Если после внедрения вдруг окажется, что люди не понимают, как загрузить, можно будет дописать каких‑то слов.