Изображение по умолчанию ведёт себя как текст, так как является инлайновым элементом. Инлайновые элементы выравниваются по базовой линии текста, которая проходит выше нижней границы родительского элемента. Поэтому под изображением образуется пробел.

Это становится очевидно, если поставить изображение рядом с текстом:

Вася

При этом отсутствие текста не является помехой. Изображение встаёт на базовую линию шрифта, применённого к этому блоку:

Чтобы избавиться от этого эффекта, можно поменять поведение элемента на блочное:

<!-- index.html -->
<a href="#">
  <img src="polovnyov.png">
</a>

/* style.css */
a {
  border: 1px solid red;
}

img {
  display: block;
}

Или явно указать изображению вертикальное выравнивание:

<!-- index.html -->
<a href="#">
  <img src="polovnyov.png">
</a>

/* style.css */
a {
  border: 1px solid red;
}

img {
  vertical-align: bottom;
}