Для начала нужно обновить кэш пакетов и установить Exim:
apt-get update && apt-get install exim4-daemon-light mailutils
В процессе установки соглашайтесь на все действия, которые предлагает установщик.
Для настройки Exim наберите в консоли следующую команду:
dpkg-reconfigure exim4-config
Появится окно с выбором типа общей почтовой конфигурации. Выберите пункт “интернет-сайт”.
В следующем окне введите ваш домен полностью (напр.: world-blog.ru). Читать далее Установка exim на Ubuntu (настройка почты)