Идея экранизации мистической повести Николая Гоголя принадлежит режиссеру и директору киностудии «Мосфильм» Ивану Пырьеву. Снимать он поручил двум студентам Высших режиссерских курсов — Константину Ершову и Георгию Кропачеву.
Однако в самом начале работы отснятый ими материал разочаровал руководство киностудии, и на помощь срочно вызвали знаменитого киносказочника, режиссера Александра Птушко. Он энергично принялся за работу, придумав декорации, переделав облик главного героя и собрав команду мастеров пластического грима. Работа над первым советским «ужастиком» была очень масштабная, кропотливая и во многом новаторская.
Сначала в роли Панночки снималась актриса Александра Завьялова. Когда отсняли уже примерно половину фильма — директор киностудии решил заменить актрису. Пробы проходили Елена Санько, Ада Роговцева, Жанна Болотова и Светлана Коркошко, но утвердили Наталью Варлей.
Ее пригласили на съемки после громкой премьеры «Кавказской пленницы», тем более что актриса была спортивной и не суеверной — полеты стоя в гробу ее не пугали. В перерывах ей ставили подсветку, и она в этом же гробу читала конспекты и учебники.
Для съемок изготовили три гроба. В одном Панночка просто лежала, второй — совсем небольшой и закрытый для общих планов, а вот для летающего пришлось сделать целую систему. Гроб подвесили на подвижных металлических струнах, в основание был вмонтирован штырь, к которому Наталью Варлей пристегивали монтажным поясом.
Под балахоном у актрисы была скрыта дополнительная опора, а крутили гроб на стреле крана. Перед тем как отправить Варлей «в полет», систему перепробовала почти вся съемочная группа. Но во время работы страховка подвела, и актриса на полном ходу вылетела из гроба. Если бы не поймавший девушку Леонид Куравлев, то могла бы случиться беда.
Вия — ночной кошмар не только Хомы Брута, но и многих советских детей — играл силовой акробат Николай Степанов. Нужен был физически сильный и рослый актер, чтобы таскать на себе костюм чудовища. Сам костюм делали из пропитанных смолой слоев мешковины, руки были слеплены из гипса, веки откидывались на шарнирах, а глаза монтировали из стекла со светоотражающей поверхностью. Костюм был невероятно тяжелый, что способствовало медленной и неуклюжей походке Вия. Кстати, у первых режиссеров фильма Вий выглядел иначе — это был гигантский немощный старик, которого со всех сторон поддерживала свита.
Для свиты Вия были нарисованы сотни эскизов. Птушко отобрал самые фантастические. Для рослой «нечисти» были приглашены артисты цирка и спортсмены, а остальных демонов играли карлики. Упырям делали разный грим: одних красили в синюшный оттенок, других в серый, рисовали скелеты, приделывали дополнительные носы, клеили висящие уши, «убирали» лица. Сопровождать их должны были гигантские насекомые — богомолы, жуки и пауки, но, перебрав несколько вариантов, режиссер с оператором остановились на более привычных черных котах и воронах.
Сцену с упырями, сползающими по вертикальной стене, снимали на макете. Из досок сколотили «стену» и поставили ее под углом к полу. Актеры медленно сползали по наклонной поверхности, а оператор нависал над ними сверху на кране. Получался эффект вертикальной стены, по которой, цепляясь когтями, лезет всякая нечисть.
На роль старой Ведьмы не удалось найти женщину — все актрисы отказывались еще на стадии проб. Поэтому Ведьму сыграл мужчина — актер Николай Кутузов. Неожиданно для всех на съемках он запил и даже один раз сорвал рабочий процесс. Не выпивавший до этого Кутузов объяснял внезапную тягу к алкоголю страхом перед «дьявольской ролью».
Первый и единственный фильм ужасов в советском кино был одним из лидеров проката 1968 года. Его закупило к показу несколько зарубежных стран — в США он шел под названием Viy or Spirit of Evil, в Аргентине — Viy, espíritu del mal, в Финляндии — Velho… В России «Вий» экранизировали еще два раза — в 2006 и 2014 годах.