Родился 3 августа 1890 года в семье выходцев из крестьян — дорожного строителя-десятника Степана Илларионовича Мельникова и его жены Елены Григорьевны (в девичестве Репкиной). Благодаря покровительству инженера-изобретателя и предпринимателя В. М. Чаплина в 1905 году поступил в Московское училище живописи, ваяния и зодчества. Будучи студентом, женился на Анне Гавриловне Яблоковой, в браке с которой родились двое детей — Людмила (1912) и Виктор (1914). Обучался на живописном и архитектурном отделениях. Последнее Мельников закончил в 1917 году и сразу погрузился в архитектурную практику, но никогда не прекращал заниматься живописью.

Получив диплом архитектора, в числе других выпускников МУЖВЗ вошел в Архитектурно-планировочную мастерскую Строительного отдела Моссовета под руководством И. В. Жолтовского и А. В. Щусева, результатом работы которой стал проект перепланировки столицы «Новая Москва» (1918–1922). В 1920 году получил должность профессора во ВХУТЕМАСе и вместе с И. А. Голосовым руководил мастерской «Новая Академия» (1920-1924).

Первый полностью самостоятельно реализованный проект Мельникова — павильон «Махорка» на Всесоюзной сельскохозяйственной выставке в Москве (1923). Вскоре за ним молодой архитектор создал первый саркофаг для тела В. И. Ленина (1924), который использовался в Мавзолее до 1940-х годов.

Мировая известность пришла к Мельникову после строительства павильона СССР на Всемирной выставке в Париже (1925), который открыл собой череду международных проектов: павильон СССР на Международной выставке в Салониках (1926), участие в Международной выставке современной архитектуры в Варшаве (1926) и выставке «Век машин» в Нью-Йорке (1927), а также, позднее, персональная экспозиция на V Миланской Триеннале (1933).

Во второй половине 1920-х годов начался наиболее плодотворный период творчества Мельникова, который сопровождал целый ряд сооружений — реализованных, в основном, в Москве. По его проектам были построены гаражи на Бахметьевской и Новорязанской улицах и др. Для первого архитектор предложил оригинальную прямоточную систему движения автобусов, позволявшую избегать движения задним ходом.

Большой вклад Мельников внес в сложение нового типа общественного здания — рабочего клуба. Архитектор выполнил семь проектов, шесть из которых было реализовано: пять в Москве (им. Русакова, 1927–1929; «Каучук», 1927–1929; «Буревестник», 1927–1930; им. Фрунзе, 1927–1929; «Свобода», 1927–1931) и один в Дулево (1927–1929), предусмотрев для каждого новаторские решения трансформации пространства за счет раздвижных перегородок и полов.

Одновременно с разработкой клубов и гаражей архитектор спроектировал и построил собственный дом в Кривоарбатском переулке (1927–1929), в котором он применил модульную «систему архитектора Мельникова» из цилиндров.

Мельников принимал участие в большинстве наиболее значимых архитектурных конкурсов 1920-х – 1930-х годов: на Дворец труда (1922–1923), Дворец Советов (выступив со встречным предложением Дворца народов, 1931–1933), Наркомат тяжелой промышленности (1934) и др. В то же время архитектор был вовлечен в градостроительную проблематику — в том числе спланировал партер Центрального парка культуры и отдыха (1928), создал проекты реконструкции Арбатской площади (1931), планировки Лужников и Юго-Западного района Москвы (1935–1936), застройки проездов Новинского бульвара (1937–1938).

Последней значительной постройкой архитектора оказался фасад гаража Госплана (1936).   В начале 1936 года в советской прессе развернулась кампания против Мельникова, он был уволен из состава преподавателей Московского архитектурного института, а его конкурсный проект павильона СССР на Всемирной выставке в Париже в 1937 году был отвергнут. Травля архитектора достигла кульминации на первом съезде Союза Советских архитекторов в июне 1937 года, за этим последовало отстранение от архитектурной практики в 1938 году. Несмотря на частичную реабилитацию творчества архитектора с середины 1960-х годов, и общественное признание, которые оно получило впоследствии, проекты, которые он разрабатывал в поздний период творчества, остались не осуществленными. Среди них — павильон СССР для Международной выставки в Нью-Йорке (1962) и детский кинотеатр на ул. Арбат (1967).

До конца жизни Мельников занимался преподавательской деятельностью. Вслед за работой во ВХУТЕМАСе преподавал в Государственном техникуме кинематографии (1926–1927), во ВХУТЕИНе, ВАСИ и МАИ (1927–1936), после — в САДИ (1949–1951), МИСИ (1951–1958) и ВЗИСИ (1958–1974).

Константин Степанович Мельников умер 28 ноября 1974 года. Похоронен на Введенском кладбище в Москве.

Столетний юбилей архитектора в 1990 году был объявлен ЮНЕСКО годом Константина Мельникова. В июле 1990 года состоялась персональная выставка в Государственном музее изобразительных искусств им. А. С. Пушкина, которая до последнего времени оставалась единственной полноценной ретроспективой творчества архитектора.