Ханина Карчевский родился в бессарабском местечке Петровка (теперь Тарутинского районаОдесской областиУкраины) в семье Ицхока и Рухл Карчевских в 1877 году (отдельные источники упоминают 1873 год). Когда Ханина был ещё ребёнком, семья переехала в уездный город Бендеры, где он учился в местной Талмуд-Торе (бесплатной еврейской школе), был замечен кантором Шахновским и поступил к нему певчим.
Продолжил музыкальное образование в Кишинёве, где пел в синагогальном хоре. После обучения получил позицию кантора в Херсоне, но в возрасте двадцати двух лет решил получить академическое образование и поступил в Варшавскую консерваторию на дирижёрское отделение. Работал хормейстером и дирижёром военного оркестра в Варшаве, затем поселился в Палестине (1908), где стал первым учителем музыки в первой ивритской гимназии «Герцлия» и одновременно первым поселившимся в только что основанном Тель-Авиве композитором.
Создал хор из учеников гимназии, для которого сам сочинял или аранжировал чужие песни. Так, в 1912 году он переложил известную песню на слова американского еврейского поэта Мориса Розенфельда (на идише) и музыку Рихтера на новые ивритские слова в собственной аранжировке, превратив её в гимн гимназии «Герцлия», а впоследствии — одну из самых известных израильских песен «По беЭрэц Хэмдат Авот» (Здесь, в стране отцов желанной…). Для другой своей популярной песни «Халуцим» (Пионеры-первопоселенцы) он переработал мелодию русского композитора Михаила Ипполитова-Иванова «Процессия Сардара» из серии зарисовок «Кавказские эскизы».
Из других ставших народными песен Карчевского, написанных уже на собственные мелодии, следует отметить такие популярные как «Агада» («Ал сфат ям Кинерет») — Предание, на слова Якова Фихмана, «БеШадмот Бейт-Лэхем» и «Эл рош hehap». Карчевский писал также хоровые композиции и фортепианные этюды. В 1920 году он основал в Тель-Авиве первый в стране профессиональный хор из двухсот певцов, которому аккомпанировал оркестр, состоявший из сорока музыкантов.
Будучи холостяком, Карчевский жил в одиночестве и покончил с собой в Тель-Авиве в конце декабря 1925 года. Большой сборник песен Карчевского был издан в 1927 году его учениками из гимназии «Герцлия».
