Karlby ligger cirka 6 km nord for Grenaa tæt på klintekysten med de 3 klinter: Gjerrild Klint, Karlby Klint og Sangstrup Klint.
Karlby har ca. 70 indbyggere, og byens bebyggelser består af enfamiliehuse og gårde, primært centreret omkring de to gennemgående veje.
Planlægningsmæssige forhold
Karlby er en afgrænset landzonelandsby. Inden for landsbyafgrænsningen er der mulighed for at opføre enkelte nye boliger og etablere småerhverv, som kan indpasses i byen. Dog under forudsætning af, at der ikke opstår konflikter mellem boligerne og eventuelle aktive landbrug.
Ved opførelse af nybyggeri samt om- og tilbygninger skal der tages videst mulige hensyn til eksisterende landsbykvaliteter, herunder beplantning, fællesarealer, vejenes forløb og udformning samt lokale byggetraditioner.