Badholmen hette tidigare Garnholmen men fick sitt nuvarande namn i samband med att en badinrättning byggdes på ön år 1859. Garn kom från att fiskarna i hamnen lagade sina nät på holmen.