Na primeira semana do primeiro mês do primeiro ano da segunda metade do século XX, ao protagonista, que também faz as vezes de narrador, é dado o nome de Hajime, que significa início. Filho único de uma normal família japonesa, Hajime vive numa província um pouco sonolenta, como normalmente todas as províncias o são.
Nos seus tempos de rapazinho faz amizade com Shimamoto, também ela filha única e rapariga brilhante na escola, com quem reparte interesses pela leitura e pela música. Juntos, têm por hábito escutar a coleção de discos do pai dela, sobretudo «South of the Border, West of the Sun», tema de Nat King Cole que dá título ao romance. Mas o destino faz com que os dois companheiros de escola sejam obrigados a separar-se.
Os anos passam, Hajime segue a sua vida. A lembrança de Shimamoto, porém, permanece viva, tanto como aquilo que poderia ter sido como aquilo que não foi. De um dia para o outro, vinte anos mais tarde, Shimamoto reaparece certa noite na vida de Hajime. Para além de ser uma mulher de grande beleza e rara intensidade, a sua simples presença encontra-se envolta em mistério. Da noite para o dia, Hajime vê-se catapultado para o passado, colocando tudo o que tem, todo o seu presente em risco.