No mundo virtual as medidas utilizadas para definir peso dos arquivos é totalmente diferente do mundo real em que vivemos. As medidas que se referem ao peso dos arquivos digitais são:
bit, byte, kilobyte, megabyte gygabyte e terabyte.

Para que você tenha uma idéia, uma foto de qualidade razoável tem mais de 100KB e uma de boa qualidade acima de 400KB.

Um modem 56KB pode transferir na teoria 56KB/s, mas infelizmente por vários motivos físicos esse valor raramente é alcançado, ficando por volta de 30~40KB/s.

Quando falamos em internet, a transferência de arquivos entre o servidor onde está hospedado o site e o computador do visitante pode ser um problema, já que alguns visitantes ainda navegam com modens antigos, tendo sua conexão limitada.

O tempo de decisão do usuário de ficar no site e continuar a ver o conteúdo depende de vários fatores como aparência, navegabilidade e tempo de carregamento do site.

Por exemplo: Se você colocar 3 fotos de 100KB cada uma o visitante terá que esperar 7.5 segundos, isso sem contar no peso da própria página em si.

Se uma página de um site tiver muitas imagens, a página irá demorar muito tempo para carregar no navegador do usuário, tempo suficiente para convencê-lo de procurar outro site.

O ideal é que cada página tenha entre 100~150KB (sei que nem sempre isso é possível, mas faça o seu melhor).

Alternativas
Caso queira exibir imagens pesadas no site, procure criar miniaturas, sendo assim o visitante terá a opção de ver a imagem ao clicar na miniatura (confira a imagem da pena no inicio desta página).

Evite também inserir música, animações em flash ou qualquer outro objeto que façam o site demorar a carregar.

Como saber se o seu site está carregado demais
Em primeiro lugar, podemos utilizar do bom senso para saber se uma página está carregada demais, bastando analisar o peso das imagens com a ajuda do próprio gerenciador de arquivos do sistema operacional que estiver utilizando (provavelmente o Windows).

Caso fique em dúvida podemos utilizar o medidor de tamanho do editor de sites, como é o caso do Dreamweaver e do FrontPage, essa opção fica na parte inferior do lado direito do programa.

Também é possível utilizar uma extensão feita para o FireFox que exibe o tempo necessário para carregar qualquer página visitada. Ele exibe um contador que fica na parte inferior direita do navegador.

Leia também
Imagem nas Páginas
Banner Site