Se o seu site não aparece nas primeiras páginas, dificilmente ele receberá visitas vindas dos buscadores.

Alguns dos motivos que podem estar impedindo seu site de aparecer nas primeiras páginas são:

Site recém criado
Sites que foram criados a pouco tempo, podem ainda não ter conseguido a atenção dos grandes buscadores para o recém nascido site.

Normalmente o Google consegue descobrir novos sites sozinho, porém você pode dar uma ajuda a eles inscrevendo seu site manualmente.

Você pode também tentar conseguir um link em algum site que já esteja cadastrado nos buscadores, já que eles seguem os links contidos nas páginas e poderá acabar encontrando o seu.

Confira uma lista com vários diretórios de sites em que você pode cadastrar seu site gratuitamente.

Servidor instável
Os servidores também influenciam no respeito que seu site terá em relação aos buscadores.

Se o seu site vive fora do ar ou apresenta lentidão constante, certamente seu site será rebaixado.
Neste caso eu recomendo a troca imediata de servidor.

Não otimizado
Para ter uma boa posição não basta ter conteúdo de qualidade. É necessário que as páginas estejam otimizadas da melhor forma.
Recomendo a leitura da série de dicas de otimização de sites para os buscadores.

O site não contém textos
Os textos são o combustível dos buscadores. Sites feitos apenas com imagens ou com textos em imagens tornam a indexação do conteúdo difícil ou até mesmo impossível.

O mesmo acontecia com animações em Flash, porém uma grande mudança foi feita quanto a isso. Os buscadores do Google e Yahoo passaram a indexar textos e links contidos em arquivos Flash.

Nota
Devo lembrar que é impossível aparecer nas primeiras posições para todos os termos existentes. Você deve escolher quais seriam as melhores palavras-chaves para o seu site e se empenhar em obter um bom posicionamento para elas.

Leia também
Profundidade dos links das páginas
Pagerank dividido - www ou sem www?
Posicionamento nos buscadores - Subida difícil