Iniciando

Primeiramente é preciso escolher a plataforma de desenvolvimento, que passa pelas seguintes questões:

• Sistema Operacional (Windows, Linux, MacOS, etc);
• Ferramentas de desenvolvimento:
• Linguagem (C, C++, Phyton, Pascal, Fortran, Java, etc);
  
• IDE's (Eclipse, Anjuta, Dev-XXX, Visual-XXX(Microsoft), XXX-Builder(Borland), etc) ou;
• Editores de texto (Kate, Xemacs, Gedit, Kwrite, Bloco de notas, etc)
  
• Compiladores (gcc, g++, g77, etc)
  
• Paradigma (Imperativa, Funcional, Declarativa)
• Disciplina de programação (OO, Estruturada, etc)
• Bibliotecas (runtime, glib, STL, etc)
  

Rodar exemplos é uma boa maneira de iniciar, pegar coisas prontas e tentar entender, ou olhar apostilas, tutoriais e documentações sobre os componentes escolhidos para a plataforma de desenvolvimento. Estudar também as opções que o compilador lhe ofereçe é uma boa, tais como: somente compilar, gerar executável, otimizar o código, depurar, etc.
Procurar dominar mais de uma tecnologia é sempre importante, para não ficar bitolado e saber se virar nas mais diferentes situações.