Der antike Stadtkern liegt auf einem Hügel und die engen Tälchen, die Colle di Val d’Elsa durchziehen, teilen den Ort in drei Stadtteile, in "Piano", "Borgo" und "Castello", die heute der Einfachheit wegen "Colle bassa" (Unteres Colle) und "Colla alta" (Oberes Colle) genannt werden.
Hier hatte gegen Ende des 16. Jhdts die Glasindustrie ihren Ursprung, Vorreiter des Kristallglases, mit dem Colle weltweit bekannt ist.
Colle di Val d'Elsa ist auch die Heimatstadt des Architekten Arnolfo di Cambio, Planer des "Palazzo Vecchio" in Florenz. Sein Geburtshaus, ein beeindruckender Turm an der Hauptstraße des "Castello" gelegen, steht zur Besichtigung offen.
Die Stadt hinterlässt bei ihren Besuchern unvergessliche Eindrücke: vom Stadtmuseum "Museo civico" und dem "Palazzo die Priori", der schon selbst ein Meisterwerk ist, mit Meisterstücken kirchlicher Kunst, bis hin zu geschichtlichen Zeugnissen, die in einer außergewöhnlichen Sammlung im Museum "Ranucci Bianchi Bandinelli" bewundert werden können.
Im "Museo del Cristallo" wird natürlich die Entwicklung der Glasproduktion von einst bis heute nachvollzogen.