果自由意味着自己想做什么就做什么的话，那大家都想做就做的结果，终将是每个人的自由都难以保障。试想，有的人爱小偷小摸、顺手牵羊，有的人热衷暴力、欺凌弱小，此二类人的行为皆符合那由着自己想做就做的原则，那这些行为是他们在践行自己的个人自由吗？当然不；他们的行为侵犯了别人的人身和财产，即侵犯了别人的自由。他们的为所欲为事实上伤害了自由，而非伸张了自由，所以其行为有何自由可谈呢？真正的自由是，你做你自己喜欢做的事的前提是不能侵犯他人的自由——不得侵犯他人的人身及其生命所延伸出的私有财产。
简而言之，在古典自由主义者眼中，自由就是免于强制。每个人都拥有自身，以及拥有自己通过劳作与交易所获得的财产。他人不可强迫你去做违背你意愿的事，同样也不可未经你的允许拿走你的财产。在哲学上，这种自由的观念被一些人称为消极自由。换句话说，有些人表示人们同样拥有所谓的积极自由，譬如，美国前总统罗斯福提出的四大自由中有一条赫然触目：“免于匮乏的自由”；但在现实中，天下没有免费的午餐，一个游手好闲、不思进取、好吃懒做的人也有“免于匮乏的自由”吗？若有，这类积极自由实则是一种特权，它必须强制他人出于义务提供