胡适认为“没有容忍，就没有自由”的原因主要在于他认为容忍是自由的基础和前提。以下是胡适关于容忍与自由关系的几点主要观点：
容忍是自由的根本：
胡适认为，容忍是一切自由的根本，没有容忍“异己”的雅量，就不会承认“异己”可以享受自由。他强调，自由并非无度的放纵，而是要有理性和规则的约束；容忍并非懦弱的退缩，而是对不同观点和行为的尊重和理解。
不容忍导致压迫：
胡适指出，人类习惯总是喜同而恶异，总不喜欢和自己不同的信仰、思想、行为，这就是不容忍的根源。不容忍只是不能容忍和自己不同的新思想和新信仰。一切对异端的迫害、对“异己”的摧残、宗教自由的禁止、思想言论的被压迫，都源于此。
容忍是自由的前提：
胡适在演讲中曾说，在宗教自由史上、思想自由史上、政治自由史上，我们可以看见容忍的态度是最难得、最稀有的态度。他认为，容忍“异己”是最难得、最不容易养成的雅量。因为不容忍的态度是基于“我的信念不会错”的心理习惯，所以容忍“异己”是最难得的。
容忍比自由更重要：
胡适在晚年更加极力反对一言堂和多数人暴政，他认为容忍比自由更重要。他解释说，争自由的唯一理由，就是期望大家能容忍异己的意见与信仰。凡不肯承认异己者的自由的人，就不配争自由，就不配谈自由。
综上所述，胡适认为“没有容忍，就没有自由”，是因为容忍是自由的基础和前提，没有容忍，就无法实现真正的自由。他强调，自由必须在容忍的基础上才能真正实现，而容忍则是对不同观点和行为的尊重和理解。