但此时卫灵公正被夫人南子迷得神魂颠倒，哪里有闲心去管什么富咧，教咧，只照例用厚禄敷衍着孔子。孔子居卫些时，觉得没味，便又他去(前496年?)。此后十多年间他的行踪，记载很缺略，而且颇有参差。我们比较可以确知的，他离卫后，到过宋、陈和楚新得的蔡地，中间在陈住了好几年；前485年(鲁哀公十年)自陈返卫；约一年后自卫返鲁。此外他也许还经过曹、郑，到过故蔡以外的楚境。在这长期的奔波中，孔子不独遇不着一个明君，而且遇了好几次的生命危险。当他过宋时，向戌的曾孙桓雉不知因为什么对他发生恶感，要杀害他，幸亏他改装逃脱。当他过匡(郑地?)时，受过阳虎荼毒的匡人错认他是阳虎，把他连群弟子包围起来。幸亏匡人没有错到底。在陈、蔡的边境时，因为无“上下之交”,粮精断绝，他和弟子们曾饿到站立不起。
这些困陇并没有压倒孔子的自信心。当在宋遇难时，他说：“天生德于我，桓雉其奈我何!”当在匡遇难时，他说：“文王死了以后，文教不在我这里吗?难道天要废弃这些文教吗?难道后来的人不得承受这些文教吗?天没有废弃这些文教的，匡人其奈我何!”
在旅途中孔子曾受过不少隐者的讥讽。有一次他使子路去向两个并耕的农人问渡头的所在。甲说：“在车上执辔的是谁?”子路答道：“是孔丘。”“是鲁孔丘么?”“是的。”甲说：“这人便知道渡头的所在了!”子路只得向乙请问。乙说：“您是谁?”子路答：“是仲由。”“是鲁孔丘的徒弟么?”“是的。”“满天下都是洪水滔滔，一去不返的。谁能改变它呢?而且您与其跟随到处要避人的志士，何如索性跟随避世的隐士呢?”乙说完了，不断的覆种。子路回去告诉孔子。孔子说：“鸟兽是不可与同群的。我不和世人在一起却和谁在一起?假如天下有道，我便不去改变它了。”