如介绍所言，钟楼是老衢州人的一个人文记忆，一个地理坐标，是城市沧桑变化的一个缩影。钟楼在市人民医院边上，身处衢州最繁华的商业街边，却能独辟幽处。

记得有一日等附近的一个朋友办事，于是闲步到钟楼，想着反正无事就上去看看。上钟楼的道口很窄小，也很短，老旧的石阶净是沧桑痕迹。行走中有悠悠的丝乐入耳。上去后才知道，那是几个老人在拉二胡，陶醉音乐者有之，话家常者有之，配上那日昏昏的阴天，很有一番诗意。

关于钟楼还有个“鬼故事”，这个故事出自蒲松龄《聊斋志异》中关于“衢州三怪”的描写。钟楼的独角怪（也有叫“大头怪”的）就是其中之一。传说它是魁的朱砂笔变的，青面獠牙，血盆大口。当然，其实并没有什么鬼啦，但我是个胆小鬼，晚上可从来不敢上钟楼。