广府人来历可以追溯到秦始皇一统天下的时候，当时广东这一带属于百越地区。秦始皇在统一了六国之后，挥兵南下，想要征服百越，秦军的强大是毋庸置疑的，百越的军队在抗争一段时间后最终无力抵抗，大部分人只能选择了往南边迁移，也就就是今天大部分的东南亚人的来历。秦军在成功攻占了百越之地后便在当地驻扎了下来，之后在这里生活繁衍，和部分没有离开的百越人混居结合，最终形成了最早时候的广府人。

客家人其实就是中原人，主要是从如今河南一带迁移过来的人，他们来到广东的时间有早有晚。其中大部分是在北宋的时候为了躲避战乱而一路迁徙来到广东的。这其中不乏有原来的中原贵胄，所以他们有着两个特点，一个是带来了不少的钱财，另一个则是在当时文化水平较高，不少读书人。他们最初来到之后，广东这边比较好的土地，主要是是南边的平原，基本已经被广府人和潮汕人瓜分完了，所以只能是在粤北的山区中建造土楼居住生活。