该楼施工的时间很长，从动工兴建到迁入居住历时共7年，从迁入居住到全楼装修完毕又经过了11年。建楼期间，各种工匠、小工的延请、安排及工资的发放，各种建材的购买和各种突发事件的处理等，一概由黄永豪亲手操办。在大楼落成之前，该楼并没有一个正式的楼名。其间，有人问过工匠:"你在哪里做工?"工匠回答:"在黄永豪家里。""在他家做什么?""建新楼"。问这个问题的人多了，有工匠脱口而出:"在永豪楼。"永豪楼，意思是黄永豪主持所建的楼。一传十、十传百，永豪楼就这样传开了。尽管在该楼全面竣工之后，楼主曾专门请人取了个很有内涵的名称叫"五福楼"，寓意为五兄弟一齐幸福，但是所有工匠及村中老少都先入为主，或者认为五福楼的名称在音韵上没有永豪楼这一名称响亮，因此仍习惯地称之为永豪楼，并口口相传，以至于家喻户晓，远近皆知。相反，其正式的楼名却很少有人提起。