下列关于行政行为的说法正确的是：

参考解析：

第一步，本题考查行政法。
第二步，《行政处罚法》第33条规定，“违法事实确凿并有法定依据，对公民处以五十元以下、对法人或者其他组织处以一千元以下罚款或者警告的行政处罚的，可以当场作出行政处罚决定。”因此，在上述情况下，对公民处以警告和罚款的，可以当场处罚。A项正确。
《行政许可法》第7条规定，“公民、法人或者其他组织对行政机关实施行政许可，享有陈述权、申辩权，有权依法申请行政复议或者提起行政诉讼，其合法权益因行政违法实施行政许可受到损害的，有权依法要求赔偿。”B项说法正确。
根据《行政处罚法》第29条规定：“违法行为在二年内未被发现的，不再给予行政处罚。”D项说法正确。因此，选择ABD选项。