一、调查取证
违建房屋需要经过相关人员的实地调查以后才能作出认定。
根据《行政处罚法》的规定，调查人员在进行调查中，人员不得少于2人，执法前要向当事人出示相关证件。在调查和询问中，执法人员要做好详细的笔录，如位置、面积、结构等信息。并将详细的记录内容给当事人确认签字。
在调查前，相关调查人员若没有出示证件，是不合法的行为。在确认笔录内容时，要仔细确认记录是否正确，如有异议时，要及时要求更改，或拒绝签字。
二、作出责令限期拆除决定
在调查后，如果房屋被确认为违法建筑，那么相关部门就会依法作出责令限期拆除决定。但是，根据《城乡规划法》的规定，对违法建筑调查后，对于不违反城乡规划但没有房屋证件或没有建设许可的，可以进行限期改正及相应罚款，并及时补办相关行政许可手续，并不是一定会拆除房屋。
三、履行告知义务《行政处罚法》第三十一条、三十二条规定，行政机关在作出限期拆除决定前，应当告知当事人作出行政处罚决定的事实、理由及依据，并告知当事人依法享有的权利，当事人有权进行陈述和申辩，必要时当事人可以提出听证申请。
四、催告
根据《行政强制法》第三十五条规定，行政机关作出强制执行决定前，应当先以书面形式催告当事人履行义务，并且告知当事人享有的陈述权和申辩权。
由以下3部门认定：
1、县级以上城乡规划主管部门
城乡规划部门属于法定部门，城市中的违法建筑由该部门主管；有的地方将城乡规划部门和自然资源部门合并称为“规划和国土资源管理委员会”，那么该“规划和国土资源管理委员会"有权对违建进行主管。
2、城市管理综合行政执法部门
该部门就是老百姓常说的“城管”。城管部门本身没有权利管理违法建筑，但城管部门若得到了省级人民政府的授权，则有权要求要求违建所有人自行对违法建筑进行拆除。
3、部分权利下放地区的街道办
一、实地调查
认定违建不是口头说说就可以定性违建的，认定主体要对房屋是否存在违法行为进行调查，调查过程中全程取证更要综合考虑，并根据调查询问情况制作笔录，笔录需要双方的认可签字。
二、步入认定程序
通过入户调查对房屋作出是否是违建的决定，确定是违建的，应当告知拆迁户作出认定的事实和依据，并且告知拆迁户享有的申辩权和听证权，如果当事人对认定结果有异议提出听证的，应当组织听证，听取拆迁户申辩。
三、作出限期拆除的通知
没有申请听证或通过听证程序拆迁户的申辩事实、理由不成立的，就要对建筑作出处罚决定，向拆迁户作出《限期拆除通知书》，要求其在规定时间内自行更改，决定书中说明享有的救济权利。
四、催告履行
拆迁户收到《限期拆除通知书》后没有履行决定书义务不自行拆除的，认定机关开始进行催告程序，目的是让拆迁户尽快履行决定书自行拆除，并向拆迁户下达《催告书》，这里需要注意，如果经过催告程序之后，拆迁户仍然不履行的，就会进行强制执行。
五、作出拆除决定
经过催告程序后，拆迁户仍然不履行决定书义务的，认定机关依法作出《限期拆除决定书》拆除决定，主要是告知拆迁户违法建筑将在某个时间被直接拆除，告知拆迁户享有的救济权利。
六、实施拆除
公告拆除决定后拆迁户没有自行拆除，没有提起任何有效救济途径的，机关会进行强制拆除。
在拆迁的过程中，如果对方说你的房屋是违建，千万不要慌，及时提起复议和诉讼程序，从而能够更好地维护自己的合法利益。