违法建筑，通常是指没有取得相关建设规划许可的建筑物，或者压根没有办法取得建设规划许可，比如在农用地上改变土地用土地修建房屋的。

一般情况下，城乡规划主管部门有权针对城市规划区内建筑物的性质进行认定。乡、镇人民政府有权针对乡、村规划区内的建筑物进行认定。有一些地方行政处罚权统一集中行使，比如山东地区会由综合行政执法局统一行使对辖区内的违法建筑进行认定和处罚的权利。最后，对于违法改变土地用途的建筑，是由当地县级自然资源主管部门负责查处。

所以，如遇到比如村委会或者其他主体告知您的房屋是违法建筑，不要轻易相信，违法建筑的认定有其明确的法律主体和法定程序。