組織部不可以隨意調動公務員。根據公務員法規定,公務員由組織所屬公務員局管理,根據職級和管理權限由相應組織部和黨委調配。公務員調動,應由用人單位根據工作需要向本單位黨組或黨委提出申請,而後按程序向公務員局請示,經審批同意後由組織部辦理調動。