单位以员工被行政拘留为由，与员工解除劳动合同是不可取的。根据《劳动合同法》第39条规定，员工被追究刑事责任的，用人单位可以与其解除劳动合同。然而，根据有关规定，“被追究刑事责任”是指被法院判处刑罚的，包括被判处管制、拘役、有期徒刑及缓刑、无期徒刑、死刑(死缓)等。
法律依据：
《中华人民共和国劳动合同法》 第三十九条 劳动者严重违反用人单位的规章制度的，用人单位可以解除劳动合同。据此，用人单位在制定规章制度时，可以将劳动者违反治安管理规定并被依法限制人身自由的情形界定为严重违反规章制度的行为，一旦劳动者被依法限制人身自由(不包括违法犯罪事实的调查阶段)的，用人单位可以根据规定解除劳动合同。