1992年，亲苏的纳吉布拉政权垮台，年轻的卡尔扎伊担任过拉巴尼政权时期的外交部副部长，成为伯帕扎伊部落在政府中的唯一代表。他同前国王查希尔是好朋友，与塔利班也有过接触。1996年，以宗教学生为主的塔利班夺取了阿富汗政权，攻占了首都喀布尔。开始，卡尔扎伊对给阿富汗带来了和平的塔利班政权很支持，但是很快，塔利班的宗教极端政策开始把卡尔扎伊推上了一条反塔利班的道路。
塔利班掌握政权后曾邀请卡尔扎伊担任阿富汗驻联合国代表，卡尔扎伊对此婉言谢绝。卡尔扎伊性情温和，喜欢思考，对宗教、妇女和社会问题都持温和的观点，他支持妇女的权利，反对宗教极端政策，因而和塔利班政权格格不入。
大约在1998年前后，卡尔扎伊在奎达遇到了他未来的妻子吉娜特，不久便结婚了。
1999年，卡尔扎伊的父亲在奎达市被塔利班及其外国支持者暗杀。父亲的死促使他加入了反塔利班的行动。