可以的，没有登记结婚，所以你们的婚姻不被法律认可，但孩子是你们两个人的，都有权利和义务。
离婚时抚养权的归属，可以双方协商，一旦协商不成，则需由法院判决。法院判决抚养权归属，一般根据有利于子女成长原则进行：主要考虑以下因素：夫妻双方的学历、工作、收入、年龄、家庭环境、子女的年龄等。