首先要承担的是行政责任。被扣留的侵权嫌疑货物，经海关调查认定构成侵权的，由海关予以没收并对进出口企业处以货物价值30% 以下的罚款。同时，海关本着“守法便利，违法惩戒”的原则，将知识产权行政处罚与企业信用管理工作对接，根据《中华人民共和国海关企业信用管理办法》的规定，对进出口侵犯知识产权货物的企业，依法降低其信用等级，并实施联合惩戒。

其次还有可能要承担刑事责任或民事责任。如果进出口侵犯知识产权货物的行为构成刑事犯罪的，海关会将案件移送公安部门，依法追究刑事责任。知识产权权利人也可以依法对进出口企业进出口侵权货物的行为向人民法院起诉，要求承担民事侵权责任。