В английском нет грамматического рода (в русском есть, мы меняем окончания). Местоимения he/she и их формы указывают на половую принадлежность человека, о котором идёт речь (о животных говорят it, но если это любимая собачка, то скажут he/she), но это не влияет на грамматику, это такие же местоимения, как и любые другие. Поэтому да, понять пол можно только из контекста, если не использованы соответствующие местоимения.
s к yours добавляется в абсолютной форме этого притяжательного местоимения (эта форма используется без существительного). Т. е. I'm your girlfriend, но I'm yours.
Напишу подробнее в маргиналии, наверно.