جیمز برایان در اصل دانشجوی پیش پزشکی در دانشگاه استفن اف. آستین در ناکوگدوچ، تگزاس بود. جیمز در حین تحصیل در دانشگاه واندربیلت در تنسی تصمیم گرفت رشته خود را تغییر دهد و متعاقباً در سال 1965 به مدرسه فیلم UCLA منتقل شد. برایان اولین فیلم خود را با پروژه کوتاه دانشجویی پویانمایی UCLA "محدودیت های درونی" انجام داد. او در اواخر دهه 60 از دانشگاه UCLA فارغ التحصیل شد و قبل از اینکه وارد فیلم های بهره برداری کم هزینه شود، شروع به کار در فیلم های بزرگسالان کرد.