aminaks

مشکل در scrape کردن اطلاعات از سایت و هم چنین سایت نیازمند به لاگین

aminaks ۱۳۹۵/۰۵/۲۰ 28 زبان برنامه‌نویسی پایتون

با سلام

میخواستم بدونم واسه ی اسکریپ کردن از چه ماژولی استفاده کنم بهتره؟ beautifulsoup یکمی واسم دردسر داره، selenium که مفتش گرونه، کلا همش ارور میده. scrapy خوبه؟ بعد بخوام یه المنتی رو از یه سایت که نیاز به لاگین داره بگیرم، با همین scrapy میتونم انجام بدم؟

پاسخ‌ها به این تاپیک
nimaarek چگینی
nimaarek چگینی
۱۳۹۶/۰۴/۲۱
برای لاگین کردن میتونی از Requests استفاده کنی و کوکی و دامپ کنی و همیشه ازش استفاده کنی، selenium مشکلی نداره! اما میتونی از Phantomjs هم استفاده کنی
stack programer
stack programer
۱۳۹۵/۰۵/۲۱

سلام اولی از بهتر است از 2 تای دیگه  است سومی هم بد نیست با سومی هم می تونی لاگین بشی


http://stackoverflow.com/questions/5850755/using-scrapy-with-authenticated-logged-in-user-session