مشکل در scrape کردن اطلاعات از سایت و هم چنین سایت نیازمند به لاگین

با سلام

میخواستم بدونم واسه ی اسکریپ کردن از چه ماژولی استفاده کنم بهتره؟ beautifulsoup یکمی واسم دردسر داره، selenium که مفتش گرونه، کلا همش ارور میده. scrapy خوبه؟ بعد بخوام یه المنتی رو از یه سایت که نیاز به لاگین داره بگیرم، با همین scrapy میتونم انجام بدم؟

پاسخ ها

sokanacademy forum
کاربر سکان آکادمی 8 سال پیش

سلام اولی از بهتر است از 2 تای دیگه  است سومی هم بد نیست با سومی هم می تونی لاگین بشی

http://stackoverflow.com/questions/5850755/using-scrapy-with-authenticated-logged-in-user-session

sokanacademy forum
کاربر سکان آکادمی 7 سال پیش
برای لاگین کردن میتونی از Requests استفاده کنی و کوکی و دامپ کنی و همیشه ازش استفاده کنی، selenium مشکلی نداره! اما میتونی از Phantomjs هم استفاده کنی
online-support-icon