@HoangThachx3157
"WARNING: C++ compiler too old, need g++ 4.8 or clang++ 3.4.2 (CXX=g++)"
Mình nghĩ bạn nên upgrade thư viện của C++
Nếu có thể cài thẳng bằng package xem

@huong-huoh
1, Upload file lên s3 có thể tham khảo ở đây
https://github.com/flyingsparx/NodeDirectUploader
2,Bạn có thể dùng các mạch Iot để build 1 con server(raspberrypi hoặc các chủng tộc nhà pi)
Nếu $ bản rủng rỉnh có thể đầu tư con máy cà tàng làm server
Nếu rủng rỉnh hơn nữa thì có thể kiếm con NAS làm server
Mình đã xem 1 con Synology của ông chú cũng có đầy đủ addon để build 1 con server dạng ngon bổ rẻ
Vừa làm server vừa chưa được video japan còn gì hạnh phúc hơn
Nếu rủng rỉnh hơn nữa quất hẳn con server cho nó chuyên nghiệp

Hiện tại mình đang dùng con này
https://www.armbian.com/orange-pi-plus-2/
Và thành quả nó là
http://leduykhoa.ddns.net/info.php

Về nhận xét về con orange pi này thì nói chung tạm được
Ban đầu mình bị lừa tình vì nó có tận 2g ram 16g bộ nhớ trong(nhưng cái này mình không mount nó vào để dùng được)
Cũng có cổng sata nữa( nhưng là sata 2)
Chíp h3 32 bit, khi cài mongo lên chỉ giới hạn 2g trên 1 database cũng hơi oải vụ này

Mình khuyên nếu mua thì nên mua con raspberrypi 3 bởi nó 64 bit
Mình thấy trên amazon có kit để gắn msata và usb 3.0 (vn mình thì chưa thây nơi nào bán)
Gắn song chắc chạy té khỏi

Còn cài đặt như nào thì goolge nhé

@huong-huoh
Mình đang nói về bản free nhé - chưa đụng tới bản có phí bao giờ
1, Upload hình ảnh lên heroku bình thường bạn nhé
Nhưng gần như bạn sẽ không lấy được file đó theo logic cơ bản( Nếu bạn viết tool thì chắc được hoặc link tới dropbox - cái này mình chưa thử)
Mà nó có 300mb lưu trữ thì phải
File sẽ mất sau mỗi lần commit nhé - trừ trường hợp bạn lấy được nó về và commit lại - cách này hơi nông rân chút

2. Giải pháp sẽ là dùng lưu trữ của 1 bên thứ 3 nào nào đó(s3, google cloud...) hoặc tạo con server riêng ;)

@tranducninhnd94
Vậy thì xem lại code.
Mình nghĩ do code thôi
Cũng có thể server hơi yếu sinh lý ;)

@tranducninhnd94
Uhm. cùng 1 bảng thì tèo thật.
vậy xem 2 bảng xem sao :))

@tranducninhnd94
Bạn thử cách này xem
https://dev.mysql.com/doc/refman/5.5/en/trigger-syntax.html

@Phuc-Phan66
Khi bạn request nhiều đến 1 web và admin của web đó cẩn thận,
chăc chắn bạn sẽ bị block 1 khoảng thời gian nào đó
hoặc có thể bạn phải nhập captcha thì mới được
Khi crawl bạn request rất nhiêu và nó có thể đến vài trăm request trong 1s
Đối với server yếu nó có thể die luôn nếu không hạn chế những request liên tục như vậy
Ví dụ như thằng mediafire.com chẳng hạn khí bạn muốn download nhiều file cùng 1 lúc bạn sẽ phải nhập captcha đó
Mình đang nói là tài khoản free nhé. Có phí thì mình chưa thử
Hoặc ví dụ như thằng fshare của vn mình.
Nó cũng có 1 hình thức biến thể của captcha là đợi khoảng thời gian nào đó bắt xem quảng cáo.
Nó cũng giúp hạn chế nhiều request đến server tránh server quá tai
Nhưng mà mục đính chính của nó là để kiếm $ từ những quảng cáo đó.

@Phuc-Phan66
Mình không dùng tool gì cả
Đối với cách lấy các hiệu ứng slide hay các game như trên thì mình dùng debug của google chrome thôi
Xem nó thiếu file nào thì tải về.
Nếu may mắn bạn có thể lấy được list các file cần load rồi dùng các ngôn ngữ khác get về
Nếu kém may mắn thì phải dùng tay thủ công thôi :(

Đối với cách lấy content bóc tách html thì mình dùng các hàm xử lý string(chủ yếu là regular expression, cắt chuỗi)
Nhưng đầu tiên xem trang web mình lấy có api không nếu có thì dùng nó còn không thì mới tính chuyện bóc tách html
Nếu có captcha như bạn trên nữa kia thì nên tìm nguồn khác.
Thực sự vượt qua được captcha cũng không hề đơn giản

Đó là những gì mình hay làm.
Mong mọi người đóng góp ý kiến mang tính xây dựng.

@tuananhzippy Mình chưa làm với site có captcha bao giờ:(
Nếu có thể tìm từ 1 nguồn khác được không
Trước mình có thử qua cái thằng http://sinhvienit.net
Cũng lấy được data nhưng nó là form đơn gian không phải captcha.
Và theo ngu kiến của mình thì đối với google captcha thì hay quên nó đi
Có thể bạn tìm ra cách nhưng sẽ tốn rất nhiều time

P/s. Nếu bạn vượt qua được google captcha hình như cũng có thưởng đó :) thoải mái ăn chơi trụy lạc

https://fieldrunners.herokuapp.com
(Bản gốc http://fieldrunnershtml5.appspot.com/)
Đây là game fieldrunners phiên bản web. Mình đã lấy được toàn bộ mã nguồn của nó(Thực chất code cũng được min lại rồi)
Mình cũng xin phép không chia sẻ mã nguồn.
Mục đinh muốn các bạn chia sẽ các khó khăn khi crawl 1 site
Hoặc thấy cái gì đó hay ho. Muốn lấy nó để cho vào các dự án riêng.
Biến cái của người thành của mình đế kiếm cơm

Đây cũng là công việc khó khăn đòi hỏi cần sự kiên trì.
Có thể ví dụ: khi bạn viết xong 1 script để crawl, nhưng khi bạn tiến hành crawl thì trang web đó thay đổi kiến trúc và lại lần mò từ đâu.. :)