Раньше я полагал, что масштабирование проектов по сбору веб-данных сводится в основном к повышению производительности краулеров и наращиванию серверных мощностей. Однако, поработав над более крупными проектами, я понял, что стабильность сети может стать гораздо более серьезной проблемой, чем...