PHP парсеры - полный курс в записи

[Mr.Frost]

PHP парсеры - полный курс в записи
Автор: Дмитрий Лаврик.
Дорогие друзья, предлагаю вашему вниманию полный курс по PHP-парсерам в записи! За два месяца мы разобрали множество полезных и увлекательных тем.

Вот ключевые из них:

• CURL: основы и хитрые приёмы
• Куки, авторизация, антикапча
• Правильная организация стадий парсинга
• PHPJqueryDOM и нативный класс-парсер
• Ускорение работы строковых ключей в БД (целочисленная хеш-техника)
• JS-морда — динамическая статистика вместо зависшего надолго PHP-скрипта
• Парсинг картинок с bing по ключевикам
• Модуль уникализации скачанных изображений

Урок 1. Умный CURL

1. CURL — принципы работы
2. Создание класса обёртки
3. GET и POST запросы
4. Работа с HTTPS
5. Работа с куками
6. Эмуляция всех заголовков браузера
7. Фокусы keep alive
8. Проксирование в теории
9. Анализ заголовков
10. Следование за редиректами

Урок 2. Организация парсинга

1. Конфигурационные файлы для CURL
2. Нативный парсинг
3. MoveTo
4. ReadTo
5. ReadFrom
6. Другие полезные функции
7. Работа с PHPJqueryDOM
8. Объекты и их свойства
9. Селекторы и функции
10. Сохранение результатов

Урок 3. Комбинированный парсинг

1. Проблемы PHPJqueryDOM
2. Доработка нативного класса
3. Subtag
4. Общая схема парсинга
5. Разбор этапов парсинга
6. Сохранение результатов в БД
7. Класс-обёртка для PDO

Урок 4. Хранение скачанных данных

1. Перенос данных в БД
2. Таблица урлов: хорошее SEO + высокая скорость
3. Нереальное ускорение - замыкаем урлы в кольцо чисел
4. БД: хэш-таблица и коллизии
5. Доработка класса БД
6. Архитектурные изыски
7. sender vs viewer

Урок 5. Фреймворк

1. Организация PHP-классов
2. Создание js-морды
3. Две схемы: sender и viewer
4. JS для ajax-парсинга
5. JS для отображения статистики
6. Плюсы и минусы каждой схемы
7. Общая идея организации пауков

Урок 6
Противостояние

1. Принцип работы капчи-картинки
2. Пример создания простой капчи
3. Антикапча
4. Антикапча API
5. Сохранение и передача изображения
6. Ожидание и обработка результата
7. Создание класса для антикапчи

Урок 7. Парсинг изображений

1. Настройка парсера на bing
2. Скачивание изображений
3. Создание библиотеки для уникализации
4. Работа с изображениями в PHP
5. Освещение, обсцвечивание, сепия
6. Отражение, повороты

Урок 8. Подведение итогов

1. Доработка библиотеки для уникализации
2. Приёмы уникализации
3. Подведение итогов по темам
4. Теория оценки рекламы
5. Посетители * просмотры * CTR * стоимость
6. Курс ещё не окончен

Скачать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.