PHP парсеры - полный курс в записи

Дорогие друзья, предлагаю вашему вниманию полный курс по PHP-парсерам в записи! За два месяца мы разобрали множество полезных и увлекательных тем.

Вот ключевые из них:

  • CURL: основы и хитрые приёмы
  • Куки, авторизация, антикапча
  • Правильная организация стадий парсинга
  • PHPJqueryDOM и нативный класс-парсер
  • Ускорение работы строковых ключей в БД (целочисленная хеш-техника)
  • JS-морда — динамическая статистика вместо зависшего надолго PHP-скрипта
  • Парсинг картинок с bing по ключевикам
  • Модуль уникализации скачанных изображений

Для более полного понимания темы парсинга рекомендую ознакомиться с фрагментом вводного семинара, который вы можете найти рядом с данным текстом.

Подробная программа курса

Урок 1
Умный CURL
  1. CURL — принципы работы
  2. Создание класса обёртки
  3. GET и POST запросы
  4. Работа с HTTPS
  5. Работа с куками
  6. Эмуляция всех заголовков браузера
  7. Фокусы keep alive
  8. Проксирование в теории
  9. Анализ заголовков
  10. Следование за редиректами
Урок 2
Организация парсинга
  1. Конфигурационные файлы для CURL
  2. Нативный парсинг
  3. MoveTo
  4. ReadTo
  5. ReadFrom
  6. Другие полезные функции
  7. Работа с PHPJqueryDOM
  8. Объекты и их свойства
  9. Селекторы и функции
  10. Сохранение результатов
Урок 3
Комбинированный парсинг
  1. Проблемы PHPJqueryDOM
  2. Доработка нативного класса
  3. Subtag
  4. Общая схема парсинга
  5. Разбор этапов парсинга
  6. Сохранение результатов в БД
  7. Класс-обёртка для PDO
Урок 4
Хранение скачанных данных
  1. Перенос данных в БД
  2. Таблица урлов: хорошее SEO + высокая скорость
  3. Нереальное ускорение - замыкаем урлы в кольцо чисел
  4. БД: хэш-таблица и коллизии
  5. Доработка класса БД
  6. Архитектурные изыски
  7. sender vs viewer
Урок 5
Фреймворк
  1. Организация PHP-классов
  2. Создание js-морды
  3. Две схемы: sender и viewer
  4. JS для ajax-парсинга
  5. JS для отображения статистики
  6. Плюсы и минусы каждой схемы
  7. Общая идея организации пауков
Урок 6
Противостояние
  1. Принцип работы капчи-картинки
  2. Пример создания простой капчи
  3. Антикапча
  4. Антикапча API
  5. Сохранение и передача изображения
  6. Ожидание и обработка результата
  7. Создание класса для антикапчи
Урок 7
Парсинг изображений
  1. Настройка парсера на bing
  2. Скачивание изображений
  3. Создание библиотеки для уникализации
  4. Работа с изображениями в PHP
  5. Освещение, обсцвечивание, сепия
  6. Отражение, повороты
Урок 8
Подведение итогов
  1. Доработка библиотеки для уникализации
  2. Приёмы уникализации
  3. Подведение итогов по темам
  4. Теория оценки рекламы
  5. Посетители * просмотры * CTR * стоимость
  6. Курс ещё не окончен :)
На выходе вы сформируете полную картину организации парсинга сайтов на PHP. Вы получите мини-фреймворк для организации парсинга. А те из учеников, кто будет старательно делать дз, получат ещё и спаршенный сайт с десятками тысяч страниц :)

Ориентировочная продолжительность одного занятия — 2 часа.
После каждого урока выдаются домашнее задание для закрепления материала,
которое нужно делать перед просмотром следующего видео.

Примеры сайтов, сделанных на основе материалов курса

clubautotravel.com

  • 220 000 страниц в индексе гугл
  • самописный движок

autotras.com

  • 63 800 страниц в индексе гугл
  • самописный движок

wallpapersiq.com

  • 52 400 страниц в индексе гугл
  • wordpress

Отзывы учеников о Дмитрии

Проурзин Алексей
Проурзин Алексей

До Дмитрия я изучал HTML, CSS, JS, PHP по видеокурсам других авторов и пытался как-то дополнить свои знания по всяческим форумам и т.п. Но, попав к Дмитрию, я понял важную вещь: большая часть того, что я знал – это то, как НЕ надо программировать и делать сайты. Дмитрий же научил и показал, как действительно надо правильно программировать, сильно углубил и привёл в порядок мои знания по web-программированию.

Другие авторы не могли дать ни полноты знаний, ни чёткого понимания, что нужно изучать и что делать, чтобы развиваться. А Дима умеет объяснить материал очень доступно и понятно, а главное в лёгкой форме, которая вызывает заинтересованность в изучении предмета.

Прочитать отзыв полностью
Хачатурян Ирина
Хачатурян Ирина

Дмитрий - прекрасный преподаватель, доходчиво и понятно все объясняет, умеет действительно заинтересовать. Дается действительно хорошая теоретическая и практическая база. После окончания курса без труда нашла работу программистом в веб-студии, буквально после первого собеседования.

Со временем появились свои клиенты, сейчас работаю на фрилансе, переехала в Израиль поближе к морю. Ни секунды не жалею что пошла на этот курс.

Прочитать отзыв полностью
Ролин Александр
Ролин Александр

Не достаточно просто оказаться в нужное время в нужном месте. Нужно еще оказаться в нужном окружении!

Первым делом я хочу выразить благодарность Дмитрию не только за актуальную и нужную информацию, качественную подачу материала, веселую и дружную компанию, но и за ту возможность которою я получил, обучаясь у Дмитрия, а именно - найти себя как программист, понять что веб-разработка это очень интересно и это именно то чем я хочу заниматься :)

Прочитать отзыв полностью
Александр Пронин
Александр Пронин

После курса для начинающих были открыты курсы по программированию и верстке, и я решил продолжить занятия по программированию, а также была предложена солидная скидка и сумма запрашиваемая за полгода обучения казалось по сравнению с университетскими просто смешной, да и к тому же, я был уже уверен в преподавателе и ни разу не пожалел.

На данный момент я свободно читаю литературу по языкам программирования и у меня не вскипает мозг на 3 странице как раньше, я уволился с работы, которая не приносила дохода и удовольствия и стал искать работу программистом, не прошло и месяца, как я нашел именно ту работу к которой я стремился и я уверен, что это только начало пути.

Прочитать отзыв полностью
Левченко Вячеслав
Левченко Вячеслав

Прошел курс Дмитрия по PHP , надо сказать не ожидал настолько понятного и глубокого изложения материала. Через месяц я уже написал свой первый сайт , реализовав все что было необходимо именно под мои задачи.

Потом появилась необходимость, его расширять, добавлять функциональности, в общем захотелось больше чем сайт визитка. Тем более что знакомые попросили им так же реализовать.

Прочитать отзыв полностью
Александр Шишкин
Александр Шишкин

Не важно, кто ты: программист-новичок или бывалый разработчик с длинной бородой – на каждом занятии обязательно будет что-то новое именно для тебя. Лично я использую некоторые продемонстрированные приемы проектирования при разработке десктопных приложений на Дельфи.

Сейчас я продолжаю обучаться у этого преподавателя, потому что для меня и многих других учеников, лейбл «Дима Лаврик» уже стал знаком качества, которому можно доверять.

Прочитать отзыв полностью
Дмитрий Поддъяков
Дмитрий Поддъяков

На семинары, которые вел Дмитрий Лаврик попал чуть больше года назад. С тех пор прослушал много разных курсов у разных преподавателей по разным темам в области сайтостроительства. Лучшего преподавателя по PHP, html, CSS и JS я не знаю. Все доходчиво и внятно объясняет, очень полный разбор ДЗ. Отвечает на все вопросы слушателей. Если вопрос вдруг «не берется», то не жалеет своего времени на нахождение ответа. Если слушатель не понял текущее объяснение, то Дмитрий повторяет материал заново и по возможности по новому, что бы было понятно. К каждому занятию предоставляются файлы с примерами программ.

Прочитать отзыв полностью
Дмитрий Картушин
Дмитрий Картушин

“Был бы ученик, учитель найдётся!”

И он нашёлся. Когда я пришёл на первый курс по PHP к Дмитрию, функции вызывали у меня шок, объекты - трепет, ООП – ужас. Дмитрий как раз и помогает побороть страхи перед кажущимся сложными конструкциями языка. Доходчиво объясняет, что к чему и вот Вы уже перебираете массивы, объявляете экземпляры классов и тд. На выходе получая как минимум собственный блог или сайт визиту.

Прочитать отзыв полностью
Игорь Кузьмин
Игорь Кузьмин

Дмитрий - замечательный преподаватель.
Объясняет просто и доходчиво. Я проходил его курсы по PHP и javascript. Знания, которые я получил помогли мне при устройстве на работу. Во всех уроках рассматривается большое количество примеров, что очень облегчает понимание материала. Хочу сказать спасибо Дмитрию за его труд и уверен, что еще не раз приду для учебы на новых курсах.

Прочитать отзыв полностью
Игорь Легостаев
Игорь Легостаев

Когда я пришел на курсы по PHP, то на тот момент у меня уже были некоторые знания, которые хотелось просто освежить, но преподавателем оказался Дмитрий Лаврик, который своим позитивом, изменил мой взгляд на программирование и простым человеческим языком объяснил довольно сложные вещи (как потом оказалось c 0 до «Своей CMS»).

На протяжении всего моего обучения получил огромный заряд позитива, заполнил множество своих пробелов, исправил ошибки, которые не замечал ранее, и главное появилось уверенность в том, что полученных знаний вполне достаточно для решения множества типичных задач.

Прочитать отзыв полностью
Лашков Дмитрий
Лашков Дмитрий

К безусловным достоинствам Дмитрия отнесу экспертное владение предметом, способность рассказать просто о сложных вещах, великолепное умение контролировать разношёрстную аудиторию, бесконечный заряд оптимизма, пунктуальность в выполнении обещаний, открытость в предоставлении дополнительной информации, дипломатичность в комментариях к домашним заданиям.

Вы тоже влюбитесь в этого обаятельного человека и талантливого преподавателя уже на первом семинаре. Не ленитесь и Дмитрий уверенно проведет вас к высотам IT мастерства.

Прочитать отзыв полностью
Елена Дранникова
Елена Дранникова

Очень понравился курс "супер CMC с нуля". Это действительно "СУПЕР"! После этого курса перевела свой сайт на Димину CMS, мой сайт преображался по мере получения знаний от HTML до "супер CMS".

Дмитрий, Вы талантливый преподаватель, большое спасибо Вам, за доступное изложение материала. Сейчас перевожу сайт на CMS, которая получилась после окончания курса "интернет-магазин".

Прочитать отзыв полностью
Владмир Габдуллин
Владмир Габдуллин

Буквально пол года назад я узнал, что Дмитрий открыл свою школу, где регулярно преподает сам. Моей радости не было предела ))) Сейчас я стараюсь не пропускать ни одного вебинара с его участием, так как у Лаврика есть грамотный ответ на любой вопрос. Он также старается уделять внимание всем ученикам группы, так что если у вас на потоке большая группа, за это можно не переживать, вы получите разжеванный ответ и на свой вопрос. Всем рекомендую NTSchool, только здесь вы получите современные ответы на ваши вопросы!

Прочитать отзыв полностью
Станислав Берендеев
Станислав Берендеев

Всегда хотел изучить web – технологии, но сколько не брался, то не было времени, то материал давался с трудом, то приходилось прыгать с одного языка программирования на другой.

А в прошлом году случайно наткнулся на web junior 2014, записался. Преподавателем был у нас Лаврик Дмитрий. Стоило мне позаниматься буквально несколько лекций и на меня нашло озарение! Я не когда не думал что может быть все так легко и просто.

Дмитрий настолько все просто и доступно объяснял, что после лекций практически некогда не возникали вопросы. И к концу обучения я был в 10 –ке лучших учеников.

Прочитать отзыв полностью
Власовец Виталий
Власовец Виталий

Основной вопрос найти не подходящий курс, а преподавателя, который имеет практический опыт разработки, массу интересных выполненных проектов и при этом может доходчиво представить свои навыки – научить. Поэтому выбор курсов Дмитрия Лаврика закономерен. С одной стороны, на практических семинарах очень детально, подробно на примерах рассматриваются основные аспекты изучаемой темы, уточняются нюансы. При этом заявленное двухчасовое занятие запросто растягивается на 3-4 часа до прояснения всех аспектов.

Прочитать отзыв полностью
Хочу больше отзывов

Часто задаваемые вопросы.

1. Какой уровень начальных знаний нужен для прохождения курса?
В идеале PHP + ООП. Без ООП вы поймёте основные процессы, но будете с напрягом работать с библиотеками и самописными классами для парсинга.
2. А парсить сайты вообще легально?
Конечно :) Если данные находятся в открытом доступе, нет разницы, скачиваете вы их вручную или с помощью робота.
3. Что я получаю в комплекте?
Восемь уроков, каждый из которых включает в себя видеозапись занятия, исходные материалы и примеры выполненных дз.
4. Будет ли возможность задавать вопросы преподавателю?
Все участники добавляются в закрытую группу, где мы тусуемся с учениками, проходившими этот курс онлайн. Там можно задавать вопросы и обсуждать темы парсинга.
5. Будут ли ещё онлайн встречи?
Будут. Весной мы соберёмся, чтобы доделать паука для скачивания сайта.
6. А я пират, хочу купить курс и выложить в открытый доступ. Можно?
Все видеозаписи для каждого ученика имеют водяные знаки с уникальными смещениями. Благо софт позволяет массово генерировать подобные вещи. Так что удачи в сокрытии ip, почты итп :)
7. А курс ценный?
  1. Посмотрите, сколько на фрилансе заказов на парсеры. За один заказ вы отобьёте стоимость курса.
  2. Если вы не поленитесь сделать для себя несколько сайтов с более, чем 50000 страниц, то постепенно получите нормальный источник пассивного дохода.

Приобрести курс в записи

Успешного и приятного парсинга сайта!