Наряду со всеми захватывающими возможностями использования этого ресурса, мы понимаем его сильные и слабые стороны. Индекс SEOmoz, безусловно, не идеален и не полон, но я не раз поражался тому, насколько ценны эти данные. Однако следует учитывать следующие моменты:
Разнообразие доменов вместо их ширины
Наш поисковый робот стремится к тому, чтобы сканировать страницы и данные с максимально возможного количества доменов, а не к интенсивному и исчерпывающему индексированию каждого URL-адреса в пределах одного домена. Со временем мы надеемся реализовать оба подхода, но для того, чтобы предоставить владельцам сайтов ценные данные на ранних этапах, мы изначально сосредоточились на этом.
Как отмечали другие исследователи, занимающиеся Список электронной почты отрасли изучением интернета в академических кругах, страницы интернета укладываются в структуру, напоминающую галстук-бабочку: хорошо связанный центр (где существует множество ссылок между сайтами и страницами) и две внешние стороны, где ссылки в основном направлены в одну сторону (либо внутрь, либо к центру, либо от него). Вследствие этой закономерности, а также потому, что мы считаем, что наиболее ценные данные поступают с самых важных и хорошо связанных (и взаимосвязанных) страниц, наш поисковый робот смещается в сторону этого «центра» хорошо связанного интернета.
Актуальность индекса
Наш процесс сканирования интернета и предоставления данных требует значительных вычислительных ресурсов (для сравнения, в 2002 году, когда заявленный индекс Google включал менее 5 миллиардов URL-адресов, данные, по-видимому, обрабатывались лишь раз в месяц, что привело к тому, что -специалисты назвали «танцем Google»). Таким образом, индекс SEOmoz обычно содержит информацию сканирования за 10–50 дней. В дальнейшем мы продолжим улучшать актуальность и, надеемся, добьёмся достаточного коммерческого успеха продукта, чтобы инвестировать в более качественное и быстрое сканирование и обработку.