Частота слов

Как это работает

Авторы повторяются, сами того не замечая. Подсчёт слов — самый быстрый способ найти фразу-костыль, которую вы использовали девять раз, и заодно грубая проверка ключевых слов на редактируемой странице.

Служебные слова

По умолчанию очень распространённые слова вроде the, and и of игнорируются, потому что они доминируют в любом подсчёте и ничего не говорят. Включите их, если анализируете стиль, а не тему.

Как считаются слова

Текст переводится в нижний регистр и разбивается по всему, что не является буквой, цифрой или апострофом, поэтому сокращения остаются целыми, а пунктуация не создаёт ложных записей.

Что считается словом

Слово — это цепочка букв или цифр в любом алфавите — английском, латинице с диакритикой, кириллице, греческом и других — с сохранением апострофов, поэтому «don't» — одно слово. Сначала всё переводится в нижний регистр, поэтому «The» и «the» считаются вместе.

Служебные слова

Когда служебные слова игнорируются, из списка исключаются 26 очень распространённых английских слов: the, a, an, and, or, but, of, to, in, on, at, for, with, is, are, was, were, be, been, it, its, this, that, as, by и from. Список только английский, поэтому распространённые слова других языков по-прежнему считаются.

Как строится список

Слова перечисляются от самых частых к самым редким, при равенстве — по алфавиту, до первых 200. Общее число считает каждое слово в тексте; число различных слов не включает служебные слова, когда они игнорируются.