К сожалению, происхождение пиратского флага доподлинно неизвестно, но зато мы можем довольно точно назвать его предшественников. С помощью флагов капитаны судов пытались запугать своих врагов или «жертв», вызвать у противника ужас. Флаги были неотъемлемой частью пиратских кораблей и служили прекрасным психологическим оружием, особенно, если данный разбойник славился своей кровожадностью и жестокостью. Когда пирату удавалось запугать врага «до смерти», так что тот просто сдавался без малейшего сопротивления, экипажу пиратского корабля практически ничего не угрожало, а судно захватывали, не причиняя тому особого вреда. Угрожающие изображения на флагах часто ассоциировались с известными пиратами (а значит, и с их репутацией); помимо этого они могли нести в себе какие-то особые предупреждения. Бартоломео Робертс (Bartholomew Roberts), к примеру, «имел зуб» против колоний на островах Барбадос и Мартиника, поэтому, проходя мимо них, он вывешивал флаг, на котором была изображена фигура пирата (возможно, самого Робертса), стоявшего на двух черепах. Под одним из них красовались буквы 'ABH', означавшие 'A Barbadian's Head' («Голова жителя Барбадоса»), а под другим - 'AMH',  'A Martiniquan's Head' («Голова жителя Мартиники»). Угроза была предельно ясна, так что при встрече с Робертсом моряки, жившие в тех колониях, знали, что пощады им не будет.

Обычно, в открытом море довольно сложно вычислить врага. В XVI веке на парусах кораблей королевского флота изображались национальные эмблемы (у англичан, например, это были Тюдоровские Розы (Tudor Roses), у испанцев – католические кресты (Catholic crosses)), но эти суда входили в состав особых эскадр, «флотов-сокровищниц» и т.п. Капитаны других кораблей не использовали подобные символы. Вместо этого они поднимали национальные флаги, по которым и опознавали корабли в средневековье. Ближе к XVII и XVIII векам национальная символика наконец-то стала более-менее определенной, так что можно было составить таблицы флагов различных государств, в которые бы вошли флаги всех известных на тот момент морских держав.

На морских просторах различные символы говорили о национальной принадлежности корабля и о том, был ли он «дружественным» или неприятельским; однако, этой информации не всегда можно было доверять. Каперы (капер - частное лицо (и его судно), снаряжавшее с разрешения правительства для захвата неприятельских купеческих кораблей и товаров с целью вредить торговле неприятеля; на это выдавались правительством особые каперские патенты) или пираты, так же как и капитаны военных судов различных государств, часто пользовались иностранными флагами и эмблемами для того, чтобы заманить противника в ловушку. До тех пор, пока эти флаги не заменили официальной государственной эмблемой, к подобным уловкам относились как к допустимой «военной хитрости». Лучшее, что мог сделать капитан, это следовать правилу, что все встречающиеся ему корабли – вражеские, особенно в военное время.

Каперы, действовавшие с одобрения правительств своих государств, ходили под флагами собственных держав (англичане, например, вначале ходили под флагом с изображением Георгиевского креста (cross of St. George), а после 1707 года – под государственным флагом Соединенного Королевства, «Юнион Джек» (union jack), голландцы -  под трехцветным флагом Голландии (Dutch Tricolour)). К середине XVII века каперы стали использовать особые «каперские» символы в дополнение к государственному флагу. Если на каперском корабле не было флага той страны, которой он служит, его (капера) считали пиратом. О происхождении первых каперских флагов нигде не упоминается, но известно, что в 1694 году английское Адмиралтейство выпустило указ о том, что все каперы, которые состоят на службе у Англии, должны ходить под красным флагом. На ранних картинах голландских художников изображен красный флаг, однако сведений о том, что он означал, нет. Сегодня мы считаем, что красный флаг предупреждает об опасности. В конце XVII века развевающийся над каперским кораблем красный флаг как бы сигнализировал всем судам: «сопротивление бесполезно». Этот красный флаг получил название «Red Jack» («Красный Джек»). Приблизительно в то же время появился новый символ. Первое упоминание о черном флаге, которое встречается в отчетах о действиях каперов, относится к 1697 году. Каперы поднимали этот флаг в тех случаях, когда их жертвы начинали оказывать сопротивление, и он символизировал то, что врагам не будет пощады. Встречаются упоминания и о желтых флагах, хотя, что они символизировали в конце XVII века остается загадкой (в настоящее время желтый флаг используется в качестве карантинного).

Итак, к 1700 году красный и черный флаги ассоциировались с каперами. Когда в 1714 году, после окончания Войны за испанское наследство, каперство стало противозаконным, многие бывшие каперы стали пиратами. Они решили не менять свои старые эмблемы, хотя предпочтение отдавали все-таки черному цвету. До конца XIX века красный цвет так и продолжал ассоциироваться с каперами. Американские каперы XVIII века на красном фоне изобразили белые горизонтальные полоски, что, вероятно, повлияло и на внешний вид нынешнего государственного флага США. В некоторых источниках говорится о том, что Джулли Грабитель (Jully Roger) вначале поднимал этот флаг, как бы сигнализируя судну, что готов пощадить экипаж, если тот сдастся без боя. Если «жертва» отказывалась от подобного предложения, он вывешивал обычный красный флаг, возвещавший о том, что теперь уж пощады не будет.

Выражение 'Jolly Roger' («Веселый Роджер») – это не выдумка Голливуда, а реальный факт. Существует, по крайней мере, два вероятных объяснения его происхождения. Французы называли каперский красный флаг «Jolie Rouge» (т.е. «Jolly Red», в смысле «поберегитесь этого красного флага!»), и возможно, от этого и пошло название 'Jolly Roger'. Другое объяснение заключается в самом слове 'Roger'. В конце XVII века в Англии слово 'rouge' ассоциировалось с законами против различных бродяг и разбойников (rogue laws), с помощью которых англичане пытались бороться с ними. Слово 'Roger' на сленге означает бродяга, нищий или разбойник. Каперов называли «морскими бродягами» («Sea Beggars») еще в конце XVI века; эту фразу использовали голландские каперы (и «свободные воины»). Впоследствии ее стали употреблять в романтических описаниях каперов, «работавших» на Ла-Манше, особенно когда говорили о порте Дюнкерк. 'Jolly Roger' («Веселый Роджер») стал символом каперов.  Это относится и к красному, и к черному флагу. В более поздние времена этот символ каперов просто-напросто стал символом пиратов. Есть и еще одно объяснение: иногда дьявола или черта (devil) называют 'Old Roger', так что, может быть, флаг символизирует «дьявольскую злобу».

Существует популярный миф о том, что на каждом пиратском флаге обязательно изображен череп, а под ним две скрещенные кости или сабли. На самом деле было множество и других вариантов, потому что каждый капитан хотел ходить под своим собственным оригинальным флагом. Первое упоминание об изменении классического «Веселого Роджера» относится к 1700 году. Тогда французский капер по имени Эммануил Винн (Emmanuelle Wynne), появился под черным флагом, на котором красовался череп, скрещенные кости и песочные часы (а на черном и красном флагах Генри Вездесущего (Henry Every) уже в 1696 хоть и был изображен только череп и скрещенные кости, но череп повернут «в профиль»). Возможно, подобные изменения делались и раньше, однако на этот счет не сохранилось каких-либо существенных доказательств. Может быть, меняя свой флаг, капитан как бы заявлял всем о том, что он больше не считает себя капером, и переходит в лагерь «стопроцентных» пиратов. Единственное, что можно сказать с абсолютной точностью, это то, что после 1700 года различные дополнительные знаки, эмблемы на «базовом» красном или черном флаге стали ассоциироваться с пиратами, а различные индивидуальные символы в свою очередь стали «визитной карточкой» того или иного пирата.

Чаще всего на флагах изображали череп, символ смерти. Обычно к нему добавляли и скрещенные кости, еще один символ смерти (хотя, только один Эдвард Английский (Edward England) ходил под флагом с изображением «черепа и скрещенных костей» так сказать, в чистом виде. На эмблеме Кристофера Кондента (Christopher Condent) тот же самый рисунок повторялся три раза). В XVI и XVII веках практически повсеместно на Британских островах череп и кости изображались на надгробных плитах. Из других типичных символов можно назвать скелеты, копья, мечи, песочные часы, инициалы, сердца, скрещенные сабли, крылья и поднятые бокалы. В ту эпоху различные символы постоянно использовались и в искусстве, и в обычной жизни; более того, каждый из них имел свое определенное, неповторимое и известное всем значение. Помимо ассоциаций со смертью, которые неизменно рождались при виде черепов, костей и скелетов, изображения танцующих скелетов символизировали танец со смертью, т.е. таким образом капитан хотел показать всем, что равнодушен к смерти, что его не страшит любая опасность и т.п. Приблизительно тот же смысл вкладывался и в изображение поднятого бокала (капитан как бы провозглашал «тост за смерть»). Оружие, в свою очередь, обещало кровопролитное сражение, а песочные часы и крылья напоминали о быстротечности времени. В те времена все эти символы использовали и для аллегорического изображения смерти, и часто рисовали на надгробных плитах.

Символы часто объединяли друг с другом. Например, на флаге Кристофера Угрюмого (Christopher Moody) можно было увидеть череп со скрещенными костями, обнаженный меч и крылатые песочные часы. Эдвард Тич (Edward Teach) по прозвищу «Черная Борода» ('Blackbeard') ходил под флагом, на котором рядом с истекающим кровью сердцем красовался рогатый скелет, державший песочные часы и копье. У Бартоломео Робертса, помимо флага с надписями 'ABH/AMH' (см. выше), был еще один с изображением пирата, который держал в руках песочные часы, а рядом с ним стоял скелет, сжимающий копье. Тема рока, фатализма постоянно присутствовала в пиратских символах; возможно, их смысл относился не только к жертвам, но и к самим пиратам.

Часто на пиратских судах развевались и государственные флаги. Обычно это означало то, что пират все еще хотел, чтобы его воспринимали как капера, который нападает только на «чужие» корабли (состоящие на службе у других стран), а «свои» не трогает. Если такое встречалось в мирное время или пират не играл роль капера, это могло значить все, что угодно. В 1718 году Чарльз Флюгер (Charles Vane) на одной из своих мачт вывесил английский флаг, а на другой – черный пиратский. В 1720 году на грот-мачте корабля Эдварда Английского развевался черный флаг, на фок-мачте – красный флаг, а на его кормовом флагштоке был поднят английский флаг!

«Веселых Роджеров» создавал тот, кто занимался парусами на пиратском корабле или любой другой член экипажа, который «дружил» с иголкой. Для многих Нассовских пиратов (Nassau pirates) флаги делали вдовы изготовителей парусов, получавшие за свою работу плату в виде бренди. 

Каким бы ни было их происхождение, флаги предназначались для того, чтобы вселять смертельный ужас в сердца потенциальных жертв пиратов. Часто на белом, красном или черном фоне можно было увидеть изображения скелетов, кинжалов, вооруженных людей или сердец, истекающих кровью. Впервые череп и скрещенные кости появились на флагах где-то в 1700 году, когда на Карибах появился устрашающий французский пират Эммануэль Винн со своими песочными часами, которые как бы говорили всем его жертвам о том, что «пробил их роковой час».