Отпускать ли ребёнка гулять во двор?

Моему сыну всего 4,5, на самостоятельные прогулки я его не отпускаю и не планирую, хотя городок у нас маленький, и двор очень удобный, просматривается с окна и полон бдительных бабулек, которые знают всех детей и родителей, но я все равно боюсь.
Так же меня настораживает воспитание (точнее отсутствие) дворовых детей, некоторые дети гуляют самостоятельно и с 2-х лет, родителям не до них, дети из неблагополучных семей. Их лексикон поражает даже моего видавшего виды мужа.
Вспоминая свое веселое, дворовое детство, меня мучают угрызения совести, что я чего то лишаю своего сына, ращу домашнего мальчика. Но и через себя переступить не могу. Он сейчас ходит на танцы и рисование, к школе загружу еще и спортом, что бы некогды было маты во дворе разучивать, да бычки по подвалам подбирать.

Меня не отпскали гулять без бабушки лет этак до 12. Даже к школьной подружке в гости меня бабуля отводила.
Что из этого вышло? Да ничего хорошего, я до сих пор всего стесняюсь, боюсь лишний раз с кем-то взглядом встретиться, дорогу спросить в незнакомом месте или время уточнить. Нормально это? Да, со мной не случалось ничего дурного. Но и играть с детьми я тогда так и не научилась.
И сейчас в компании не могу находиться, прячусь и устаю от людей.

Свою дочь я начала отпускать гулять одну на даче - лет с 5, а в городе - с 7. Жили мы в центре, дворик всего один рядом, особо не разгуляешься...а то и раньше бы отпускать начала, чтобы такой букой как я не выросла.