WordPress 4.2.2
[autoinstalls/wordpress.git] / wp-includes / formatting.php
index 5efe0cdadb43e3bd5635e19cf4c83d39831ad79c..acdc3d782fe993e54f42b79944d28ba967ba2526 100644 (file)
  * Replaces common plain text characters into formatted entities
  *
  * As an example,
- * <code>
- * 'cause today's effort makes it worth tomorrow's "holiday"...
- * </code>
+ *
+ *     'cause today's effort makes it worth tomorrow's "holiday" ...
+ *
  * Becomes:
- * <code>
- * &#8217;cause today&#8217;s effort makes it worth tomorrow&#8217;s &#8220;holiday&#8221;&#8230;
- * </code>
+ *
+ *     &#8217;cause today&#8217;s effort makes it worth tomorrow&#8217;s &#8220;holiday&#8221; &#8230;
+ *
  * Code within certain html blocks are skipped.
  *
  * @since 0.71
  * @uses $wp_cockneyreplace Array of formatted entities for certain common phrases
  *
  * @param string $text The text to be formatted
+ * @param bool $reset Set to true for unit testing. Translated patterns will reset.
  * @return string The string replaced with html entities
  */
-function wptexturize($text) {
-       global $wp_cockneyreplace;
+function wptexturize($text, $reset = false) {
+       global $wp_cockneyreplace, $shortcode_tags;
        static $static_characters, $static_replacements, $dynamic_characters, $dynamic_replacements,
-               $default_no_texturize_tags, $default_no_texturize_shortcodes;
+               $default_no_texturize_tags, $default_no_texturize_shortcodes, $run_texturize = true;
+
+       // If there's nothing to do, just stop.
+       if ( empty( $text ) || false === $run_texturize ) {
+               return $text;
+       }
+
+       // Set up static variables. Run once only.
+       if ( $reset || ! isset( $static_characters ) ) {
+               /**
+                * Filter whether to skip running wptexturize().
+                *
+                * Passing false to the filter will effectively short-circuit wptexturize().
+                * returning the original text passed to the function instead.
+                *
+                * The filter runs only once, the first time wptexturize() is called.
+                *
+                * @since 4.0.0
+                *
+                * @see wptexturize()
+                *
+                * @param bool $run_texturize Whether to short-circuit wptexturize().
+                */
+               $run_texturize = apply_filters( 'run_wptexturize', $run_texturize );
+               if ( false === $run_texturize ) {
+                       return $text;
+               }
 
-       // No need to set up these static variables more than once
-       if ( ! isset( $static_characters ) ) {
                /* translators: opening curly double quote */
                $opening_quote = _x( '&#8220;', 'opening curly double quote' );
                /* translators: closing curly double quote */
@@ -61,44 +86,52 @@ function wptexturize($text) {
 
                // if a plugin has provided an autocorrect array, use it
                if ( isset($wp_cockneyreplace) ) {
-                       $cockney = array_keys($wp_cockneyreplace);
-                       $cockneyreplace = array_values($wp_cockneyreplace);
+                       $cockney = array_keys( $wp_cockneyreplace );
+                       $cockneyreplace = array_values( $wp_cockneyreplace );
                } elseif ( "'" != $apos ) { // Only bother if we're doing a replacement.
-                       $cockney = array( "'tain't", "'twere", "'twas", "'tis", "'twill", "'til", "'bout", "'nuff", "'round", "'cause" );
-                       $cockneyreplace = array( $apos . "tain" . $apos . "t", $apos . "twere", $apos . "twas", $apos . "tis", $apos . "twill", $apos . "til", $apos . "bout", $apos . "nuff", $apos . "round", $apos . "cause" );
+                       $cockney = array( "'tain't", "'twere", "'twas", "'tis", "'twill", "'til", "'bout", "'nuff", "'round", "'cause", "'em" );
+                       $cockneyreplace = array( $apos . "tain" . $apos . "t", $apos . "twere", $apos . "twas", $apos . "tis", $apos . "twill", $apos . "til", $apos . "bout", $apos . "nuff", $apos . "round", $apos . "cause", $apos . "em" );
                } else {
                        $cockney = $cockneyreplace = array();
                }
 
-               $static_characters = array_merge( array( '---', ' -- ', '--', ' - ', 'xn&#8211;', '...', '``', '\'\'', ' (tm)' ), $cockney );
-               $static_replacements = array_merge( array( $em_dash, ' ' . $em_dash . ' ', $en_dash, ' ' . $en_dash . ' ', 'xn--', '&#8230;', $opening_quote, $closing_quote, ' &#8482;' ), $cockneyreplace );
-
-               /*
-                * Regex for common whitespace characters.
-                *
-                * By default, spaces include new lines, tabs, nbsp entities, and the UTF-8 nbsp.
-                * This is designed to replace the PCRE \s sequence.  In #WP22692, that sequence
-                * was found to be unreliable due to random inclusion of the A0 byte.
-                */
-               $spaces = '[\r\n\t ]|\xC2\xA0|&nbsp;';
+               $static_characters = array_merge( array( '...', '``', '\'\'', ' (tm)' ), $cockney );
+               $static_replacements = array_merge( array( '&#8230;', $opening_quote, $closing_quote, ' &#8482;' ), $cockneyreplace );
 
 
                // Pattern-based replacements of characters.
+               // Sort the remaining patterns into several arrays for performance tuning.
+               $dynamic_characters = array( 'apos' => array(), 'quote' => array(), 'dash' => array() );
+               $dynamic_replacements = array( 'apos' => array(), 'quote' => array(), 'dash' => array() );
                $dynamic = array();
+               $spaces = wp_spaces_regexp();
 
-               // '99 '99s '99's (apostrophe)
+               // '99' and '99" are ambiguous among other patterns; assume it's an abbreviated year at the end of a quotation.
+               if ( "'" !== $apos || "'" !== $closing_single_quote ) {
+                       $dynamic[ '/\'(\d\d)\'(?=\Z|[.,)}\-\]]|&gt;|' . $spaces . ')/' ] = $apos . '$1' . $closing_single_quote;
+               }
+               if ( "'" !== $apos || '"' !== $closing_quote ) {
+                       $dynamic[ '/\'(\d\d)"(?=\Z|[.,)}\-\]]|&gt;|' . $spaces . ')/' ] = $apos . '$1' . $closing_quote;
+               }
+
+               // '99 '99s '99's (apostrophe)  But never '9 or '99% or '999 or '99.0.
                if ( "'" !== $apos ) {
-                       $dynamic[ '/\'(?=\d)/' ] = $apos;
+                       $dynamic[ '/\'(?=\d\d(?:\Z|(?![%\d]|[.,]\d)))/' ] = $apos;
+               }
+
+               // Quoted Numbers like '0.42'
+               if ( "'" !== $opening_single_quote && "'" !== $closing_single_quote ) {
+                       $dynamic[ '/(?<=\A|' . $spaces . ')\'(\d[.,\d]*)\'/' ] = $opening_single_quote . '$1' . $closing_single_quote;
                }
 
-               // Single quote at start, or preceded by (, {, <, [, ", or spaces.
+               // Single quote at start, or preceded by (, {, <, [, ", -, or spaces.
                if ( "'" !== $opening_single_quote ) {
-                       $dynamic[ '/(?<=\A|[([{<"]|' . $spaces . ')\'/' ] = $opening_single_quote;
+                       $dynamic[ '/(?<=\A|[([{"\-]|&lt;|' . $spaces . ')\'/' ] = $opening_single_quote;
                }
 
-               // 9" (double prime)
-               if ( '"' !== $double_prime ) {
-                       $dynamic[ '/(?<=\d)"/' ] = $double_prime;
+               // Apostrophe in a word.  No spaces, double apostrophes, or other punctuation.
+               if ( "'" !== $apos ) {
+                       $dynamic[ '/(?<!' . $spaces . ')\'(?!\Z|[.,:;"\'(){}[\]\-]|&[lg]t;|' . $spaces . ')/' ] = $apos;
                }
 
                // 9' (prime)
@@ -106,14 +139,28 @@ function wptexturize($text) {
                        $dynamic[ '/(?<=\d)\'/' ] = $prime;
                }
 
-               // Apostrophe in a word.  No spaces or double primes.
-               if ( "'" !== $apos ) {
-                       $dynamic[ '/(?<!' . $spaces . ')\'(?!\'|' . $spaces . ')/' ] = $apos;
+               // Single quotes followed by spaces or ending punctuation.
+               if ( "'" !== $closing_single_quote ) {
+                       $dynamic[ '/\'(?=\Z|[.,)}\-\]]|&gt;|' . $spaces . ')/' ] = $closing_single_quote;
                }
 
-               // Double quote at start, or preceded by (, {, <, [, or spaces, and not followed by spaces.
+               $dynamic_characters['apos'] = array_keys( $dynamic );
+               $dynamic_replacements['apos'] = array_values( $dynamic );
+               $dynamic = array();
+
+               // Quoted Numbers like "42"
+               if ( '"' !== $opening_quote && '"' !== $closing_quote ) {
+                       $dynamic[ '/(?<=\A|' . $spaces . ')"(\d[.,\d]*)"/' ] = $opening_quote . '$1' . $closing_quote;
+               }
+
+               // 9" (double prime)
+               if ( '"' !== $double_prime ) {
+                       $dynamic[ '/(?<=\d)"/' ] = $double_prime;
+               }
+
+               // Double quote at start, or preceded by (, {, <, [, -, or spaces, and not followed by spaces.
                if ( '"' !== $opening_quote ) {
-                       $dynamic[ '/(?<=\A|[([{<]|' . $spaces . ')"(?!' . $spaces . ')/' ] = $opening_quote;
+                       $dynamic[ '/(?<=\A|[([{\-]|&lt;|' . $spaces . ')"(?!' . $spaces . ')/' ] = $opening_quote;
                }
 
                // Any remaining double quotes.
@@ -121,16 +168,20 @@ function wptexturize($text) {
                        $dynamic[ '/"/' ] = $closing_quote;
                }
 
-               // Single quotes followed by spaces or a period.
-               if ( "'" !== $closing_single_quote ) {
-                       $dynamic[ '/\'(?=\Z|\.|' . $spaces . ')/' ] = $closing_single_quote;
-               }
+               $dynamic_characters['quote'] = array_keys( $dynamic );
+               $dynamic_replacements['quote'] = array_values( $dynamic );
+               $dynamic = array();
 
-               $dynamic_characters = array_keys( $dynamic );
-               $dynamic_replacements = array_values( $dynamic );
+               // Dashes and spaces
+               $dynamic[ '/---/' ] = $em_dash;
+               $dynamic[ '/(?<=^|' . $spaces . ')--(?=$|' . $spaces . ')/' ] = $em_dash;
+               $dynamic[ '/(?<!xn)--/' ] = $en_dash;
+               $dynamic[ '/(?<=^|' . $spaces . ')-(?=$|' . $spaces . ')/' ] = $en_dash;
+
+               $dynamic_characters['dash'] = array_keys( $dynamic );
+               $dynamic_replacements['dash'] = array_values( $dynamic );
        }
 
-       // Transform into regexp sub-expression used in _wptexturize_pushpop_element
        // Must do this every time in case plugins use these filters in a context sensitive manner
        /**
         * Filter the list of HTML elements not to texturize.
@@ -139,7 +190,7 @@ function wptexturize($text) {
         *
         * @param array $default_no_texturize_tags An array of HTML element names.
         */
-       $no_texturize_tags = '(' . implode( '|', apply_filters( 'no_texturize_tags', $default_no_texturize_tags ) ) . ')';
+       $no_texturize_tags = apply_filters( 'no_texturize_tags', $default_no_texturize_tags );
        /**
         * Filter the list of shortcodes not to texturize.
         *
@@ -147,63 +198,149 @@ function wptexturize($text) {
         *
         * @param array $default_no_texturize_shortcodes An array of shortcode names.
         */
-       $no_texturize_shortcodes = '(' . implode( '|', apply_filters( 'no_texturize_shortcodes', $default_no_texturize_shortcodes ) ) . ')';
+       $no_texturize_shortcodes = apply_filters( 'no_texturize_shortcodes', $default_no_texturize_shortcodes );
 
        $no_texturize_tags_stack = array();
        $no_texturize_shortcodes_stack = array();
 
-       $textarr = preg_split('/(<.*>|\[.*\])/Us', $text, -1, PREG_SPLIT_DELIM_CAPTURE);
+       // Look for shortcodes and HTML elements.
+
+       $tagnames = array_keys( $shortcode_tags );
+       $tagregexp = join( '|', array_map( 'preg_quote', $tagnames ) );
+       $tagregexp = "(?:$tagregexp)(?![\\w-])"; // Excerpt of get_shortcode_regex().
+
+       $comment_regex =
+                 '!'           // Start of comment, after the <.
+               . '(?:'         // Unroll the loop: Consume everything until --> is found.
+               .     '-(?!->)' // Dash not followed by end of comment.
+               .     '[^\-]*+' // Consume non-dashes.
+               . ')*+'         // Loop possessively.
+               . '(?:-->)?';   // End of comment. If not found, match all input.
+
+       $shortcode_regex =
+                 '\['              // Find start of shortcode.
+               . '[\/\[]?'         // Shortcodes may begin with [/ or [[
+               . $tagregexp        // Only match registered shortcodes, because performance.
+               . '(?:'
+               .     '[^\[\]<>]+'  // Shortcodes do not contain other shortcodes. Quantifier critical.
+               . '|'
+               .     '<[^\[\]>]*>' // HTML elements permitted. Prevents matching ] before >.
+               . ')*+'             // Possessive critical.
+               . '\]'              // Find end of shortcode.
+               . '\]?';            // Shortcodes may end with ]]
+
+       $regex =
+                 '/('                   // Capture the entire match.
+               .     '<'                // Find start of element.
+               .     '(?(?=!--)'        // Is this a comment?
+               .         $comment_regex // Find end of comment.
+               .     '|'
+               .         '[^>]*>'       // Find end of element.
+               .     ')'
+               . '|'
+               .     $shortcode_regex   // Find shortcodes.
+               . ')/s';
+
+       $textarr = preg_split( $regex, $text, -1, PREG_SPLIT_DELIM_CAPTURE | PREG_SPLIT_NO_EMPTY );
 
        foreach ( $textarr as &$curl ) {
-               if ( empty( $curl ) ) {
+               // Only call _wptexturize_pushpop_element if $curl is a delimiter.
+               $first = $curl[0];
+               if ( '<' === $first && '<!--' === substr( $curl, 0, 4 ) ) {
+                       // This is an HTML comment delimeter.
+
                        continue;
-               }
 
-               // Only call _wptexturize_pushpop_element if first char is correct tag opening
-               $first = $curl[0];
-               if ( '<' === $first ) {
-                       _wptexturize_pushpop_element($curl, $no_texturize_tags_stack, $no_texturize_tags, '<', '>');
-               } elseif ( '[' === $first ) {
-                       _wptexturize_pushpop_element($curl, $no_texturize_shortcodes_stack, $no_texturize_shortcodes, '[', ']');
-               } elseif ( empty($no_texturize_shortcodes_stack) && empty($no_texturize_tags_stack) ) {
+               } elseif ( '<' === $first && '>' === substr( $curl, -1 ) ) {
+                       // This is an HTML element delimiter.
 
-                       // This is not a tag, nor is the texturization disabled static strings
-                       $curl = str_replace($static_characters, $static_replacements, $curl);
+                       _wptexturize_pushpop_element( $curl, $no_texturize_tags_stack, $no_texturize_tags );
 
-                       // regular expressions
-                       $curl = preg_replace($dynamic_characters, $dynamic_replacements, $curl);
+               } elseif ( '' === trim( $curl ) ) {
+                       // This is a newline between delimiters.  Performance improves when we check this.
 
-                       // 9x9 (times)
-                       if ( 1 === preg_match( '/(?<=\d)x\d/', $text ) ) {
+                       continue;
+
+               } elseif ( '[' === $first && 1 === preg_match( '/^' . $shortcode_regex . '$/', $curl ) ) {
+                       // This is a shortcode delimiter.
+
+                       if ( '[[' !== substr( $curl, 0, 2 ) && ']]' !== substr( $curl, -2 ) ) {
+                               // Looks like a normal shortcode.
+                               _wptexturize_pushpop_element( $curl, $no_texturize_shortcodes_stack, $no_texturize_shortcodes );
+                       } else {
+                               // Looks like an escaped shortcode.
+                               continue;
+                       }
+
+               } elseif ( empty( $no_texturize_shortcodes_stack ) && empty( $no_texturize_tags_stack ) ) {
+                       // This is neither a delimiter, nor is this content inside of no_texturize pairs.  Do texturize.
+
+                       $curl = str_replace( $static_characters, $static_replacements, $curl );
+
+                       if ( false !== strpos( $curl, "'" ) ) {
+                               $curl = preg_replace( $dynamic_characters['apos'], $dynamic_replacements['apos'], $curl );
+                       }
+                       if ( false !== strpos( $curl, '"' ) ) {
+                               $curl = preg_replace( $dynamic_characters['quote'], $dynamic_replacements['quote'], $curl );
+                       }
+                       if ( false !== strpos( $curl, '-' ) ) {
+                               $curl = preg_replace( $dynamic_characters['dash'], $dynamic_replacements['dash'], $curl );
+                       }
+
+                       // 9x9 (times), but never 0x9999
+                       if ( 1 === preg_match( '/(?<=\d)x\d/', $curl ) ) {
                                // Searching for a digit is 10 times more expensive than for the x, so we avoid doing this one!
-                               $curl = preg_replace( '/\b(\d+)x(\d+)\b/', '$1&#215;$2', $curl );
+                               $curl = preg_replace( '/\b(\d(?(?<=0)[\d\.,]+|[\d\.,]*))x(\d[\d\.,]*)\b/', '$1&#215;$2', $curl );
                        }
                }
-
-               // Replace each & with &#038; unless it already looks like an entity.
-               $curl = preg_replace('/&([^#])(?![a-zA-Z1-4]{1,8};)/', '&#038;$1', $curl);
        }
-       return implode( '', $textarr );
+       $text = implode( '', $textarr );
+
+       // Replace each & with &#038; unless it already looks like an entity.
+       $text = preg_replace('/&(?!#(?:\d+|x[a-f0-9]+);|[a-z1-4]{1,8};)/i', '&#038;', $text);
+
+       return $text;
 }
 
 /**
  * Search for disabled element tags. Push element to stack on tag open and pop
- * on tag close. Assumes first character of $text is tag opening.
+ * on tag close.
+ *
+ * Assumes first char of $text is tag opening and last char is tag closing.
+ * Assumes second char of $text is optionally '/' to indicate closing as in </html>.
  *
  * @since 2.9.0
  * @access private
  *
- * @param string $text Text to check. First character is assumed to be $opening
- * @param array $stack Array used as stack of opened tag elements
- * @param string $disabled_elements Tags to match against formatted as regexp sub-expression
- * @param string $opening Tag opening character, assumed to be 1 character long
- * @param string $closing Tag closing character
- */
-function _wptexturize_pushpop_element($text, &$stack, $disabled_elements, $opening = '<', $closing = '>') {
-       // Check if it is a closing tag -- otherwise assume opening tag
-       if (strncmp($opening . '/', $text, 2)) {
-               // Opening? Check $text+1 against disabled elements
-               if (preg_match('/^' . $disabled_elements . '\b/', substr($text, 1), $matches)) {
+ * @param string $text Text to check. Must be a tag like `<html>` or `[shortcode]`.
+ * @param array $stack List of open tag elements.
+ * @param array $disabled_elements The tag names to match against. Spaces are not allowed in tag names.
+ */
+function _wptexturize_pushpop_element($text, &$stack, $disabled_elements) {
+       // Is it an opening tag or closing tag?
+       if ( '/' !== $text[1] ) {
+               $opening_tag = true;
+               $name_offset = 1;
+       } elseif ( 0 == count( $stack ) ) {
+               // Stack is empty. Just stop.
+               return;
+       } else {
+               $opening_tag = false;
+               $name_offset = 2;
+       }
+
+       // Parse out the tag name.
+       $space = strpos( $text, ' ' );
+       if ( false === $space ) {
+               $space = -1;
+       } else {
+               $space -= $name_offset;
+       }
+       $tag = substr( $text, $name_offset, $space );
+
+       // Handle disabled tags.
+       if ( in_array( $tag, $disabled_elements ) ) {
+               if ( $opening_tag ) {
                        /*
                         * This disables texturize until we find a closing tag of our type
                         * (e.g. <pre>) even if there was invalid nesting before that
@@ -212,18 +349,9 @@ function _wptexturize_pushpop_element($text, &$stack, $disabled_elements, $openi
                         *          "baba" won't be texturize
                         */
 
-                       array_push($stack, $matches[1]);
-               }
-       } else {
-               // Closing? Check $text+2 against disabled elements
-               $c = preg_quote($closing, '/');
-               if (preg_match('/^' . $disabled_elements . $c . '/', substr($text, 2), $matches)) {
-                       $last = array_pop($stack);
-
-                       // Make sure it matches the opening tag
-                       if ( $last != $matches[1] ) {
-                               array_push( $stack, $last );
-                       }
+                       array_push( $stack, $tag );
+               } elseif ( end( $stack ) == $tag ) {
+                       array_pop( $stack );
                }
        }
 }
@@ -232,14 +360,14 @@ function _wptexturize_pushpop_element($text, &$stack, $disabled_elements, $openi
  * Replaces double line-breaks with paragraph elements.
  *
  * A group of regex replaces used to identify text formatted with newlines and
- * replace double line-breaks with HTML paragraph tags. The remaining
- * line-breaks after conversion become <<br />> tags, unless $br is set to '0'
- * or 'false'.
+ * replace double line-breaks with HTML paragraph tags. The remaining line-breaks
+ * after conversion become <<br />> tags, unless $br is set to '0' or 'false'.
  *
  * @since 0.71
  *
  * @param string $pee The text which has to be formatted.
- * @param bool $br Optional. If set, this will convert all remaining line-breaks after paragraphing. Default true.
+ * @param bool   $br  Optional. If set, this will convert all remaining line-breaks
+ *                    after paragraphing. Default true.
  * @return string Text which has been converted into correct paragraph tags.
  */
 function wpautop($pee, $br = true) {
@@ -248,8 +376,13 @@ function wpautop($pee, $br = true) {
        if ( trim($pee) === '' )
                return '';
 
-       $pee = $pee . "\n"; // just to make things a little easier, pad the end
+       // Just to make things a little easier, pad the end.
+       $pee = $pee . "\n";
 
+       /*
+        * Pre tags shouldn't be touched by autop.
+        * Replace pre tags with placeholders and bring them back after autop.
+        */
        if ( strpos($pee, '<pre') !== false ) {
                $pee_parts = explode( '</pre>', $pee );
                $last_pee = array_pop($pee_parts);
@@ -274,56 +407,102 @@ function wpautop($pee, $br = true) {
 
                $pee .= $last_pee;
        }
-
+       // Change multiple <br>s into two line breaks, which will turn into paragraphs.
        $pee = preg_replace('|<br />\s*<br />|', "\n\n", $pee);
-       // Space things out a little
-       $allblocks = '(?:table|thead|tfoot|caption|col|colgroup|tbody|tr|td|th|div|dl|dd|dt|ul|ol|li|pre|form|map|area|blockquote|address|math|style|p|h[1-6]|hr|fieldset|noscript|legend|section|article|aside|hgroup|header|footer|nav|figure|details|menu|summary)';
+
+       $allblocks = '(?:table|thead|tfoot|caption|col|colgroup|tbody|tr|td|th|div|dl|dd|dt|ul|ol|li|pre|form|map|area|blockquote|address|math|style|p|h[1-6]|hr|fieldset|legend|section|article|aside|hgroup|header|footer|nav|figure|figcaption|details|menu|summary)';
+
+       // Add a single line break above block-level opening tags.
        $pee = preg_replace('!(<' . $allblocks . '[^>]*>)!', "\n$1", $pee);
+
+       // Add a double line break below block-level closing tags.
        $pee = preg_replace('!(</' . $allblocks . '>)!', "$1\n\n", $pee);
-       $pee = str_replace(array("\r\n", "\r"), "\n", $pee); // cross-platform newlines
 
+       // Standardize newline characters to "\n".
+       $pee = str_replace(array("\r\n", "\r"), "\n", $pee); 
+
+       // Collapse line breaks before and after <option> elements so they don't get autop'd.
+       if ( strpos( $pee, '<option' ) !== false ) {
+               $pee = preg_replace( '|\s*<option|', '<option', $pee );
+               $pee = preg_replace( '|</option>\s*|', '</option>', $pee );
+       }
+
+       /*
+        * Collapse line breaks inside <object> elements, before <param> and <embed> elements
+        * so they don't get autop'd.
+        */
        if ( strpos( $pee, '</object>' ) !== false ) {
-               // no P/BR around param and embed
                $pee = preg_replace( '|(<object[^>]*>)\s*|', '$1', $pee );
                $pee = preg_replace( '|\s*</object>|', '</object>', $pee );
                $pee = preg_replace( '%\s*(</?(?:param|embed)[^>]*>)\s*%', '$1', $pee );
        }
 
+       /*
+        * Collapse line breaks inside <audio> and <video> elements,
+        * before and after <source> and <track> elements.
+        */
        if ( strpos( $pee, '<source' ) !== false || strpos( $pee, '<track' ) !== false ) {
-               // no P/BR around source and track
                $pee = preg_replace( '%([<\[](?:audio|video)[^>\]]*[>\]])\s*%', '$1', $pee );
                $pee = preg_replace( '%\s*([<\[]/(?:audio|video)[>\]])%', '$1', $pee );
                $pee = preg_replace( '%\s*(<(?:source|track)[^>]*>)\s*%', '$1', $pee );
        }
 
-       $pee = preg_replace("/\n\n+/", "\n\n", $pee); // take care of duplicates
-       // make paragraphs, including one at the end
+       // Remove more than two contiguous line breaks.
+       $pee = preg_replace("/\n\n+/", "\n\n", $pee);
+
+       // Split up the contents into an array of strings, separated by double line breaks.
        $pees = preg_split('/\n\s*\n/', $pee, -1, PREG_SPLIT_NO_EMPTY);
+
+       // Reset $pee prior to rebuilding.
        $pee = '';
 
+       // Rebuild the content as a string, wrapping every bit with a <p>.
        foreach ( $pees as $tinkle ) {
                $pee .= '<p>' . trim($tinkle, "\n") . "</p>\n";
        }
 
-       $pee = preg_replace('|<p>\s*</p>|', '', $pee); // under certain strange conditions it could create a P of entirely whitespace
+       // Under certain strange conditions it could create a P of entirely whitespace.
+       $pee = preg_replace('|<p>\s*</p>|', '', $pee); 
+
+       // Add a closing <p> inside <div>, <address>, or <form> tag if missing.
        $pee = preg_replace('!<p>([^<]+)</(div|address|form)>!', "<p>$1</p></$2>", $pee);
-       $pee = preg_replace('!<p>\s*(</?' . $allblocks . '[^>]*>)\s*</p>!', "$1", $pee); // don't pee all over a tag
-       $pee = preg_replace("|<p>(<li.+?)</p>|", "$1", $pee); // problem with nested lists
+       
+       // If an opening or closing block element tag is wrapped in a <p>, unwrap it.
+       $pee = preg_replace('!<p>\s*(</?' . $allblocks . '[^>]*>)\s*</p>!', "$1", $pee); 
+       
+       // In some cases <li> may get wrapped in <p>, fix them.
+       $pee = preg_replace("|<p>(<li.+?)</p>|", "$1", $pee); 
+       
+       // If a <blockquote> is wrapped with a <p>, move it inside the <blockquote>.
        $pee = preg_replace('|<p><blockquote([^>]*)>|i', "<blockquote$1><p>", $pee);
        $pee = str_replace('</blockquote></p>', '</p></blockquote>', $pee);
+       
+       // If an opening or closing block element tag is preceded by an opening <p> tag, remove it.
        $pee = preg_replace('!<p>\s*(</?' . $allblocks . '[^>]*>)!', "$1", $pee);
+       
+       // If an opening or closing block element tag is followed by a closing <p> tag, remove it.
        $pee = preg_replace('!(</?' . $allblocks . '[^>]*>)\s*</p>!', "$1", $pee);
 
+       // Optionally insert line breaks.
        if ( $br ) {
+               // Replace newlines that shouldn't be touched with a placeholder.
                $pee = preg_replace_callback('/<(script|style).*?<\/\\1>/s', '_autop_newline_preservation_helper', $pee);
-               $pee = preg_replace('|(?<!<br />)\s*\n|', "<br />\n", $pee); // optionally make line breaks
+
+               // Replace any new line characters that aren't preceded by a <br /> with a <br />.
+               $pee = preg_replace('|(?<!<br />)\s*\n|', "<br />\n", $pee); 
+
+               // Replace newline placeholders with newlines.
                $pee = str_replace('<WPPreserveNewline />', "\n", $pee);
        }
 
+       // If a <br /> tag is after an opening or closing block tag, remove it.
        $pee = preg_replace('!(</?' . $allblocks . '[^>]*>)\s*<br />!', "$1", $pee);
+       
+       // If a <br /> tag is before a subset of opening or closing block tags, remove it.
        $pee = preg_replace('!<br />(\s*</?(?:p|li|div|dl|dd|dt|th|pre|td|ul|ol)[^>]*>)!', '$1', $pee);
        $pee = preg_replace( "|\n</p>$|", '</p>', $pee );
 
+       // Replace placeholder <pre> tags with their original content.
        if ( !empty($pre_tags) )
                $pee = str_replace(array_keys($pre_tags), array_values($pre_tags), $pee);
 
@@ -346,7 +525,7 @@ function _autop_newline_preservation_helper( $matches ) {
 /**
  * Don't auto-p wrap shortcodes that stand alone
  *
- * Ensures that shortcodes are not wrapped in <<p>>...<</p>>.
+ * Ensures that shortcodes are not wrapped in `<p>...</p>`.
  *
  * @since 2.9.0
  *
@@ -361,11 +540,12 @@ function shortcode_unautop( $pee ) {
        }
 
        $tagregexp = join( '|', array_map( 'preg_quote', array_keys( $shortcode_tags ) ) );
+       $spaces = wp_spaces_regexp();
 
        $pattern =
                  '/'
                . '<p>'                              // Opening paragraph
-               . '\\s*+'                            // Optional leading whitespace
+               . '(?:' . $spaces . ')*+'            // Optional leading whitespace
                . '('                                // 1: The shortcode
                .     '\\['                          // Opening bracket
                .     "($tagregexp)"                 // 2: Shortcode name
@@ -390,7 +570,7 @@ function shortcode_unautop( $pee ) {
                .         ')?'
                .     ')'
                . ')'
-               . '\\s*+'                            // optional trailing whitespace
+               . '(?:' . $spaces . ')*+'            // optional trailing whitespace
                . '<\\/p>'                           // closing paragraph
                . '/s';
 
@@ -410,17 +590,19 @@ function shortcode_unautop( $pee ) {
  * @return bool True if $str fits a UTF-8 model, false otherwise.
  */
 function seems_utf8($str) {
+       mbstring_binary_safe_encoding();
        $length = strlen($str);
+       reset_mbstring_encoding();
        for ($i=0; $i < $length; $i++) {
                $c = ord($str[$i]);
-               if ($c < 0x80) $n = 0; # 0bbbbbbb
-               elseif (($c & 0xE0) == 0xC0) $n=1; # 110bbbbb
-               elseif (($c & 0xF0) == 0xE0) $n=2; # 1110bbbb
-               elseif (($c & 0xF8) == 0xF0) $n=3; # 11110bbb
-               elseif (($c & 0xFC) == 0xF8) $n=4; # 111110bb
-               elseif (($c & 0xFE) == 0xFC) $n=5; # 1111110b
-               else return false; # Does not match any model
-               for ($j=0; $j<$n; $j++) { # n bytes matching 10bbbbbb follow ?
+               if ($c < 0x80) $n = 0; // 0bbbbbbb
+               elseif (($c & 0xE0) == 0xC0) $n=1; // 110bbbbb
+               elseif (($c & 0xF0) == 0xE0) $n=2; // 1110bbbb
+               elseif (($c & 0xF8) == 0xF0) $n=3; // 11110bbb
+               elseif (($c & 0xFC) == 0xF8) $n=4; // 111110bb
+               elseif (($c & 0xFE) == 0xFC) $n=5; // 1111110b
+               else return false; // Does not match any model
+               for ($j=0; $j<$n; $j++) { // n bytes matching 10bbbbbb follow ?
                        if ((++$i == $length) || ((ord($str[$i]) & 0xC0) != 0x80))
                                return false;
                }
@@ -440,7 +622,7 @@ function seems_utf8($str) {
  * @access private
  *
  * @param string $string The text which is to be encoded.
- * @param mixed $quote_style Optional. Converts double quotes if set to ENT_COMPAT, both single and double if set to ENT_QUOTES or none if set to ENT_NOQUOTES. Also compatible with old values; converting single quotes if set to 'single', double if set to 'double' or both if otherwise set. Default is ENT_NOQUOTES.
+ * @param int $quote_style Optional. Converts double quotes if set to ENT_COMPAT, both single and double if set to ENT_QUOTES or none if set to ENT_NOQUOTES. Also compatible with old values; converting single quotes if set to 'single', double if set to 'double' or both if otherwise set. Default is ENT_NOQUOTES.
  * @param string $charset Optional. The character encoding of the string. Default is false.
  * @param boolean $double_encode Optional. Whether to encode existing html entities. Default is false.
  * @return string The encoded text with HTML entities.
@@ -496,9 +678,9 @@ function _wp_specialchars( $string, $quote_style = ENT_NOQUOTES, $charset = fals
                // Now re-encode everything except &entity;
                $string = preg_split( '/(&#?x?[0-9a-z]+;)/i', $string, -1, PREG_SPLIT_DELIM_CAPTURE );
 
-               for ( $i = 0; $i < count( $string ); $i += 2 )
+               for ( $i = 0, $c = count( $string ); $i < $c; $i += 2 ) {
                        $string[$i] = @htmlspecialchars( $string[$i], $quote_style, $charset );
-
+               }
                $string = implode( '', $string );
        }
 
@@ -634,7 +816,10 @@ function utf8_uri_encode( $utf8_string, $length = 0 ) {
        $num_octets = 1;
        $unicode_length = 0;
 
+       mbstring_binary_safe_encoding();
        $string_length = strlen( $utf8_string );
+       reset_mbstring_encoding();
+
        for ($i = 0; $i < $string_length; $i++ ) {
 
                $value = ord( $utf8_string[ $i ] );
@@ -645,21 +830,27 @@ function utf8_uri_encode( $utf8_string, $length = 0 ) {
                        $unicode .= chr($value);
                        $unicode_length++;
                } else {
-                       if ( count( $values ) == 0 ) $num_octets = ( $value < 224 ) ? 2 : 3;
+                       if ( count( $values ) == 0 ) {
+                               if ( $value < 224 ) {
+                                       $num_octets = 2;
+                               } elseif ( $value < 240 ) {
+                                       $num_octets = 3;
+                               } else {
+                                       $num_octets = 4;
+                               }
+                       }
 
                        $values[] = $value;
 
                        if ( $length && ( $unicode_length + ($num_octets * 3) ) > $length )
                                break;
                        if ( count( $values ) == $num_octets ) {
-                               if ($num_octets == 3) {
-                                       $unicode .= '%' . dechex($values[0]) . '%' . dechex($values[1]) . '%' . dechex($values[2]);
-                                       $unicode_length += 9;
-                               } else {
-                                       $unicode .= '%' . dechex($values[0]) . '%' . dechex($values[1]);
-                                       $unicode_length += 6;
+                               for ( $j = 0; $j < $num_octets; $j++ ) {
+                                       $unicode .= '%' . dechex( $values[ $j ] );
                                }
 
+                               $unicode_length += $num_octets * 3;
+
                                $values = array();
                                $num_octets = 1;
                        }
@@ -882,6 +1073,7 @@ function remove_accents($string) {
 
                $string = strtr($string, $chars);
        } else {
+               $chars = array();
                // Assume ISO-8859-1 if not UTF-8
                $chars['in'] = chr(128).chr(131).chr(138).chr(142).chr(154).chr(158)
                        .chr(159).chr(162).chr(165).chr(181).chr(192).chr(193).chr(194)
@@ -897,6 +1089,7 @@ function remove_accents($string) {
                $chars['out'] = "EfSZszYcYuAAAAAACEEEEIIIINOOOOOOUUUUYaaaaaaceeeeiiiinoooooouuuuyy";
 
                $string = strtr($string, $chars['in'], $chars['out']);
+               $double_chars = array();
                $double_chars['in'] = array(chr(140), chr(156), chr(198), chr(208), chr(222), chr(223), chr(230), chr(240), chr(254));
                $double_chars['out'] = array('OE', 'oe', 'AE', 'DH', 'TH', 'ss', 'ae', 'dh', 'th');
                $string = str_replace($double_chars['in'], $double_chars['out'], $string);
@@ -932,9 +1125,10 @@ function sanitize_file_name( $filename ) {
         */
        $special_chars = apply_filters( 'sanitize_file_name_chars', $special_chars, $filename_raw );
        $filename = preg_replace( "#\x{00a0}#siu", ' ', $filename );
-       $filename = str_replace($special_chars, '', $filename);
-       $filename = preg_replace('/[\s-]+/', '-', $filename);
-       $filename = trim($filename, '.-_');
+       $filename = str_replace( $special_chars, '', $filename );
+       $filename = str_replace( array( '%20', '+' ), '-', $filename );
+       $filename = preg_replace( '/[\r\n\t -]+/', '-', $filename );
+       $filename = trim( $filename, '.-_' );
 
        // Split the filename into a base and extension[s]
        $parts = explode('.', $filename);
@@ -1093,7 +1287,6 @@ function sanitize_title( $title, $fallback_title = '', $context = 'save' ) {
  * Used for querying the database for a value from URL.
  *
  * @since 3.1.0
- * @uses sanitize_title()
  *
  * @param string $title The string to be sanitized.
  * @return string The sanitized string.
@@ -1169,21 +1362,23 @@ function sanitize_title_with_dashes( $title, $raw_title = '', $context = 'displa
 }
 
 /**
- * Ensures a string is a valid SQL order by clause.
+ * Ensures a string is a valid SQL 'order by' clause.
+ *
+ * Accepts one or more columns, with or without a sort order (ASC / DESC).
+ * e.g. 'column_1', 'column_1, column_2', 'column_1 ASC, column_2 DESC' etc.
  *
- * Accepts one or more columns, with or without ASC/DESC, and also accepts
- * RAND().
+ * Also accepts 'RAND()'.
  *
  * @since 2.5.1
  *
- * @param string $orderby Order by string to be checked.
- * @return string|bool Returns the order by clause if it is a match, false otherwise.
+ * @param string $orderby Order by clause to be validated.
+ * @return string|bool Returns $orderby if valid, false otherwise.
  */
-function sanitize_sql_orderby( $orderby ){
-       preg_match('/^\s*([a-z0-9_]+(\s+(ASC|DESC))?(\s*,\s*|\s*$))+|^\s*RAND\(\s*\)\s*$/i', $orderby, $obmatches);
-       if ( !$obmatches )
-               return false;
-       return $orderby;
+function sanitize_sql_orderby( $orderby ) {
+       if ( preg_match( '/^\s*(([a-z0-9_]+|`[a-z0-9_]+`)(\s+(ASC|DESC))?\s*(,\s*(?=[a-z0-9_`])|$))+$/i', $orderby ) || preg_match( '/^\s*RAND\(\s*\)\s*$/i', $orderby ) ) {
+               return $orderby;
+       }
+       return false;
 }
 
 /**
@@ -1197,7 +1392,7 @@ function sanitize_sql_orderby( $orderby ){
  * @since 2.8.0
  *
  * @param string $class The classname to be sanitized
- * @param string $fallback Optional. The value to return if the sanitization end's up as an empty string.
+ * @param string $fallback Optional. The value to return if the sanitization ends up as an empty string.
  *     Defaults to an empty string.
  * @return string The sanitized value
  */
@@ -1226,7 +1421,7 @@ function sanitize_html_class( $class, $fallback = '' ) {
 /**
  * Converts a number of characters from a string.
  *
- * Metadata tags <<title>> and <<category>> are removed, <<br>> and <<hr>> are
+ * Metadata tags `<title>` and `<category>` are removed, `<br>` and `<hr>` are
  * converted into correct XHTML and Unicode characters are converted to the
  * valid range.
  *
@@ -1360,7 +1555,7 @@ function force_balance_tags( $text ) {
                                // or close to be safe $tag = '/' . $tag;
                        }
                        // if stacktop value = tag close value then pop
-                       else if ( $tagstack[$stacksize - 1] == $tag ) { // found closing tag
+                       elseif ( $tagstack[$stacksize - 1] == $tag ) { // found closing tag
                                $tag = '</' . $tag . '>'; // Close Tag
                                // Pop
                                array_pop( $tagstack );
@@ -1617,7 +1812,7 @@ function rawurlencode_deep( $value ) {
  */
 function antispambot( $email_address, $hex_encoding = 0 ) {
        $email_no_spam_address = '';
-       for ( $i = 0; $i < strlen( $email_address ); $i++ ) {
+       for ( $i = 0, $len = strlen( $email_address ); $i < $len; $i++ ) {
                $j = rand( 0, 1 + $hex_encoding );
                if ( $j == 0 ) {
                        $email_no_spam_address .= '&#' . ord( $email_address[$i] ) . ';';
@@ -1795,19 +1990,17 @@ function make_clickable( $text ) {
  *
  * Input string must have no null characters (or eventual transformations on output chunks must not care about null characters)
  *
- * <code>
- * _split_str_by_whitespace( "1234 67890 1234 67890a cd 1234   890 123456789 1234567890a    45678   1 3 5 7 90 ", 10 ) ==
- * array (
- *   0 => '1234 67890 ',  // 11 characters: Perfect split
- *   1 => '1234 ',        //  5 characters: '1234 67890a' was too long
- *   2 => '67890a cd ',   // 10 characters: '67890a cd 1234' was too long
- *   3 => '1234   890 ',  // 11 characters: Perfect split
- *   4 => '123456789 ',   // 10 characters: '123456789 1234567890a' was too long
- *   5 => '1234567890a ', // 12 characters: Too long, but no inner whitespace on which to split
- *   6 => '   45678   ',  // 11 characters: Perfect split
- *   7 => '1 3 5 7 9',    //  9 characters: End of $string
- * );
- * </code>
+ *     _split_str_by_whitespace( "1234 67890 1234 67890a cd 1234   890 123456789 1234567890a    45678   1 3 5 7 90 ", 10 ) ==
+ *     array (
+ *         0 => '1234 67890 ',  // 11 characters: Perfect split
+ *         1 => '1234 ',        //  5 characters: '1234 67890a' was too long
+ *         2 => '67890a cd ',   // 10 characters: '67890a cd 1234' was too long
+ *         3 => '1234   890 ',  // 11 characters: Perfect split
+ *         4 => '123456789 ',   // 10 characters: '123456789 1234567890a' was too long
+ *         5 => '1234567890a ', // 12 characters: Too long, but no inner whitespace on which to split
+ *         6 => '   45678   ',  // 11 characters: Perfect split
+ *         7 => '1 3 5 7 90 ',  // 11 characters: End of $string
+ *     );
  *
  * @since 3.4.0
  * @access private
@@ -1881,7 +2074,7 @@ function wp_rel_nofollow_callback( $matches ) {
  *
  * Callback handler for {@link convert_smilies()}.
  * Looks up one smiley code in the $wpsmiliestrans global array and returns an
- * <img> string for that smiley.
+ * `<img>` string for that smiley.
  *
  * @global array $wpsmiliestrans
  * @since 2.8.0
@@ -1898,6 +2091,15 @@ function translate_smiley( $matches ) {
        $smiley = trim( reset( $matches ) );
        $img = $wpsmiliestrans[ $smiley ];
 
+       $matches = array();
+       $ext = preg_match( '/\.([^.]+)$/', $img, $matches ) ? strtolower( $matches[1] ) : false;
+       $image_exts = array( 'jpg', 'jpeg', 'jpe', 'gif', 'png' );
+
+       // Don't convert smilies that aren't images - they're probably emoji.
+       if ( ! in_array( $ext, $image_exts ) ) {
+               return $img;
+       }
+
        /**
         * Filter the Smiley image URL before it's used in the image element.
         *
@@ -1909,7 +2111,7 @@ function translate_smiley( $matches ) {
         */
        $src_url = apply_filters( 'smilies_src', includes_url( "images/smilies/$img" ), $img, site_url() );
 
-       return sprintf( ' <img src="%s" alt="%s" class="wp-smiley" /> ', esc_url( $src_url ), esc_attr( $smiley ) );
+       return sprintf( '<img src="%s" alt="%s" class="wp-smiley" style="height: 1em; max-height: 1em;" />', esc_url( $src_url ), esc_attr( $smiley ) );
 }
 
 /**
@@ -2081,7 +2283,7 @@ function wp_iso_descrambler($string) {
  * @access private
  *
  * @param array $match The preg_replace_callback matches array
- * @return array Converted chars
+ * @return string Converted chars
  */
 function _wp_iso_convert( $match ) {
        return chr( hexdec( strtolower( $match[1] ) ) );
@@ -2097,7 +2299,6 @@ function _wp_iso_convert( $match ) {
  *
  * @since 1.2.0
  *
- * @uses get_option() to retrieve the value of 'gmt_offset'.
  * @param string $string The date to be converted.
  * @param string $format The format string for the returned date (default is Y-m-d H:i:s)
  * @return string GMT version of the date provided.
@@ -2198,7 +2399,7 @@ function iso8601_to_datetime($date_string, $timezone = 'user') {
 
                return gmdate('Y-m-d H:i:s', $timestamp);
 
-       } else if ($timezone == 'user') {
+       } elseif ($timezone == 'user') {
                return preg_replace('#([0-9]{4})([0-9]{2})([0-9]{2})T([0-9]{2}):([0-9]{2}):([0-9]{2})(Z|[\+|\-][0-9]{2,4}){0,1}#', '$1-$2-$3 $4:$5:$6', $date_string);
        }
 }
@@ -2335,8 +2536,9 @@ function sanitize_email( $email ) {
  * @return string Human readable time difference.
  */
 function human_time_diff( $from, $to = '' ) {
-       if ( empty( $to ) )
+       if ( empty( $to ) ) {
                $to = time();
+       }
 
        $diff = (int) abs( $to - $from );
 
@@ -2373,7 +2575,17 @@ function human_time_diff( $from, $to = '' ) {
                $since = sprintf( _n( '%s year', '%s years', $years ), $years );
        }
 
-       return $since;
+       /**
+        * Filter the human readable difference between two timestamps.
+        *
+        * @since 4.0.0
+        *
+        * @param string $since The difference in human readable text.
+        * @param int    $diff  The difference in seconds.
+        * @param int    $from  Unix timestamp from which the difference begins.
+        * @param int    $to    Unix timestamp to end the time difference.
+        */
+       return apply_filters( 'human_time_diff', $since, $diff, $from, $to );
 }
 
 /**
@@ -2879,8 +3091,6 @@ function esc_sql( $data ) {
  * is applied to the returned cleaned URL.
  *
  * @since 2.8.0
- * @uses wp_kses_bad_protocol() To only permit protocols in the URL set
- *             via $protocols or the common ones set in the function.
  *
  * @param string $url The URL to be cleaned.
  * @param array $protocols Optional. An array of acceptable protocols.
@@ -2938,7 +3148,6 @@ function esc_url( $url, $protocols = null, $_context = 'display' ) {
  * Performs esc_url() for database usage.
  *
  * @since 2.8.0
- * @uses esc_url()
  *
  * @param string $url The URL to be cleaned.
  * @param array $protocols An array of acceptable protocols.
@@ -3088,18 +3297,6 @@ function tag_escape($tag_name) {
        return apply_filters( 'tag_escape', $safe_tag, $tag_name );
 }
 
-/**
- * Escapes text for SQL LIKE special characters % and _.
- *
- * @since 2.5.0
- *
- * @param string $text The text to be escaped.
- * @return string text, safe for inclusion in LIKE query.
- */
-function like_escape($text) {
-       return str_replace(array("%", "_"), array("\\%", "\\_"), $text);
-}
-
 /**
  * Convert full URL paths to absolute paths.
  *
@@ -3107,12 +3304,13 @@ function like_escape($text) {
  * beginning, so it isn't a true relative link, but from the web root base.
  *
  * @since 2.1.0
+ * @since 4.1.0 Support was added for relative URLs.
  *
  * @param string $link Full URL path.
  * @return string Absolute path.
  */
 function wp_make_link_relative( $link ) {
-       return preg_replace( '|https?://[^/]+(/.*)|i', '$1', $link );
+       return preg_replace( '|^(https?:)?//[^/]+(/.*)|i', '$2', $link );
 }
 
 /**
@@ -3128,10 +3326,12 @@ function wp_make_link_relative( $link ) {
  * @return string Sanitized value.
  */
 function sanitize_option($option, $value) {
+       global $wpdb;
 
        switch ( $option ) {
                case 'admin_email' :
                case 'new_admin_email' :
+                       $value = $wpdb->strip_invalid_text_for_column( $wpdb->options, 'option_value', $value );
                        $value = sanitize_email( $value );
                        if ( ! is_email( $value ) ) {
                                $value = get_option( $option ); // Resets option to stored value in the case of failed sanitization
@@ -3180,6 +3380,7 @@ function sanitize_option($option, $value) {
 
                case 'blogdescription':
                case 'blogname':
+                       $value = $wpdb->strip_invalid_text_for_column( $wpdb->options, 'option_value', $value );
                        $value = wp_kses_post( $value );
                        $value = esc_html( $value );
                        break;
@@ -3202,6 +3403,7 @@ function sanitize_option($option, $value) {
                case 'mailserver_login':
                case 'mailserver_pass':
                case 'upload_path':
+                       $value = $wpdb->strip_invalid_text_for_column( $wpdb->options, 'option_value', $value );
                        $value = strip_tags( $value );
                        $value = wp_kses_data( $value );
                        break;
@@ -3218,6 +3420,7 @@ function sanitize_option($option, $value) {
                        break;
 
                case 'siteurl':
+                       $value = $wpdb->strip_invalid_text_for_column( $wpdb->options, 'option_value', $value );
                        if ( (bool)preg_match( '#http(s?)://(.+)#i', $value) ) {
                                $value = esc_url_raw($value);
                        } else {
@@ -3228,6 +3431,7 @@ function sanitize_option($option, $value) {
                        break;
 
                case 'home':
+                       $value = $wpdb->strip_invalid_text_for_column( $wpdb->options, 'option_value', $value );
                        if ( (bool)preg_match( '#http(s?)://(.+)#i', $value) ) {
                                $value = esc_url_raw($value);
                        } else {
@@ -3239,11 +3443,16 @@ function sanitize_option($option, $value) {
 
                case 'WPLANG':
                        $allowed = get_available_languages();
-                       if ( ! in_array( $value, $allowed ) && ! empty( $value ) )
+                       if ( ! is_multisite() && defined( 'WPLANG' ) && '' !== WPLANG && 'en_US' !== WPLANG ) {
+                               $allowed[] = WPLANG;
+                       }
+                       if ( ! in_array( $value, $allowed ) && ! empty( $value ) ) {
                                $value = get_option( $option );
+                       }
                        break;
 
                case 'illegal_names':
+                       $value = $wpdb->strip_invalid_text_for_column( $wpdb->options, 'option_value', $value );
                        if ( ! is_array( $value ) )
                                $value = explode( ' ', $value );
 
@@ -3255,6 +3464,7 @@ function sanitize_option($option, $value) {
 
                case 'limited_email_domains':
                case 'banned_email_domains':
+                       $value = $wpdb->strip_invalid_text_for_column( $wpdb->options, 'option_value', $value );
                        if ( ! is_array( $value ) )
                                $value = explode( "\n", $value );
 
@@ -3281,6 +3491,7 @@ function sanitize_option($option, $value) {
                case 'permalink_structure':
                case 'category_base':
                case 'tag_base':
+                       $value = $wpdb->strip_invalid_text_for_column( $wpdb->options, 'option_value', $value );
                        $value = esc_url_raw( $value );
                        $value = str_replace( 'http://', '', $value );
                        break;
@@ -3289,6 +3500,15 @@ function sanitize_option($option, $value) {
                        if ( ! get_role( $value ) && get_role( 'subscriber' ) )
                                $value = 'subscriber';
                        break;
+
+               case 'moderation_keys':
+               case 'blacklist_keys':
+                       $value = $wpdb->strip_invalid_text_for_column( $wpdb->options, 'option_value', $value );
+                       $value = explode( "\n", $value );
+                       $value = array_filter( array_map( 'trim', $value ) );
+                       $value = array_unique( $value );
+                       $value = implode( "\n", $value );
+                       break;
        }
 
        /**
@@ -3334,7 +3554,6 @@ function wp_parse_str( $string, &$array ) {
  *
  * KSES already converts lone greater than signs.
  *
- * @uses wp_pre_kses_less_than_callback in the callback function.
  * @since 2.3.0
  *
  * @param string $text Text to be converted.
@@ -3347,7 +3566,6 @@ function wp_pre_kses_less_than( $text ) {
 /**
  * Callback function used by preg_replace.
  *
- * @uses esc_html to format the $matches text.
  * @since 2.3.0
  *
  * @param array $matches Populated by matches to preg_replace.
@@ -3366,7 +3584,7 @@ function wp_pre_kses_less_than_callback( $matches ) {
  * @link http://www.php.net/sprintf
  *
  * @param string $pattern The string which formatted args are inserted.
- * @param mixed $args,... Arguments to be formatted into the $pattern string.
+ * @param mixed  $args ,... Arguments to be formatted into the $pattern string.
  * @return string The formatted string.
  */
 function wp_sprintf( $pattern ) {
@@ -3550,17 +3768,18 @@ function _links_add_base($m) {
        return $m[1] . '=' . $m[2] .
                ( preg_match( '#^(\w{1,20}):#', $m[3], $protocol ) && in_array( $protocol[1], wp_allowed_protocols() ) ?
                        $m[3] :
-                       path_join( $_links_add_base, $m[3] ) )
+                       WP_HTTP::make_absolute_url( $m[3], $_links_add_base )
+               )
                . $m[2];
 }
 
 /**
  * Adds a Target attribute to all links in passed content.
  *
- * This function by default only applies to <a> tags, however this can be
+ * This function by default only applies to `<a>` tags, however this can be
  * modified by the 3rd param.
  *
- * <b>NOTE:</b> Any current target attributed will be stripped and replaced.
+ * *NOTE:* Any current target attributed will be stripped and replaced.
  *
  * @since 2.7.0
  *
@@ -3611,7 +3830,7 @@ function normalize_whitespace( $str ) {
  * Properly strip all HTML tags including script and style
  *
  * This differs from strip_tags() because it removes the contents of
- * the <script> and <style> tags. E.g. strip_tags( '<script>something</script>' )
+ * the `<script>` and `<style>` tags. E.g. `strip_tags( '<script>something</script>' )`
  * will return 'something'. wp_strip_all_tags will return ''
  *
  * @since 2.9.0
@@ -3825,3 +4044,334 @@ function get_url_in_content( $content ) {
 
        return false;
 }
+
+/**
+ * Returns the regexp for common whitespace characters.
+ *
+ * By default, spaces include new lines, tabs, nbsp entities, and the UTF-8 nbsp.
+ * This is designed to replace the PCRE \s sequence.  In ticket #22692, that
+ * sequence was found to be unreliable due to random inclusion of the A0 byte.
+ *
+ * @since 4.0.0
+ *
+ * @return string The spaces regexp.
+ */
+function wp_spaces_regexp() {
+       static $spaces;
+
+       if ( empty( $spaces ) ) {
+               /**
+                * Filter the regexp for common whitespace characters.
+                *
+                * This string is substituted for the \s sequence as needed in regular
+                * expressions. For websites not written in English, different characters
+                * may represent whitespace. For websites not encoded in UTF-8, the 0xC2 0xA0
+                * sequence may not be in use.
+                *
+                * @since 4.0.0
+                *
+                * @param string $spaces Regexp pattern for matching common whitespace characters.
+                */
+               $spaces = apply_filters( 'wp_spaces_regexp', '[\r\n\t ]|\xC2\xA0|&nbsp;' );
+       }
+
+       return $spaces;
+}
+
+/**
+ * Print the important emoji-related styles.
+ *
+ * @since 4.2.0
+ */
+function print_emoji_styles() {
+       static $printed = false;
+
+       if ( $printed ) {
+               return;
+       }
+
+       $printed = true;
+?>
+<style type="text/css">
+img.wp-smiley,
+img.emoji {
+       display: inline !important;
+       border: none !important;
+       box-shadow: none !important;
+       height: 1em !important;
+       width: 1em !important;
+       margin: 0 .07em !important;
+       vertical-align: -0.1em !important;
+       background: none !important;
+       padding: 0 !important;
+}
+</style>
+<?php
+}
+
+function print_emoji_detection_script() {
+       global $wp_version;
+       static $printed = false;
+
+       if ( $printed ) {
+               return;
+       }
+
+       $printed = true;
+
+       $settings = array(
+               /**
+                * Filter the URL where emoji images are hosted.
+                *
+                * @since 4.2.0
+                *
+                * @param string The emoji base URL.
+                */
+               'baseUrl' => apply_filters( 'emoji_url', set_url_scheme( '//s.w.org/images/core/emoji/72x72/' ) ),
+
+               /**
+                * Filter the extension of the emoji files.
+                *
+                * @since 4.2.0
+                *
+                * @param string The emoji extension. Default .png.
+                */
+               'ext' => apply_filters( 'emoji_ext', '.png' ),
+       );
+
+       $version = 'ver=' . $wp_version;
+
+       if ( SCRIPT_DEBUG ) {
+               $settings['source'] = array(
+                       /** This filter is documented in wp-includes/class.wp-scripts.php */
+                       'wpemoji' => apply_filters( 'script_loader_src', includes_url( "js/wp-emoji.js?$version" ), 'wpemoji' ),
+                       /** This filter is documented in wp-includes/class.wp-scripts.php */
+                       'twemoji' => apply_filters( 'script_loader_src', includes_url( "js/twemoji.js?$version" ), 'twemoji' ),
+               );
+
+               ?>
+               <script type="text/javascript">
+                       window._wpemojiSettings = <?php echo wp_json_encode( $settings ); ?>;
+                       <?php readfile( ABSPATH . WPINC . "/js/wp-emoji-loader.js" ); ?>
+               </script>
+               <?php
+       } else {
+               $settings['source'] = array(
+                       /** This filter is documented in wp-includes/class.wp-scripts.php */
+                       'concatemoji' => apply_filters( 'script_loader_src', includes_url( "js/wp-emoji-release.min.js?$version" ), 'concatemoji' ),
+               );
+
+               /*
+                * If you're looking at a src version of this file, you'll see an "include"
+                * statement below. This is used by the `grunt build` process to directly
+                * include a minified version of wp-emoji-loader.js, instead of using the
+                * readfile() method from above.
+                *
+                * If you're looking at a build version of this file, you'll see a string of
+                * minified JavaScript. If you need to debug it, please turn on SCRIPT_DEBUG
+                * and edit wp-emoji-loader.js directly.
+                */
+               ?>
+               <script type="text/javascript">
+                       window._wpemojiSettings = <?php echo wp_json_encode( $settings ); ?>;
+                       !function(a,b,c){function d(a){var c=b.createElement("canvas"),d=c.getContext&&c.getContext("2d");return d&&d.fillText?(d.textBaseline="top",d.font="600 32px Arial","flag"===a?(d.fillText(String.fromCharCode(55356,56812,55356,56807),0,0),c.toDataURL().length>3e3):(d.fillText(String.fromCharCode(55357,56835),0,0),0!==d.getImageData(16,16,1,1).data[0])):!1}function e(a){var c=b.createElement("script");c.src=a,c.type="text/javascript",b.getElementsByTagName("head")[0].appendChild(c)}var f,g;c.supports={simple:d("simple"),flag:d("flag")},c.DOMReady=!1,c.readyCallback=function(){c.DOMReady=!0},c.supports.simple&&c.supports.flag||(g=function(){c.readyCallback()},b.addEventListener?(b.addEventListener("DOMContentLoaded",g,!1),a.addEventListener("load",g,!1)):(a.attachEvent("onload",g),b.attachEvent("onreadystatechange",function(){"complete"===b.readyState&&c.readyCallback()})),f=c.source||{},f.concatemoji?e(f.concatemoji):f.wpemoji&&f.twemoji&&(e(f.twemoji),e(f.wpemoji)))}(window,document,window._wpemojiSettings);
+               </script>
+               <?php
+       }
+}
+
+/**
+ * Convert any 4 byte emoji in a string to their equivalent HTML entity.
+ *
+ * Currently, only Unicode 7 emoji are supported. Skin tone modifiers are allowed,
+ * all other Unicode 8 emoji will be added when the spec is finalised.
+ *
+ * This allows us to store emoji in a DB using the utf8 character set.
+ *
+ * @since 4.2.0
+ *
+ * @param string $content The content to encode.
+ * @return string The encoded content.
+ */
+function wp_encode_emoji( $content ) {
+       if ( function_exists( 'mb_convert_encoding' ) ) {
+               $regex = '/(
+                    \x23\xE2\x83\xA3               # Digits
+                    [\x30-\x39]\xE2\x83\xA3
+                  | \xF0\x9F[\x85-\x88][\xA6-\xBF] # Enclosed characters
+                  | \xF0\x9F[\x8C-\x97][\x80-\xBF] # Misc
+                  | \xF0\x9F\x98[\x80-\xBF]        # Smilies
+                  | \xF0\x9F\x99[\x80-\x8F]
+                  | \xF0\x9F\x9A[\x80-\xBF]        # Transport and map symbols
+               )/x';
+
+               $matches = array();
+               if ( preg_match_all( $regex, $content, $matches ) ) {
+                       if ( ! empty( $matches[1] ) ) {
+                               foreach( $matches[1] as $emoji ) {
+                                       /*
+                                        * UTF-32's hex encoding is the same as HTML's hex encoding.
+                                        * So, by converting the emoji from UTF-8 to UTF-32, we magically
+                                        * get the correct hex encoding.
+                                        */
+                                       $unpacked = unpack( 'H*', mb_convert_encoding( $emoji, 'UTF-32', 'UTF-8' ) );
+                                       if ( isset( $unpacked[1] ) ) {
+                                               $entity = '&#x' . ltrim( $unpacked[1], '0' ) . ';';
+                                               $content = str_replace( $emoji, $entity, $content );
+                                       }
+                               }
+                       }
+               }
+       }
+
+       return $content;
+}
+
+/**
+ * Convert emoji to a static img element.
+ *
+ * @since 4.2.0
+ *
+ * @param string $text The content to encode.
+ * @return string The encoded content.
+ */
+function wp_staticize_emoji( $text ) {
+       $text = wp_encode_emoji( $text );
+
+       /** This filter is documented in wp-includes/formatting.php */
+       $cdn_url = apply_filters( 'emoji_url', set_url_scheme( '//s.w.org/images/core/emoji/72x72/' ) );
+
+       /** This filter is documented in wp-includes/formatting.php */
+       $ext = apply_filters( 'emoji_ext', '.png' );
+
+       $output = '';
+       /*
+        * HTML loop taken from smiley function, which was taken from texturize function.
+        * It'll never be consolidated.
+        *
+        * First, capture the tags as well as in between.
+        */
+       $textarr = preg_split( '/(<.*>)/U', $text, -1, PREG_SPLIT_DELIM_CAPTURE );
+       $stop = count( $textarr );
+
+       // Ignore processing of specific tags.
+       $tags_to_ignore = 'code|pre|style|script|textarea';
+       $ignore_block_element = '';
+
+       for ( $i = 0; $i < $stop; $i++ ) {
+               $content = $textarr[$i];
+
+               // If we're in an ignore block, wait until we find its closing tag.
+               if ( '' == $ignore_block_element && preg_match( '/^<(' . $tags_to_ignore . ')>/', $content, $matches ) )  {
+                       $ignore_block_element = $matches[1];
+               }
+
+               // If it's not a tag and not in ignore block.
+               if ( '' ==  $ignore_block_element && strlen( $content ) > 0 && '<' != $content[0] ) {
+                       $matches = array();
+                       if ( preg_match_all( '/(&#x1f1(e[6-9a-f]|f[0-9a-f]);){2}/', $content, $matches ) ) {
+                               if ( ! empty( $matches[0] ) ) {
+                                       foreach ( $matches[0] as $flag ) {
+                                               $chars = str_replace( array( '&#x', ';'), '', $flag );
+
+                                               list( $char1, $char2 ) = str_split( $chars, 5 );
+                                               $entity = sprintf( '<img src="%s" alt="%s" class="wp-smiley" style="height: 1em; max-height: 1em;" />', $cdn_url . $char1 . '-' . $char2 . $ext, html_entity_decode( $flag ) );
+
+                                               $content = str_replace( $flag, $entity, $content );
+                                       }
+                               }
+                       }
+
+                       // Loosely match the Emoji Unicode range.
+                       $regex = '/(&#x[2-3][0-9a-f]{3};|&#x1f[1-6][0-9a-f]{2};)/';
+
+                       $matches = array();
+                       if ( preg_match_all( $regex, $content, $matches ) ) {
+                               if ( ! empty( $matches[1] ) ) {
+                                       foreach ( $matches[1] as $emoji ) {
+                                               $char = str_replace( array( '&#x', ';'), '', $emoji );
+                                               $entity = sprintf( '<img src="%s" alt="%s" class="wp-smiley" style="height: 1em; max-height: 1em;" />', $cdn_url . $char . $ext, html_entity_decode( $emoji ) );
+
+                                               $content = str_replace( $emoji, $entity, $content );
+                                       }
+                               }
+                       }
+               }
+
+               // Did we exit ignore block.
+               if ( '' != $ignore_block_element && '</' . $ignore_block_element . '>' == $content )  {
+                       $ignore_block_element = '';
+               }
+
+               $output .= $content;
+       }
+
+       return $output;
+}
+
+/**
+ * Convert emoji in emails into static images.
+ *
+ * @since 4.2.0
+ *
+ * @param array $mail The email data array.
+ * @return array The email data array, with emoji in the message staticized.
+ */
+function wp_staticize_emoji_for_email( $mail ) {
+       if ( ! isset( $mail['message'] ) ) {
+               return $mail;
+       }
+
+       /*
+        * We can only transform the emoji into images if it's a text/html email.
+        * To do that, here's a cut down version of the same process that happens
+        * in wp_mail() - get the Content-Type from the headers, if there is one,
+        * then pass it through the wp_mail_content_type filter, in case a plugin
+        * is handling changing the Content-Type.
+        */
+       $headers = array();
+       if ( isset( $mail['headers'] ) ) {
+               if ( is_array( $mail['headers'] ) ) {
+                       $headers = $mail['headers'];
+               } else {
+                       $headers = explode( "\n", str_replace( "\r\n", "\n", $mail['headers'] ) );
+               }
+       }
+
+       foreach ( $headers as $header ) {
+               if ( strpos($header, ':') === false ) {
+                       continue;
+               }
+
+               // Explode them out.
+               list( $name, $content ) = explode( ':', trim( $header ), 2 );
+
+               // Cleanup crew.
+               $name    = trim( $name    );
+               $content = trim( $content );
+
+               if ( 'content-type' === strtolower( $name ) ) {
+                       if ( strpos( $content, ';' ) !== false ) {
+                               list( $type, $charset ) = explode( ';', $content );
+                               $content_type = trim( $type );
+                       } else {
+                               $content_type = trim( $content );
+                       }
+                       break;
+               }
+       }
+
+       // Set Content-Type if we don't have a content-type from the input headers.
+       if ( ! isset( $content_type ) ) {
+               $content_type = 'text/plain';
+       }
+
+       /** This filter is documented in wp-includes/pluggable.php */
+       $content_type = apply_filters( 'wp_mail_content_type', $content_type );
+
+       if ( 'text/html' === $content_type ) {
+               $mail['message'] = wp_staticize_emoji( $mail['message'] );
+       }
+
+       return $mail;
+}